Semalt: Hvordan bruke Chrome-utvidelse av Web Scrapper

Det er en enorm mengde data tilgjengelig via nettet. Å prøve å kopiere data til en brukbar database direkte ut fra et nettsted, kan være en arbeidsintensiv prosess. Derfor kan du bruke en nettskrapemetode for å trekke ut data fra nettsteder spare tid, energi og penger.

Webskraping, også kjent som Web Data Extracting eller Web Harvesting, er en prosess med å bruke bots til å trekke ut data fra nettsteder. Nettskrapere navigerer på et nettsted, vurderer innholdet og trekker det og plasserer det i et regneark eller en database.

Det finnes en mengde verktøy for skraping av nett som er tilgjengelige i markedet, men de er ganske dyre og ikke enkle å bruke for ikke-teknisk kyndige mennesker. Web Scraper Chrome Extension er imidlertid gratis og brukervennlig. Med denne utvidelsen kan du til og med stoppe prosessen midt i arbeidet.

Du kan laste ned programvare for Web Scraper Chrome Extension fra Google Chrome Web Store. Den eneste ulempen er at du må skrape siden manuelt, og det er en ikke en enkel prosess. Du kan heller ikke programmere skrape med jevne mellomrom.

Web Scraper Chrome Extension Installation

  • Åpne Google Chrome nettleser;
  • Besøk Chrome Web Store og søk etter Web Scraper Extension;
  • Legg til verktøyet i Chrome;
  • Du er nå klar til å begynne å skrape nettsteder med Chrome-nettleseren din.

Når skraperen er installert, trykker du på F12 for å åpne Google Chrome-utviklerverktøyene. Alternativt kan du høyreklikke på skjermen og velge "inspiser element". Når du åpner utviklerverktøyene, vil du se en fane som heter "Web Scraper".

La oss nå lære hvordan du bruker dette på en live-webside. La oss forestille oss at vi ønsker å skrap Awesomegifs nettsted og trekke ut noe innhold og data fra det. Åpne siden. Hva er det første du ser? Bilder er lazily lastet, ikke sant?

Når du har åpnet en webside, må du trekke ut URL-adressene til gif-bildet. Dette betyr at du må identifisere CSS-velgeren som samsvarer med bildene. Nettstedet har omtrent 130 sider med bilder; og for å veksle mellom sider må du endre nummeret på siden som for øyeblikket er 125. Den enkleste måten å gjøre det på er å lage et nytt områdekart og legge til Start URL-feltet. På denne måten blir Web Scraper bedt om å åpne URL kontinuerlig, og dermed øke den endelige verdien i prosessen. Den vil åpne den første siden, den andre siden, den tredje siden ... til den når side 125.

For å begynne skrapeprosessen, åpner du nettkart-fanen og klikker "Skrap". Verktøyet vil begynne å skrape nødvendige data. Hvis du vil stoppe skrapeprosessen i midten, bare lukk vinduet og gå til områdekartfanen for å eksportere de ekstraherte dataene til en CSV-fil.