Tools zum Erfassen und Konvertieren des Webs

GrabzIt's Web Scraper API, Daten als Service!

├ťber die Web Scraper-API von GrabzIt k├Ânnen wir Ihre Anwendung als Web-Service mit gescrapten Daten versorgen intkratzte informationen zur├╝ckschicken into Ihre Bewerbung. Das intDateneintrag into Ihre Bewerbung erfolgt ├╝ber einen Callback-Handler, bei dem es sich um ein Skript oder eine Anwendung auf einer ├Âffentlich zug├Ąnglichen URL handelt, die die von gesendeten Daten verarbeitet GrabzIt's Web Scraper. Komplette Dateien werden nacheinander auf diesen Callback-Handler gepostet, sodass er beispielsweise mit einer Reihe von Bildern beginnen kann, bevor er mit einem endet JSON Datei k├Ânnen die Daten in der JSON-Datei dann einfach mit den Hilfsmethoden in der Clientbibliothek analysiert werden. Diese API erm├Âglicht es Ihrer Anwendung auch, automatisch zu steuern, wann Scrapes gestartet und gestoppt werden, und Ergebnisse erneut anzufordern.

Zun├Ąchst einmal eine kratzer schaffen w├Ąhlen Sie dann R├╝ckruf-URL-Option Geben Sie auf der Registerkarte Exportoptionen die URL zu Ihrem Callback-Handler ein, z http://www.example.com/handler/

Wenn Sie Probleme mit Ihrem Callback-Handler haben, w├Ąhlen Sie den Debug-Modus auf der Registerkarte Scrape-Optionen. Dadurch wird die vom Callback-Handler zur├╝ckgegebene Antwort ausgegeben into die Protokolle.

Callback-Handler

Um verkratzte Daten in Ihrem Callback-Handler zu verarbeiten, w├Ąhlen Sie die JSON- oder XML-Optionen auf der Registerkarte "Exportieren", da diese die Daten in einem Format zur├╝ckgeben, das von jeder objektorientierten Sprache problemlos gelesen werden kann.

Bei Daten, die keine JSON- oder XML-Daten sind, sind Ihre Verarbeitungsoptionen eingeschr├Ąnkt, da die Daten nicht sehr maschinenlesbar sind save die Datei auf die Festplatte oder in eine Datenbank.

Um dem zu helfen intIntegrationsprozess GrabzIt bietet die folgenden Scraper-APIs f├╝r die folgenden Sprachen. Da unser Code jedoch Open Source ist und auf verf├╝gbar ist GitHub Es gibt keinen Grund, warum Sie keinen f├╝r eine hier nicht aufgef├╝hrte Programmiersprache erstellen k├Ânnen, oder Sie k├Ânnen uns darum bitten Erstelle eine Bibliothek f├╝r dich. Wenn ja, warum nicht mit der Welt teilen?

ASP.NET Scraper API PHP Scraper API Python Scraper API

Dabei ist der Callback-Handler der beste Weg der N├Ąhe intSie k├Ânnen den Web-Scraper des GrabzIt auch mit Ihrer Anwendung kombinieren integrate ├╝ber Amazon S3, Dropbox, FTP und WebDav.