Tools zum Erfassen und Konvertieren des Webs

GrabzIt's Web Scraper API, Daten als Service!

Über die Web Scraper-API von GrabzIt können wir Ihre Anwendung als Web-Service mit gescrapten Daten versorgen intkratzte informationen zurückschicken into Ihre Bewerbung. Das intDateneintrag into Ihre Bewerbung erfolgt über einen Callback-Handler, bei dem es sich um ein Skript oder eine Anwendung auf einer öffentlich zugänglichen URL handelt, die die von gesendeten Daten verarbeitet GrabzIt's Web Scraper. Komplette Dateien werden nacheinander auf diesen Callback-Handler gepostet, sodass er beispielsweise mit einer Reihe von Bildern beginnen kann, bevor er mit einem endet JSON Datei können die Daten in der JSON-Datei dann einfach mit den Hilfsmethoden in der Clientbibliothek analysiert werden. Diese API ermöglicht es Ihrer Anwendung auch, automatisch zu steuern, wann Scrapes gestartet und gestoppt werden, und Ergebnisse erneut anzufordern.

Zunächst einmal eine kratzer schaffen wählen Sie dann Rückruf-URL-Option Geben Sie auf der Registerkarte Exportoptionen die URL zu Ihrem Callback-Handler ein, z http://www.example.com/handler/

Wenn Sie Probleme mit Ihrem Callback-Handler haben, wählen Sie den Debug-Modus auf der Registerkarte Scrape-Optionen. Dadurch wird die vom Callback-Handler zurückgegebene Antwort ausgegeben into die Protokolle.

Callback-Handler

Um verkratzte Daten in Ihrem Callback-Handler zu verarbeiten, wählen Sie die JSON- oder XML-Optionen auf der Registerkarte "Exportieren", da diese die Daten in einem Format zurückgeben, das von jeder objektorientierten Sprache problemlos gelesen werden kann.

Bei Daten, die keine JSON- oder XML-Daten sind, sind Ihre Verarbeitungsoptionen eingeschränkt, da die Daten nicht sehr maschinenlesbar sind save die Datei auf die Festplatte oder in eine Datenbank.

Um dem zu helfen intIntegrationsprozess GrabzIt bietet die folgenden Scraper-APIs für die folgenden Sprachen. Da unser Code jedoch Open Source ist und auf verfügbar ist GitHub Es gibt keinen Grund, warum Sie keinen für eine hier nicht aufgeführte Programmiersprache erstellen können, oder Sie können uns darum bitten Erstelle eine Bibliothek für dich. Wenn ja, warum nicht mit der Welt teilen?

ASP.NET Scraper API PHP Scraper API Python Scraper API

Dabei ist der Callback-Handler der beste Weg der Nähe intSie können den Web-Scraper des GrabzIt auch mit Ihrer Anwendung kombinieren integrate über Amazon S3, Dropbox, FTP und WebDav.