Tools zum Erfassen und Konvertieren des Webs

Große Web Scraper-Verbesserungen für 2019

08. MÄRZ 2019

Zusätzlich zu einem Redesign und einer Menge Fehlerkorrekturen haben wir drastische Verbesserungen am Web Scraper von GrabzIt vorgenommen, darunter:

  • Unterstützung der Extraktion von Inhalten, die in CSS-Stilen enthalten sind
  • Sie können nun das Land auswählen, aus dem ein Scrape ausgeführt werden soll. Im Moment stehen die USA oder das Vereinigte Königreich zur Auswahl.
  • Sie können nun wählen, ob Sie die robots.txt-Regeln respektieren oder nicht. Standardmäßig ist dies bei einem Scrape der Fall.
  • Relative Daten können jetzt automatisch miteinander verknüpft werden. Dies ist nützlich, wenn Sie Daten haben, die für einige HTML-Elemente vorhanden sind, für andere jedoch nicht. Durch die Verknüpfung dieser Elemente werden die Werte gegenüber den richtigen Datenelementen im resultierenden Datensatz angezeigt.
  • Beim Erstellen eines Datensatzes können verschiedene Spalten zu unterschiedlichen Vorlagen gehören, was bedeutet, dass einige Spalten von einem Seitentyp und andere Spalten von anderen Seitentypen ausgefüllt werden können. Ein Beispiel hierfür wäre eine Produktlistenseite und eine Produktdetailseite. Dies würde es Ihnen ermöglichen, die allgemeinen Details auf der Angebotsseite und dann die detaillierten Informationen auf der Produktdetailseite abzurufen.
  • Eine weitere Möglichkeit zur Verbesserung des Dataset-Builders besteht darin, die Auswirkungen einer Operation, z. B. „Enthält“, „Kleiner als“ usw., auf alle oder einige Spalten anzuwenden.
  • Es gibt jetzt mehrere neue Befehle verfügbar im Scrape-Assistenten.
    • Löschen – Sie können jetzt Elemente löschen, was unter bestimmten Umständen nützlich ist, um zu verhindern, dass dieselben Elemente mehrmals gelesen werden.
    • Scrollen – Der Web Scraper kann jetzt durch HTML-Elemente scrollen, die dies unterstützen.
    • Hover – dieser Befehl lässt die Maus über einem bestimmten Element schweben, was bei der Offenlegung von Informationen hilfreich sein kann.
    • Paginierung – Dies ist eine neue Funktion für die Klick-Aktion und ermöglicht die automatische Durchführung der Paginierung für ausgewählte Paginierungslinks. Das bedeutet, dass der Scraper auch dann, wenn er irgendwo in den paginierten Daten als Teil des Scrapings wegklickt, zur aktuellen paginierten Seite zurückfindet, um mit dem Scraping fortzufahren.
  • Das Beste an GrabzIt's Web Scraper ist, dass Sie es jeden Monat kostenlos nutzen können. Also, worauf warten Sie noch? Probieren Sie es aus und geben Sie uns Ihr Feedback zurück. Wir würden uns freuen, unseren zum besten Online-Web-Scraper zu machen!

Sehen Sie sich die neuesten Blog-Beiträge an