Tools zum Erfassen und Konvertieren des Webs

Große Web Scraper-Verbesserungen für 2019

Freitag, März 8, 2019

Neben einem Re-Design und zahlreichen Fehlerkorrekturen haben wir GrabzIt's Web Scraper drastisch verbessert. Dazu gehören:

  • Unterstützung der Extraktion von Inhalten in CSS-Stilen
  • Sie können nun das Land auswählen, aus dem ein Scrape ausgeführt wird. Im Moment stehen die USA oder Großbritannien zur Auswahl.
  • Sie können nun wählen, ob Sie die robots.txt-Regeln einhalten oder nicht. Standardmäßig wird ein Scrape ausgeführt.
  • Relative Daten können jetzt automatisch miteinander verknüpft werden. Dies ist hilfreich, wenn Daten für einige HTML-Elemente vorhanden sind, für andere jedoch nicht. Durch das Verknüpfen dieser Elemente werden die Werte mit den korrekten Datenelementen im resultierenden Dataset verglichen.
  • Beim Erstellen eines Datasets können verschiedene Spalten zu verschiedenen Vorlagen gehören. Dies bedeutet, dass einige Spalten von einem Seitentyp und andere Spalten von verschiedenen Seitentypen ausgefüllt werden können. Ein Beispiel hierfür wäre eine Produktlistenseite und eine Produktdetailseite. Auf diese Weise können Sie die allgemeinen Details von der Listenseite und dann die detaillierten Informationen von der Produktdetailseite abrufen.
  • Eine weitere Möglichkeit, den Builder für Datasets zu verbessern, besteht darin, die Auswirkungen eines Vorgangs, z. B. eines enthält, weniger als usw., auf alle oder einige Spalten anzuwenden.
  • Es gibt jetzt mehrere neue Befehle im Scrape-Assistenten verfügbar.
    • Löschen - Sie können jetzt Elemente löschen. Dies ist unter bestimmten Umständen hilfreich, um zu verhindern, dass dieselben Elemente mehrmals gelesen werden.
    • Scrollen - Der Web Scraper kann jetzt HTML-Elemente scrollen, die dies unterstützen.
    • Hover - Mit diesem Befehl wird die Maus über ein bestimmtes Element bewegt, was beim Anzeigen von Informationen hilfreich sein kann.
    • Paginierung - Dies ist eine neue Funktion für die Click-Aktion, mit der die Paginierung für ausgewählte Paginierungslinks automatisch durchgeführt werden kann. Dies bedeutet, dass der Scraper, selbst wenn er als Teil des Scrapes von einer Stelle in den paginierten Daten klickt, den Weg zurück zur aktuellen paginierten Seite findet, um mit dem Scrape fortzufahren.
  • Das Beste an GrabzIt's Web Scraper ist, dass Sie es jeden Monat kostenlos nutzen können. Also, worauf warten Sie noch? Probieren Sie es aus und geben Sie uns Ihr Feedback zurück. Wir würden uns freuen, unseren besten Online-Web-Scraper zu machen!

Sehen Sie sich die neuesten Blog-Beiträge an