Tools zum Erfassen und Konvertieren des Webs

Erstellen Sie so schnell wie möglich Screenshots von Webseiten

21 September 2015

Wir haben kürzlich eine Reihe von Verbesserungen an unseren Diensten abgeschlossen, um die Erstellung so schnell wie möglich zu gestalten Screenshots von Webseiten, einen Scrape ausführen oder ein animiertes GIF erstellen usw.

Zuerst haben wir unsere Hardware analysiert und einige Änderungen vorgenommen, die die Erstellungszeiten für Screenshots erheblich verkürzt haben. Die erste Änderung bestand darin, mit auf MongoDB umzusteigen WiredTiger als Datenbank-Engine, was unsere Datenbank-Reaktionszeiten massiv verbesserte.

Als nächstes migrierten wir in ein neues Rechenzentrum, das SSD-Festplatten und zwei Netzwerkverbindungen verwendet, die 100-mal schneller sind als unsere vorherigen Server. Dies bedeutete, dass unsere Kunden auch unter hoher Belastung eine viel bessere und gleichmäßigere Leistung erzielten.

Schließlich haben wir unsere maßgeschneiderte Software analysiert und eine schnellere Caching-Technik implementiert, die es uns ermöglicht, Webinhalte wie Bilder und JavaScript zwischenzuspeichern, ohne die Geschwindigkeit der Screenshot-Erstellung zu beeinträchtigen. Wir blockieren jetzt auch automatisch viele Webanalysedienste von Drittanbietern, um die Anzahl der Webanfragen zu reduzieren, die zum Erstellen eines Screenshots erforderlich sind. All dies hat die Zeit, die zum Erstellen eines Screenshots benötigt wird, um bis zu 50 % reduziert.

Sehen Sie sich die neuesten Blog-Beiträge an