Tools zum Erfassen und Konvertieren des Webs

Erstellen Sie so schnell wie möglich Screenshots von Webseiten

Montag, September 21, 2015

Wir haben kürzlich eine Reihe von Verbesserungen an unseren Diensten vorgenommen, um die Erstellung so schnell wie möglich zu gestalten Screenshots von Webseiten, starte ein Scrape oder erstelle ein animiertes GIF etc.

Zunächst haben wir unsere Hardware analysiert und einige Änderungen vorgenommen, die die Generierung von Screenshots erheblich beschleunigt haben. Die erste Änderung war die Umstellung auf MongoDB mit WiredTiger als Datenbank-Engine, die unsere Datenbank-Antwortzeiten massiv verbessert hat.

Als Nächstes sind wir auf ein neues Rechenzentrum umgestiegen, das SSD-Festplatten und duale Netzwerkverbindungen verwendet, die 100-mal schneller sind als unsere vorherigen Server. Dies bedeutete, dass unsere Kunden auch unter hohen Belastungen eine viel bessere und konstantere Leistung erzielen.

Schließlich haben wir unsere maßgeschneiderte Software analysiert und eine schnellere Zwischenspeichertechnik implementiert, mit der wir Webinhalte wie Bilder und JavaScript zwischenspeichern können, ohne die Geschwindigkeit der Screenshot-Erstellung zu beeinträchtigen. Wir blockieren jetzt auch automatisch viele Webanalysedienste von Drittanbietern, um die Anzahl der für die Erstellung eines Screenshots erforderlichen Webanforderungen zu verringern. All dies hat den Zeitaufwand für die Erstellung eines Screenshots um bis zu 50% reduziert.

Sehen Sie sich die neuesten Blog-Beiträge an