WK – Breitbandverschwendung umgehen

Die Zeiten ändern sich.

Dieser Beitrag scheint älter als 17 Jahre zu sein – eine lange Zeit im Internet. Der Inhalt ist vielleicht veraltet.

ServerDurch einen Artikel von Ralph Babel bin ich darauf aufmerksam geworden, dass die Erweiterung „Fasterfox“ für den Mozilla-Browser Firefox überflüssige Seitenzugriffe auf den Inhalt einer Seite durchführt. Es werden also Inhalte geladen, die nicht unbedingt benötigt werden. Da Performance immer wieder ein Thema ist, auch für Weblogs, hat mich dieser Artikel mehr interessiert und ich habe meine robots.txt angepasst.

Die robots.txt im Root-Verzeichnis einer Website ist sicher den meisten Webautoren bekannt, dass man aber die Erweiterung Fasterfox extra aussprerren kann bzw. muss, ist nicht so alltäglich (ab Version 1.0.1). Leider akzeptiert die Erweiterung den String

User-agent: * nicht, es muss direkt auf Fasterfox hingewiesen werden - 
User-agent: Fasterfox.

Um Fasterfox gänzlich auszusperren genügen folgende Zeilen in der robots.txt.

User-agent: Fasterfox
Disallow: /

Somit sieht meine robots.txt derzeit folgendermaßen aus. Für diejenigen, die keine robots.txt in ihrem Verzeichnis haben - einfach den Code kopieren, als robots.txt (Achtung: alle Zeichen müssen klein geschrieben sein) speichern und die Verknüpfungen anpassen. Die Datei muss in Root-Verzeichnis liegen, also in der obersten Verzeichnis-ebene.


# https://bueltge.de/

User-agent: Fasterfox
Disallow: /

User-agent: UniservalRobot/1.0
Disallow: /temp/
Disallow: /mail/
Disallow: /wp-admin/
Disallow: /wp-images/
Disallow: /wp-includes/
Disallow: /bueltge_old/
Disallow: /wp-content/images/
Disallow: /wp-content/backup/
Disallow: /wp-content/wp-upload-manager/

User-agent: wget
Disallow:

User-agent: webzip
Disallow:

User-agent: *
Disallow: /temp/
Disallow: /mail/
Disallow: /wp-admin/
Disallow: /wp-images/
Disallow: /wp-includes/
Disallow: /bueltge_old/
Disallow: /wp-content/images/
Disallow: /wp-content/backup/
Disallow: /wp-content/wp-upload-manager/

Kurz erklärt:

Disallow: / sperrt den den übergeordneten Roboter aus.

Disallow: lädt den übergeordneten Roboter ein.

Allerdings sollte man erwähnen, dass sich Suchmaschinenbetreiber nicht an die Daten in der robots.txt halten müssen, es wohl aber tun. Außerdem ist diese Datei für jeden zugänglich und man kann so URLs heraus bekommen.

Weiterführende Links:

Von Frank Bültge

bueltge.de [by:ltge.de] wird von Frank Bültge geführt, administriert und gestaltet. Alle Inhalte sind persönlich von mir ausgewählt und erstellt, nach bestem Gewissen und Können, was die Möglichkeit von Fehlern nicht ausschließt.

2 Kommentare

Kommentare sind geschlossen.