WK – Breitbandverschwendung umgehen

bueltge.de [by:ltge.de] wird von Frank Bültge geführt, administriert und gestaltet. Alle Inhalte sind persönlich von mir ausgewählt und erstellt, nach bestem Gewissen und Können, was die Möglichkeit von Fehlern nicht ausschließt.

Kommentare

  
  1. Big2k sagt:

    Muss es nicht heißen eigentlich so heißen bei wget und webzip?

    User-agent: wget
    Disallow: /

    User-agent: webzip
    Disallow: /

Trackbacks

  1. [...] Um die verschiedenen Robots auszusperren benötigt man eine robots.txt Datei im Stammverzeichnis. In dieser Datei kann man bestimmt Verzeichnisse sperren oder auch explizit frei geben. Es ist möglich eine Konfiguration für alle Robots gemeinsam oder speziell für einzelne zu erstellen. Eine Anleitung über den genauen Inhalt einer robots.txt Datei finden man bei bjoernsworld.de. Eine Übersicht über die verbreitetsten Robots findet man in der Web Robots Datenbank. Im Netz finden sich auch eine Reihe von Validatoren, mit denen man seine eigene robots.txt Datei überprüfen kann. Netter Nebeneffekt, auch „Fasterfox“, eine Firefox Erweiterung für „optimiertes Laden von Internetseiten“, kann man damit aussperren. Damit verhindert man das Fasterfox unnötige Seiten lädt. [...]

© 2014, since 2005 bueltge.de [by:ltge.de] · Theme is built by ThemeShift