bueltge.de [by:ltge.de] - Kommentare zu: WK - Breitbandverschwendung umgehen http://bueltge.de/wk-breitbandverschwendung-umgehen/119/ Frank Bültge schreibt auf bueltge.de zu den Themen Webentwicklung & design, WordPress, Literatur und andere Themen bezüglich Internet und Development Tue, 07 Feb 2012 20:21:00 +0000 hourly 1 Von: Klasse Kaffee » robots.txt für WP http://bueltge.de/wk-breitbandverschwendung-umgehen/119/#comment-1540 Klasse Kaffee » robots.txt für WP Thu, 09 Feb 2006 13:06:32 +0000 http://www.bueltge.de/?p=119#comment-1540 [...] Um die verschiedenen Robots auszusperren benötigt man eine robots.txt Datei im Stammverzeichnis. In dieser Datei kann man bestimmt Verzeichnisse sperren oder auch explizit frei geben. Es ist möglich eine Konfiguration für alle Robots gemeinsam oder speziell für einzelne zu erstellen. Eine Anleitung über den genauen Inhalt einer robots.txt Datei finden man bei bjoernsworld.de. Eine Übersicht über die verbreitetsten Robots findet man in der Web Robots Datenbank. Im Netz finden sich auch eine Reihe von Validatoren, mit denen man seine eigene robots.txt Datei überprüfen kann. Netter Nebeneffekt, auch „Fasterfox“, eine Firefox Erweiterung für „optimiertes Laden von Internetseiten“, kann man damit aussperren. Damit verhindert man das Fasterfox unnötige Seiten lädt. [...] [...] Um die verschiedenen Robots auszusperren benötigt man eine robots.txt Datei im Stammverzeichnis. In dieser Datei kann man bestimmt Verzeichnisse sperren oder auch explizit frei geben. Es ist möglich eine Konfiguration für alle Robots gemeinsam oder speziell für einzelne zu erstellen. Eine Anleitung über den genauen Inhalt einer robots.txt Datei finden man bei bjoernsworld.de. Eine Übersicht über die verbreitetsten Robots findet man in der Web Robots Datenbank. Im Netz finden sich auch eine Reihe von Validatoren, mit denen man seine eigene robots.txt Datei überprüfen kann. Netter Nebeneffekt, auch „Fasterfox“, eine Firefox Erweiterung für „optimiertes Laden von Internetseiten“, kann man damit aussperren. Damit verhindert man das Fasterfox unnötige Seiten lädt. [...]

]]> Von: Big2k http://bueltge.de/wk-breitbandverschwendung-umgehen/119/#comment-435 Big2k Wed, 18 Jan 2006 03:54:25 +0000 http://www.bueltge.de/?p=119#comment-435 Muss es nicht heißen eigentlich so heißen bei wget und webzip? User-agent: wget Disallow: / User-agent: webzip Disallow: / Muss es nicht heißen eigentlich so heißen bei wget und webzip?

User-agent: wget
Disallow: /

User-agent: webzip
Disallow: /

]]>