hello robot
In der robots.txt kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Das Original findet man unter [robots.txt].
Neben den für eine tikiwiki üblichen Seiten wie /tiki-editpage.php etc schließen wir noch weitere aus.
- 1A Projekte), die Seite wäre zwar unsere Sitemap, dient aber eigentlich nur zum schnellen Projekt erstellen. Eigentlich bietet diese Seite aber keine qualitative Verlinkung [[(20060085) sind genauso verlinkt wie [Hirnwindungen](./20060050]]. Auserdem hat die Seite üer 100 links (ist SEO schon kritisch) vom link/wort Verhältniss ganz zu schweigen
-
pastebin um ein wenig vor Spammern zu schützen.
-
historie
- tracker (kann der bot als anonymus eh nicht lesen) *admin (kann der bot als anonymus eh nicht lesen)
Info
Datei Inhalt
{CODE()}
laut http://umija.org/umija:www:robots
Disallow: umija:pastebin Disallow: umija:ProjektIDlist Disallow: tiki-pagehistory.php Disallow: tiki-list_trackers.php Disallow: tiki-view_tracker.php Disallow: tiki-admin.php Disallow: tiki-index.php?mode=mobile Disallow: tiki-slideshow.php Disallow: tiki-slideshow2.php Disallow: tiki-wiki_rss.php Disallow: tiki-cms_rankings.php Disallow: tiki-edit_translation.php Disallow: tiki-config_pdf.php Disallow: tiki-list_articles.php Disallow: tiki-view_articles.php Disallow: tiki-galleries_rankings.php Disallow: tiki-sheets.php Disallow: tiki-read_article.php Disallow: tiki-galleries.php Disallow: com Disallow: klml: Disallow: klml%3A
same as above but with /
Disallow: /umija:pastebin Disallow: /umija:ProjektIDlist Disallow: /tiki-pagehistory.php Disallow: /tiki-list_trackers.php Disallow: /tiki-view_tracker.php Disallow: /tiki-admin.php Disallow: /tiki-index.php?mode=mobile Disallow: /tiki-slideshow.php Disallow: /tiki-slideshow2.php Disallow: /tiki-wiki_rss.php Disallow: /tiki-cms_rankings.php Disallow: /tiki-edit_translation.php Disallow: /tiki-config_pdf.php Disallow: /tiki-list_articles.php Disallow: /tiki-view_articles.php Disallow: /tiki-galleries_rankings.php Disallow: /tiki-sheets.php Disallow: /tiki-read_article.php Disallow: /tiki-galleries.php Disallow: /com Disallow: /klml: Disallow: /klml%3A
Die Datei kann (inzwischen) nicht nur vom User www-data, sondern auch von der Gruppe www-data beschreiben werden