hello robot

In der robots.txt kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Das Original findet man unter [robots.txt].

Neben den für eine tikiwiki üblichen Seiten wie /tiki-editpage.php etc schließen wir noch weitere aus.

  • 1A Projekte), die Seite wäre zwar unsere Sitemap, dient aber eigentlich nur zum schnellen Projekt erstellen. Eigentlich bietet diese Seite aber keine qualitative Verlinkung [[(20060085) sind genauso verlinkt wie [Hirnwindungen](./20060050]]. Auserdem hat die Seite üer 100 links (ist SEO schon kritisch) vom link/wort Verhältniss ganz zu schweigen
  • pastebin um ein wenig vor Spammern zu schützen.

  • historie

  • tracker (kann der bot als anonymus eh nicht lesen) *admin (kann der bot als anonymus eh nicht lesen)

Info

Datei Inhalt

{CODE()}

laut http://umija.org/umija:www:robots

Disallow: umija:pastebin Disallow: umija:ProjektIDlist Disallow: tiki-pagehistory.php Disallow: tiki-list_trackers.php Disallow: tiki-view_tracker.php Disallow: tiki-admin.php Disallow: tiki-index.php?mode=mobile Disallow: tiki-slideshow.php Disallow: tiki-slideshow2.php Disallow: tiki-wiki_rss.php Disallow: tiki-cms_rankings.php Disallow: tiki-edit_translation.php Disallow: tiki-config_pdf.php Disallow: tiki-list_articles.php Disallow: tiki-view_articles.php Disallow: tiki-galleries_rankings.php Disallow: tiki-sheets.php Disallow: tiki-read_article.php Disallow: tiki-galleries.php Disallow: com Disallow: klml: Disallow: klml%3A

same as above but with /

Disallow: /umija:pastebin Disallow: /umija:ProjektIDlist Disallow: /tiki-pagehistory.php Disallow: /tiki-list_trackers.php Disallow: /tiki-view_tracker.php Disallow: /tiki-admin.php Disallow: /tiki-index.php?mode=mobile Disallow: /tiki-slideshow.php Disallow: /tiki-slideshow2.php Disallow: /tiki-wiki_rss.php Disallow: /tiki-cms_rankings.php Disallow: /tiki-edit_translation.php Disallow: /tiki-config_pdf.php Disallow: /tiki-list_articles.php Disallow: /tiki-view_articles.php Disallow: /tiki-galleries_rankings.php Disallow: /tiki-sheets.php Disallow: /tiki-read_article.php Disallow: /tiki-galleries.php Disallow: /com Disallow: /klml: Disallow: /klml%3A

Die Datei kann (inzwischen) nicht nur vom User www-data, sondern auch von der Gruppe www-data beschreiben werden