hello robot

In der robots.txt kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Das Original findet man unter [robots.txt].

Neben den f├╝r eine tikiwiki ├╝blichen Seiten wie /tiki-editpage.php etc schlie├čen wir noch weitere aus.

  • 1A Projekte), die Seite w├Ąre zwar unsere Sitemap, dient aber eigentlich nur zum schnellen Projekt erstellen. Eigentlich bietet diese Seite aber keine qualitative Verlinkung (20060085) sind genauso verlinkt wie [Hirnwindungen](./20060050. Auserdem hat die Seite ├╝er 100 links (ist SEO schon kritisch) vom link/wort Verh├Ąltniss ganz zu schweigen
  • pastebin um ein wenig vor Spammern zu sch├╝tzen.

  • historie

  • tracker (kann der bot als anonymus eh nicht lesen) *admin (kann der bot als anonymus eh nicht lesen)

Info

Datei Inhalt

{CODE()}

laut http://umija.org/umija:www:robots

Disallow: umija:pastebin Disallow: umija:ProjektIDlist Disallow: tiki-pagehistory.php Disallow: tiki-list_trackers.php Disallow: tiki-view_tracker.php Disallow: tiki-admin.php Disallow: tiki-index.php?mode=mobile Disallow: tiki-slideshow.php Disallow: tiki-slideshow2.php Disallow: tiki-wiki_rss.php Disallow: tiki-cms_rankings.php Disallow: tiki-edit_translation.php Disallow: tiki-config_pdf.php Disallow: tiki-list_articles.php Disallow: tiki-view_articles.php Disallow: tiki-galleries_rankings.php Disallow: tiki-sheets.php Disallow: tiki-read_article.php Disallow: tiki-galleries.php Disallow: com Disallow: klml: Disallow: klml%3A

same as above but with /

Disallow: /umija:pastebin Disallow: /umija:ProjektIDlist Disallow: /tiki-pagehistory.php Disallow: /tiki-list_trackers.php Disallow: /tiki-view_tracker.php Disallow: /tiki-admin.php Disallow: /tiki-index.php?mode=mobile Disallow: /tiki-slideshow.php Disallow: /tiki-slideshow2.php Disallow: /tiki-wiki_rss.php Disallow: /tiki-cms_rankings.php Disallow: /tiki-edit_translation.php Disallow: /tiki-config_pdf.php Disallow: /tiki-list_articles.php Disallow: /tiki-view_articles.php Disallow: /tiki-galleries_rankings.php Disallow: /tiki-sheets.php Disallow: /tiki-read_article.php Disallow: /tiki-galleries.php Disallow: /com Disallow: /klml: Disallow: /klml%3A {CODE}

Die Datei kann (inzwischen) nicht nur vom User www-data, sondern auch von der Gruppe www-data beschreiben werden