[mA] myselfArchiver

毎回、正しいかどうかチェックするのがめんどうなのでテンプレ

ファイル名：robots.txt
半角小文字がルール。違うと読まれないらしい。

Sitemap: http://luvsic.net/sitemap.xml



User-agent: *

Disallow: /action.php?*

Disallow: /index.php?*



User-agent: Googlebot

Noindex: /action.php?*

Noindex: /index.php?*

１行目「Sitemap～」は、そのサイトのサイトマップを認識させる。
Sitemaps.org形式のXMLサイトマップ形式であること。

３・４行目「User-agent: *」の部分はすべてのクローラに対して行う指定。
Nucleusの初期ファイルでは「/action.php?*」のみがDisallowとなっている。
URL系（NP_customUrlやfancyurls-2等）の実装時のみ、上記サンプルのように「index.php?*」もDisallowするといい。

６・７行目「User-agent: Googlebot」は、グーグルのクローラにのみ対して行う指定。

• Disallow・・・アクセスを禁止する
  （他サイトからリンクを張られたりするとインデックスする可能性有）
• Noindex・・・インデックスを禁止する

Noindexは今日現在、Googleしか対応していない。
よってrobots.txtではUser-agentを個別指定で行う。

robots.txt 番外編

ウェブ魚拓を拒否する

User-agent: Megalodon

Disallow: /

インターネットアーカイブを拒否する

User-agent: ia_archiver

Disallow: /