[mA] myselfArchiver

最近こなくなったので。
設定がよかったのかしら。

百度側の記事で「robots.txt」でDisallowしてくれればクロールしないよ、と言ってて、そのように記述。

User-agent: baiduspider

Disallow: /



User-agent: baiduimagespider

Disallow: /

次のコードを.htaccessへ。

<Files robots.txt>

Allow from all

</Files>

これはよくわからないけど「robots.txtだけは誰でも読ませる」という設定らしい。.htaccessで全拒否、つまりrobots.txtを読ませない設定だと百度クローラーは「robots.txt読めないからとりあえず全部アクセスしてみるね」ってことっぽい。

考えてみるとつじつまが合うなぁ･･･
しばらくこれで様子見。