gaeの日記 #2

2009-02-07 (土)

[][] robots.txt 12:00  robots.txt - gaeの日記 #2 を含むブックマーク はてなブックマーク -  robots.txt - gaeの日記 #2

  • 2009-02-07
    • robots.txt タイプミスでlocalcalconfigを不許可にできていなかったのを修正
    • index クッキーを設定するだけのlocalcalconfigへのリンクをrel=nofollowにした(毎日無駄に6~8万回アクセスがあった)

Googlebot多すぎだろうと思ってログを調べたら、cookieをはき出してリダイレクトするだけのlocalcalconfigへのアクセスが大量にあった。ずっとこのアクセスは拒否しているつもりだったけど、タイプミスで拒否できてなかったらしいので修正。


追記 2009-02-15

8日にもrobots.txtを修正して、一部のパラメータ付きのURLをGoooglebotなどに収集させないようにした結果、かなり転送量が減りました。

f:id:gae:20090215120634p:image

データの並び順の違いで別々にインデックスされても意味がないと思ったからやったのですが、対処方法間違ってますかね...。