いらんことするな某サーチエンジンクローラ

携帯サイトのSEO対策やってまして、挙動を追っているいくつかのクローラのうち、1つを除いては順調にクローリングされて順位にも反映が出ているのですけども。

1つだけ、某クローラだけが、うまくクローリングしてくれない。
そもそもサイトへの訪問頻度が極端に少なく、1ヶ月に1、2回しか来てくれないのもどうなのよ、と思うのだけど。
先日久しぶりに来てくれて、さあ今度こそ、対策万全のディレクトリをクローリングしてくれるか！とｗｋｔｋしていたら、またディレクトリを無視して去っていく。
何やねんそら！

さすがにおかしいと思い詳細にログを調べてみたら、クローラの変な特性が判った。
URLの末尾がindex.htmlだった場合、そのクローラはそれを削除したURLにアクセスするようになってるみたい。
例えば、

http://foo.example.com/bar/index.html

の場合、クローラは

http://foo.example.com/bar/

にアクセスしてくる。

普通の構成なら問題ないんだけど、うちの一部ディレクトリの場合、実際には動的ページにも関わらずmod_rewriteでindex.htmlに見せかけていたので、それを外すとNot foundになってしまい、結局全くクロールされない、という状況になっていたのだ。

気付いたので対策できるものの、訪れてくれるのを待ち続けたこの1ヶ月近くはどうしてくれるのか。
ウザい、ウザすぎる仕様だ。
とりあえず名指しすると色んな方面でヤヴァい気がするので、「某クローラ」に止めておくけど、自分たちのサイトの深いところを某クローラが来てくれないよう、ということで悩んでいる人がいれば、一度チェックしてみた方がいいかもしれない。

ちなみにこの公式クローラ、もう一つ面白い？性質があるみたいで、普通アンカータグでのリンクではなくFORMでのリンク先なんか検索エンジンはこないよ、と思うんだけど、テキストボックスみたいな不確定要素のFORMではなく、SELECTタグのような確定された複数要素のみのFORMでかつGETの場合は、辿ってくるみたい。
これも別に来るんなら来れば？とか思うけど、そんなとこ来るとは思っておらずSEO対策もしてないので、それはそれでまたウザかったりもする。