2007年04月26日
いらんことするな某サーチエンジンクローラ
携帯サイトのSEO対策やってまして、挙動を追っているいくつかのクローラのうち、1つを除いては順調にクローリングされて順位にも反映が出ているのですけども。
1つだけ、某クローラだけが、うまくクローリングしてくれない。
そもそもサイトへの訪問頻度が極端に少なく、1ヶ月に1、2回しか来てくれないのもどうなのよ、と思うのだけど。
先日久しぶりに来てくれて、さあ今度こそ、対策万全のディレクトリをクローリングしてくれるか!とwktkしていたら、またディレクトリを無視して去っていく。
何やねんそら!
さすがにおかしいと思い詳細にログを調べてみたら、クローラの変な特性が判った。
URLの末尾がindex.htmlだった場合、そのクローラはそれを削除したURLにアクセスするようになってるみたい。
例えば、
の場合、クローラは
にアクセスしてくる。
普通の構成なら問題ないんだけど、うちの一部ディレクトリの場合、実際には動的ページにも関わらずmod_rewriteでindex.htmlに見せかけていたので、それを外すとNot foundになってしまい、結局全くクロールされない、という状況になっていたのだ。
気付いたので対策できるものの、訪れてくれるのを待ち続けたこの1ヶ月近くはどうしてくれるのか。
ウザい、ウザすぎる仕様だ。
とりあえず名指しすると色んな方面でヤヴァい気がするので、「某クローラ」に止めておくけど、自分たちのサイトの深いところを某クローラが来てくれないよう、ということで悩んでいる人がいれば、一度チェックしてみた方がいいかもしれない。
ちなみにこの公式クローラ、もう一つ面白い?性質があるみたいで、普通アンカータグでのリンクではなくFORMでのリンク先なんか検索エンジンはこないよ、と思うんだけど、テキストボックスみたいな不確定要素のFORMではなく、SELECTタグのような確定された複数要素のみのFORMでかつGETの場合は、辿ってくるみたい。
これも別に来るんなら来れば?とか思うけど、そんなとこ来るとは思っておらずSEO対策もしてないので、それはそれでまたウザかったりもする。
![[ここギコ!]](http://kokogiko.net/logo.png)



・3Dどきゅめんと…って何?点字文書?(ulikmed)
・3Dどきゅめんと…って何?点字文書?(Appolinariy)
・DoCoMoのGPSでの簡易詐称チェック(けひん)
・3Dどきゅめんと…って何?点字文書?(eurozapc)
・モバイルSuicaへの不満(名無し)
・QWERTYだって単なる慣れの問題、日本でのiPhoneは韓国でのGoogle Mapsの立場(kokogiko)
・iPhoneのGPSはWeb連携できない(kokogiko)
・iPhoneのGPSはWeb連携できない(ハル)
・QWERTYだって単なる慣れの問題、日本でのiPhoneは韓国でのGoogle Mapsの立場(名無し)