2007年04月26日

いらんことするな某サーチエンジンクローラ

Posted by nene2001 at 16:55 / Tag(Edit): seo crawler / 0 Comments: Post / View / 0 TrackBack / Google Maps このエントリーを含むはてなブックマーク

携帯サイトのSEO対策やってまして、挙動を追っているいくつかのクローラのうち、1つを除いては順調にクローリングされて順位にも反映が出ているのですけども。

1つだけ、某クローラだけが、うまくクローリングしてくれない。
そもそもサイトへの訪問頻度が極端に少なく、1ヶ月に1、2回しか来てくれないのもどうなのよ、と思うのだけど。
先日久しぶりに来てくれて、さあ今度こそ、対策万全のディレクトリをクローリングしてくれるか!とwktkしていたら、またディレクトリを無視して去っていく。
何やねんそら!

さすがにおかしいと思い詳細にログを調べてみたら、クローラの変な特性が判った。
URLの末尾がindex.htmlだった場合、そのクローラはそれを削除したURLにアクセスするようになってるみたい。
例えば、

http://foo.example.com/bar/index.html

の場合、クローラは

http://foo.example.com/bar/

にアクセスしてくる。

普通の構成なら問題ないんだけど、うちの一部ディレクトリの場合、実際には動的ページにも関わらずmod_rewriteでindex.htmlに見せかけていたので、それを外すとNot foundになってしまい、結局全くクロールされない、という状況になっていたのだ。

気付いたので対策できるものの、訪れてくれるのを待ち続けたこの1ヶ月近くはどうしてくれるのか。
ウザい、ウザすぎる仕様だ。
とりあえず名指しすると色んな方面でヤヴァい気がするので、「某クローラ」に止めておくけど、自分たちのサイトの深いところを某クローラが来てくれないよう、ということで悩んでいる人がいれば、一度チェックしてみた方がいいかもしれない。

ちなみにこの公式クローラ、もう一つ面白い?性質があるみたいで、普通アンカータグでのリンクではなくFORMでのリンク先なんか検索エンジンはこないよ、と思うんだけど、テキストボックスみたいな不確定要素のFORMではなく、SELECTタグのような確定された複数要素のみのFORMでかつGETの場合は、辿ってくるみたい。
これも別に来るんなら来れば?とか思うけど、そんなとこ来るとは思っておらずSEO対策もしてないので、それはそれでまたウザかったりもする。

Related query words in Google & Yahoo
Related Books from Amazon
Trackback to this entry
TrackBack URL :
Trackbacks
トラックバックはありません。
Comments
コメントはありません。
Post a comment












Remember personal info? 
2007年04月
Su Mo Tu We Th Fr Sa
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30          

About Me

Navigation

Search
Google
Web
kokogiko.net
Archives
Recent Entries
Recent Comments
Recent Trackbacks
AR視線アプリに関する一考察(ここギコ!)
すこし先のARに必要な方向性3つ
AR視線アプリに関する一考察(ここギコ!)
「ちっ、早すぎたな」と捨て台詞が言えるだけの何をお前はやったのか
目標ができれば実現は可能(ビジネス快進撃 ビジネスマナーのメルマガ)
ほどよい成果主義
コロプラが位置ゲープラットフォームを検討中?iPhone対応も?(ここギコ!)
位置ゲーの歴史をまとめてみた
すこし先のARに必要な方向性3つ(ここギコ!)
GPS高度、ジオイド高、標高の関係
すこし先のARに必要な方向性3つ(ここギコ!)
可視光通信って自位置特定にも使えるんじゃないか
考えるべきは沖縄米軍基地問題の本質!(ようこそイサオプロダクトワールドへisao-pw)
普天間基地移設が軍事的に見て県外移設はあり得ないとかの議論について
馬鹿信者の言動は確かにJSF氏に責任はないのだけれど、良識に訴えたい(ここギコ!)
京都外国人排斥カウンターデモの「反日上等」「日の丸ウンコ」とかについて
馬鹿信者の言動は確かにJSF氏に責任はないのだけれど、良識に訴えたい(ここギコ!)
三度、在特会カウンターデモについて
馬鹿信者の言動は確かにJSF氏に責任はないのだけれど、良識に訴えたい(ここギコ!)
普天間基地移設が軍事的に見て県外移設はあり得ないとかの議論について
Hatena bookmarked
My Hatebu

Banners

Syndication
Powered by
Get it!!