サーチエンジンクローラにだけ別の振る舞いを見せるのは、SEO対策としては反則なんじゃないの？

しかし、なぜそれでは普通のブラウザーで見てもリダイレクトされないのだろうか。Amazonは User Agent をきちんと見ているのである。
　　　.........
Amazonにbot認定されているUser Agentはリダイレクトされる。デフォルトではリダイレクトなしだが、botのみリダイレクトするホワイトリスト方式である。

ぶっ飛んだ。

検索クローラと一般アクセスとの間で振る舞いを変えるのは、SEOの封じ手というか反則技なんじゃないの？
どこで情報集めても、そういうのはスパムSEO対策としてサーチエンジンから八分にされる可能性もあるとなってるんだけど。
そのせいで、ヘルプページとかのクローリングさせたくないページとかで、動的に対応変えてよいのならリンク切っちゃえば済むだけのことを、動的なんでrobot.txtも使えないし、メタタグやマイクロフォーマットのnofollow,noindexはどこまで対応しているのか判らないし、とかで頭悩ませたりしてるのに。
（等と偉そうに言えるほど、「インデックスされない」ための対策はあまりマジメにガチガチにはしてないけど...ごめんなさいごめんなさい）

上記エントリのはてブ

クローキングも内容が違うとかじゃなきゃOKなんだろうな。どのアドレスも公開されているわけだし。筋の通らない話ではないからなぁ。

あ、そうそう、クローキングとかいうんだっけ。
怖いのはクローリングのロジックはブラックボックスなので、Amazonがやっているからとこれを信じて同じ対策をした結果八分にされても、誰も責められないことだ。
内容が同じと言ったって、実際に振る舞いを変えている以上、全て同じかなんて誰も証明できないのだから難癖つけられる可能性は否定できないし、一旦難癖つけられたら主導権はサーチエンジン側にあるので、苦情が受け入れてもらえるとは思えない。
だから最悪八分にされても悔しい程度で済む個人サイトとかならともかく、業務としてSEOやってたら、絶対に真似できない（誰かが責任持ってOKと保証してくれたらするけど）。

というか、Amazonもこんなグレーなことするくらいなら、内容が同じだと言うなら対人でも一律リダイレクトさせればいいのに。