スパムクローラは迎撃されてあたりまえ
BaiduやNAVERのクローラがrobots.txtを読みながらサーバ管理者やウェブマスターの希望をいっさい無視して絨毯爆撃のごとく不必要にHTTPリクエストをくりかえすクソスパイダーだ、というのは今さらいうまでもない。だからといって当該クソ企業のこのセリフは最悪だろ。「自分のサイトの一部または全体を検索できないようにするには？」への回答のひとつとして、いうにことかいて
インターネット上からページを削除する。
だと。それじゃ「サイト」の意味がねーだろ。火をつけておいて消火せずに対象をひっこめろとは、おまえら焼畑マーケターか。公開物へのアクセスは全人民の当然の権利だが、無意味になんどもGETリクエストをくりだして無駄に資源をくいつぶす権利はない。「弊社クローラーがご迷惑おかけしており申し訳ありません」というつぶやきからしてNAVERはてめえらが世界中のサーバ管理者やウェブマスターに嫌われていることは自覚しているんだろう。だが言い訳が潔くない。NAVER.jpの「ウェブマスターセンター」にはくどくどと言い訳にならない言い訳が並べたてられているが、白眉はこれだ。
緊急時以外における「.htaccess」やウェブサーバの設定によるロボットのアクセス制限は推奨しておりません
そんなにブロックされたりテメーんとこにリダイレクトされるのが嫌なんだなwww 直後につづくこれも笑かす。
もともと「.htaccess」は、ロボットの動作を制御するためではなく、ウェブサーバの基本的な動作をディレクトリ単位で制御するためのファイルで、通常、CGIやSSIなどを実行するための命令や、ファイルの種類を指定するMIMEタイプの設定、ユーザ認証、IPアドレスやドメイン単位でのアクセス権限の設定などに用いられます。
「.htaccess」などのサーバの設定によってアクセス制限を行った場合、理由に関わらず、全てのリクエストに対して同じエラーメッセージを返します。
ウソばっかこきやがって。「もともと」ってなごまかしが通用すると思ってんのか。だったらなんでウェブサーバの基本機能のなかに最初から allow（オーダーの許可）とdeny（拒否）が含まれてるんだよ。テメーらみたいな居直り強盗をたたきだすためだろが。NAVERのボットのごときクソな振る舞いがあふれかえってるからこそ、サーバの基本機能を使ってロックアウトするんだよこのスト破りめ。因果応報のくせしやがってあとだしじゃんけんで泣き言こくなボケ。
サーバの設定でアクセス制限をかけたら全リクエストをブロックすることになりますよってのもスリカエだな。よくもまあこんなあからさまなデタラメいえたもんだ。すべてのリクエストじゃねっつの。サーバ管理者もウェブマスターもバカじゃねえ。NAVERのような迷惑で無礼な絨毯爆撃クロールだけを抽出して、爆弾を送り出してきやがったクズがもってる代表的なサーバにリダイレクトかけるんだよ。だから続いてほざくこれも無駄な努力だ。
そのためロボットは、「これらのサーバが意図的に該当のロボットに対してのみアクセスを制限しているのか」、あるいは「サーバ全体または一部に一時的なエラーが発生しアクセスができないため、再度アクセスを試みても良いのか」などを的確に判断することができません。
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} naver [NC,OR]
RewriteCond %{HTTP_USER_AGENT} NaverBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [NC]
RewriteRule !^robots\.txt$ http://www.naver.com/ [R=301,L]
意味がよくわかるだろ？www あ、http://help.naver.jp/faq?groupNo=95 のほうがよかったか？www どっちにしたって、えんえんとHTTPリクエストをくりかえす迷惑行為をそのままそっくり返してやるんだから「意図的に該当のロボットに対してのみアクセスを制限している」のだと理解できなきゃ死ぬしかない。クソスパマー、死ね！