暑くて水分補給してお腹を壊すYu-ichiです
テストサイトとか仮アップとして、サイトを本来とは違う場所で公開した際に
それが検索エンジンにインデックスされてしまっては
あとあと面倒なことになってしまいます。
METAの中でnoindex,nofollowやrobots.txtでクロール拒否をしても良いですが
ページを読む前にクロール拒否した方が安全です。
優先度的には
.htaccess ＞ robots.txt ＞ META
となっておりますので、やはり.htaccessで拒否するべきでしょう。
弊社では.htaccessの一番最初に
<br /> SetEnvIf User-Agent "Googlebot" shutout<br /> SetEnvIf User-Agent "Slurp" shutout<br /> SetEnvIf User-Agent "msnbot" shutout</p> <p>order Allow,Deny<br /> Allow from all<br /> Deny from env=shutout<br />
と記述して、主な検索エンジンからのクロールを拒否しています。
もちろん、robots.txtにもクロールを拒否する記述を書いておくと良いですが
忘れそうで・・・
検索エンジンのクローラーを拒否することなんて普通のサイトではありえないことだと思いますが、もし拒否設定をしたい場合は参考にしてみてください。
