robots.txtについて
自分のサイトがクロールされているか、
robots.txtの設定がうまく行っているかなど
robots.txtについて悩んだ時に利用した
サイトだけメモ
時間があれば英語版をまとめたい。
http://www.tohoho-web.com/wwwxx079.htm
robots.txtの動作確認ができるサイト
robots.txt checker
http://www.frobee.com/robots-txt-check
本家解説サイト(英語)
http://www.robotstxt.org/robotstxt.html
参考サイト