Googleなどの検索エンジンのクローラーに対して、特定のディレクトリやページへのクロールを制御する為のファイルです。
シンプルなテキストファイルで構成されています。
これを設置する目的は2つあり、
- 検索エンジンに「sitemap.xml」の場所を教えること。
- 指定した検索エンジンのロボットに、指定したディレクトリ・URLにクロールさせないようにすること。
の2点が目的です。
Googleでは、「全てのページをクロールさせるのであれば、このファイルは必要ないと提言していますが、sitemap.xmlを読み込ませ、Google Search Consoleにその場所を指定し、更新申請を出せるだけでも非常に有意義なファイルです。