Файл robots.txt

robots.txt — файл ограничения доступа к содержимому роботам на HTTP-сервере.
Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt).
При наличии нескольких суб-доменов файл должен располагаться в корневом каталоге каждого из них.

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться. Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.

Файл состоит из записей. Записи разделяются одной или более пустых строк. Каждая запись содержит не пустые строки следующего вида:

<поле>:<необязательный пробел><значение><необязательный пробел>

где поле — это либо User-agent, либо Disallow.

Сравнение производится методом простого поиска подстроки.
Например, запись Disallow:
/about запретит доступ как к разделу http://example.com/about/, так и к файлу http://example.com/about.php, а запись Disallow:
/about/ — только к разделу http://example.com/about/.

На сайте может быть только один файл /robots.txt.
Например, не следует помещать файл robots.txt в пользовательские поддиректории – все равно роботы не будут их там искать.
URL-ы чувствительны к регистру, и название файла /robots.txt должно быть написано полностью в нижнем регистре.

Примеры

Запрет доступа всех роботов ко всему сайту:

User-agent: *
Disallow: /

Запрет доступа определенного робота к каталогу /private/

User-agent: googlebot
Disallow: /private/