Энциклопедия поисковых систем — самый информативный и посещаемый русскоязычный ресурс посвященный поисковым системам
Раздел о поисковых роботах — раздел о роботах на searchengines.ru
Файл robots.txt на Mastertalk — краткое и доходчивое описание robots.txt на mastertalk.ru
Приоритеты обработки записей в robots.txt — чем руководствуются роботы при парсинге файла robots.txt
Работа над файлом robots.txt — простая и понятная статья о работе над файлом robots.txt
Управление индексацией сайта (файл Robots.txt) — неплохая статья на одном из блогов
Robots.txt checker – плагин для Firefox, показывающий, есть ли на сайте robots.txt и закрыта ли текущая страница от индексирования
Предлагаемое расширение стандарта robots.txt — переписка Александра Мелькова и Мартина Костера от 2003 года
IP база поисковиков — сервис по бесплатному предоставлению постоянно обновляемой ip базы крупнейших англоязычных поисковиков (Google, Yahoo, MSN, Ask, etc).
