Не так давно я открыл на своем любимом форуме две темы о robots.txt. Как и предполагал много было флуда и рассуждений, разногласий. Но все же отсеяв все не нужное таки выбрал оптимальный вариант идеального robots.txt для DLE.
Сразу хочу заметить, что этот robots.txt рекомендуется ставить на нормальных сайтах для людей, а не сателлитах и гс под сапу.
User-agent: * Disallow: Host: www.site.ru Disallow: /*print Disallow: /user/ Disallow: */rss.xml Disallow: /tags/ Crawl-delay: 10 Sitemap: //www.site.ru/sitemap.xml
и не забываем поменять site.ru на адрес Вашего сайте.
Для сателлитов и ГС можно разрешить индексацию страниц для печати и пользователей. Придерживаюсь мнения чем короче robots.txt тем лучше. Зачем к примеру расписывать запрет на индексацию личных сообщений внутри сайта если роботы итак посещают сайт как гости этого мне не понять.
Если у Вас есть замечания по поводу этого файла или свои дополнения рад буду их услышать.