Идеальный robots.txt для DLE

Время чтения: < 1 мин.

Не так давно я открыл на своем любимом форуме две темы о robots.txt. Как и предполагал много было флуда и рассуждений, разногласий. Но все же отсеяв все не нужное таки выбрал оптимальный вариант идеального robots.txt для DLE.

Сразу хочу заметить, что этот robots.txt рекомендуется ставить на нормальных сайтах для людей, а не сателлитах и гс под сапу.

User-agent: *
Disallow:
Host: www.site.ru
Disallow: /*print
Disallow: /user/
Disallow: */rss.xml
Disallow: /tags/
Crawl-delay: 10
Sitemap: //www.site.ru/sitemap.xml

и не забываем поменять site.ru на адрес Вашего сайте.
Для сателлитов и ГС можно разрешить индексацию страниц для печати и пользователей. Придерживаюсь мнения чем короче robots.txt тем лучше. Зачем к примеру расписывать запрет на индексацию личных сообщений внутри сайта если роботы итак посещают сайт как гости этого мне не понять.
Если у Вас есть замечания по поводу этого файла или свои дополнения рад буду их услышать.

Также можно почитать

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *