Robots.txt

Розміщується в кореневій директорії веб-сайту файл, в якому містяться інструкції щодо дій пошукових роботів в процесі індексації. Це може бути заборона занесення в індекс як окремих сторінок, розділів, категорій, так і всього сайту в цілому.

Крім того, є можливість вказівки різних рекомендацій по індексації для роботів окремих пошукових систем. Для цього необхідно в обов’язковому полі User-agent вписати назву бота, якого стосується така його вказівка.

Далі має бути присутньою директива Disallow, в якій вказується адреса веб-ресурсу, індексація якого забороняється. Якщо адресу не вказувати і залишити Disallow порожній, це сприймається як дозвіл індексації всього веб-сайту (якщо немає альтернативних вказівок).

Також в цьому файлі може прописуватися:

  • адреса місця розташування карти сайту, що дає можливість пошуковими роботам швидко ознайомитися зі структурою відвідуваного ними веб-ресурсу (robots.txt – перше, що вони шукають при візиті на сайт);
  • URL сайту, який є головним дзеркалом (при їх наявності).

Заборона індексації через robots.txt може стати в нагоді для приховування сторінок, які ще не готові до публікації, містять службову інформацію або дубльований контент.

© 2010-2020 Копіювання публікацій без активного гіперпосилання
на smychnyk.name заборонено і переслідується законом про
авторські права!