Розміщується в кореневій директорії веб-сайту файл, в якому містяться інструкції щодо дій пошукових роботів в процесі індексації. Це може бути заборона занесення в індекс як окремих сторінок, розділів, категорій, так і всього сайту в цілому.
Крім того, є можливість вказівки різних рекомендацій по індексації для роботів окремих пошукових систем. Для цього необхідно в обов’язковому полі User-agent вписати назву бота, якого стосується така його вказівка.
Далі має бути присутньою директива Disallow, в якій вказується адреса веб-ресурсу, індексація якого забороняється. Якщо адресу не вказувати і залишити Disallow порожній, це сприймається як дозвіл індексації всього веб-сайту (якщо немає альтернативних вказівок).
Також в цьому файлі може прописуватися:
- адреса місця розташування карти сайту, що дає можливість пошуковими роботам швидко ознайомитися зі структурою відвідуваного ними веб-ресурсу (robots.txt – перше, що вони шукають при візиті на сайт);
- URL сайту, який є головним дзеркалом (при їх наявності).
Заборона індексації через robots.txt може стати в нагоді для приховування сторінок, які ще не готові до публікації, містять службову інформацію або дубльований контент.