Автоматичний скрипт (програма) браузерного типу. Використовується пошуковою системою для сканування (індексації) вмісту веб-сторінок відомих їй сайтів і занесення їх в свій кеш.
Альтернативні назви: пошуковий робот, павук, краулер, спайдер, бот.
Для того щоб почати просування сайту в пошукових системах необхідно привернути увагу їх роботів. У теорії вони і самі можуть “натрапити” на досі невідомий їм веб-ресурс (наприклад, через зворотне посилання на сторонньому сайті). Але для прискорення цього процесу краще повідомити їм про появу в мережі нового веб-сайту. Повідомляють, що необхідна його індексація за допомогою функції «Add URL», доступною як в Яндекс.Вебмастері так і в Google Search Console.
Пошукові боти регулярно здійснюють обходи вже проіндексованих веб-сторінок. Їх мета – виявлення зміни у вмісті і занесення в БД пошуковців оновлених даних – більш актуальних, ніж ті, які вже знаходяться в них.
Керувати діяльністю спайдерів в межах веб-сайту (дозволяти / забороняти індексацію окремих елементів) можна за допомогою спеціальних інструкцій, що прописуються в файлі robots.txt.