Робот ПС

Спайдер, павук, spider, бот, пошуковий робот – програмний скрипт-агент, який здійснює індексацію вмісту сторінок веб-ресурсів, про які пошуковій системі вже відомо, а також пошук тих, які ще не потрапили в її кеш.

Після того як пошуковику стає відомо про існування певного сайту, робот починає регулярно наносити йому візити з метою виявлення і занесення в індекс нових опублікованих матеріалів, а також змін в раніше проіндексованих.

Веб-майстер може заборонити пошуковим роботам індексувати окремі сторінки або сайт в цілому за допомогою прописування відповідних директив у файлі robots.txt.