Павук

Він же – пошуковий робот, краулер, вебспайдер, бот.

Програма браузерного типу (автоматичний скрипт), що відповідає за індексування (обробку і занесення в БД) вмісту сторінок веб-ресурсів, про існування яких відомо пошуковій системі.

Також в обов’язки «павука» входить періодичне відвідування раніше проіндексованих ресурсів для виявлення змін в їх вмісті і внесення оновлених даних в кеш пошуковика.

Пошук нових веб-сайтів, які нещодавно з’явилися в мережі, відбувається шляхом переходу пошукового бота по посиланнях, розміщених на відомих йому сайтах.

Якщо «молодий» сайт не має зовнішньої посилальної маси і пошукові роботи обходять його стороною, їх увагу можна привернути, використовуючи «адурілку» – функцію «Add URL», яка є у всіх пошукових систем.

Насправді у будь-якої пошукової системи є кілька видів ботів, у кожного з яких є свої окремі обов’язки. Наприклад, на Google, крім основного робота (Googlebot), також «працюють» кілька його колег, які займаються більш вузькоспеціалізованою діяльністю – індексуванням новин, відеофайлів, зображень, сайтів для мобільних пристроїв і тих, які є учасниками рекламних мереж AdSense.

Для управління активністю пошукових роботів в межах окремо взятого веб-сайту використовується файл robots.txt, в якому прописуються рекомендаційні директиви для них.