Crawler

Один із варіантів назви автоматизованих програм браузерного типу (роботів) пошукових систем, що займаються занесенням сайтів в їх БД (індексуванням).

У перекладі з англійського “Crawler” – “гусениця”.

Також часто використовуються позначення: бот, спайдер, павук, spider, краулер, мураха, ant і інші.

У “обов’язки” краулерів входить виявлення нових невідомих пошуковій системі веб-сайтів з подальшим внесенням їх інформаційного вмісту в кеш пошукової системи для участі в пошукових видачах. Також боти займаються регулярними відвідинами сайтів, які вже перебувають в базі даних (БД) пошукової системи, для виявлення змін на їхніх сторінках і занесення в кеш оновлених даних.

Новим сайтам, які ще жодного разу не індексувалися краулером, необхідно привернути їхню увагу для того, щоб почати просування в пошукових системах. Для цього зазвичай досить розмістити кілька зворотних посилань на ресурсах, які вже перебувають в індексі, або повідомити пошуковику про новий сайт за допомогою функції «AddUrl».