Spider

Автоматичний скрипт (програма) браузерного типу. Використовується пошуковою системою для сканування (індексації) вмісту веб-сторінок відомих їй сайтів і занесення їх в свій кеш.

Альтернативні назви: пошуковий робот, павук, краулер, спайдер, бот.

Для того щоб почати просування сайту в пошукових системах необхідно привернути увагу їх роботів. У теорії вони і самі можуть “натрапити” на досі невідомий їм веб-ресурс (наприклад, через зворотне посилання на сторонньому сайті). Але для прискорення цього процесу краще повідомити їм про появу в мережі нового веб-сайту. Повідомляють, що необхідна його індексація за допомогою функції «Add URL», доступною як в Яндекс.Вебмастері так і в Google Search Console.

Пошукові боти регулярно здійснюють обходи вже проіндексованих веб-сторінок. Їх мета – виявлення зміни у вмісті і занесення в БД пошуковців оновлених даних – більш актуальних, ніж ті, які вже знаходяться в них.

Керувати діяльністю спайдерів в межах веб-сайту (дозволяти / забороняти індексацію окремих елементів) можна за допомогою спеціальних інструкцій, що прописуються в файлі robots.txt.

© 2010-2020 Копіювання публікацій без активного гіперпосилання
на smychnyk.name заборонено і переслідується законом про
авторські права!