Spider

Автоматичний скрипт (програма) браузерного типу. Використовується пошуковою системою для сканування (індексації) вмісту веб-сторінок відомих їй сайтів і занесення їх в свій кеш.

Альтернативні назви: пошуковий робот, павук, краулер, спайдер, бот.

Для того щоб почати просування сайту в пошукових системах необхідно привернути увагу їх роботів. У теорії вони і самі можуть “натрапити” на досі невідомий їм веб-ресурс (наприклад, через зворотне посилання на сторонньому сайті). Але для прискорення цього процесу краще повідомити їм про появу в мережі нового веб-сайту. Повідомляють, що необхідна його індексація за допомогою функції «Add URL», доступною як в Яндекс.Вебмастері так і в Google Search Console.

Пошукові боти регулярно здійснюють обходи вже проіндексованих веб-сторінок. Їх мета – виявлення зміни у вмісті і занесення в БД пошуковців оновлених даних – більш актуальних, ніж ті, які вже знаходяться в них.

Керувати діяльністю спайдерів в межах веб-сайту (дозволяти / забороняти індексацію окремих елементів) можна за допомогою спеціальних інструкцій, що прописуються в файлі robots.txt.

[wp_schema_pro_rating_shortcode][wp_schema_pro_rating_shortcode]

© 2010-2020 Копіювання публікацій без активного гіперпосилання
на smychnyk.name заборонено і переслідується законом про
авторські права!


Fatal error: Uncaught JSMin_UnterminatedStringException: JSMin: Unterminated String at byte 72: "https://counter.yadro.ru/hit?r' + in /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php:214 Stack trace: #0 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php(152): JSMin->action(1) #1 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php(86): JSMin->min() #2 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/ao-minify-html.php(257): JSMin::minify('&lt;!--\ndocumen...') #3 [internal function]: AO_Minify_HTML->_removeScriptCB(Array) #4 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/ao-minify-html.php(108): preg_replace_callback('/(\\s*)(<script\\...', Array, '<!DOCTYPE html>...') #5 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/ao-minify-html.php(47): AO_Minify_HTML->process() #6 /home/refbaza/smyc in /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php on line 214