Павук

Він же – пошуковий робот, краулер, вебспайдер, бот.

Програма браузерного типу (автоматичний скрипт), що відповідає за індексування (обробку і занесення в БД) вмісту сторінок веб-ресурсів, про існування яких відомо пошуковій системі.

Також в обов’язки «павука» входить періодичне відвідування раніше проіндексованих ресурсів для виявлення змін в їх вмісті і внесення оновлених даних в кеш пошуковика.

Пошук нових веб-сайтів, які нещодавно з’явилися в мережі, відбувається шляхом переходу пошукового бота по посиланнях, розміщених на відомих йому сайтах.

Якщо «молодий» сайт не має зовнішньої посилальної маси і пошукові роботи обходять його стороною, їх увагу можна привернути, використовуючи «адурілку» – функцію «Add URL», яка є у всіх пошукових систем.

Насправді у будь-якої пошукової системи є кілька видів ботів, у кожного з яких є свої окремі обов’язки. Наприклад, на Google, крім основного робота (Googlebot), також «працюють» кілька його колег, які займаються більш вузькоспеціалізованою діяльністю – індексуванням новин, відеофайлів, зображень, сайтів для мобільних пристроїв і тих, які є учасниками рекламних мереж AdSense.

Для управління активністю пошукових роботів в межах окремо взятого веб-сайту використовується файл robots.txt, в якому прописуються рекомендаційні директиви для них.

[wp_schema_pro_rating_shortcode][wp_schema_pro_rating_shortcode]

© 2010-2020 Копіювання публікацій без активного гіперпосилання
на smychnyk.name заборонено і переслідується законом про
авторські права!


Fatal error: Uncaught JSMin_UnterminatedStringException: JSMin: Unterminated String at byte 72: "https://counter.yadro.ru/hit?r' + in /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php:214 Stack trace: #0 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php(152): JSMin->action(1) #1 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php(86): JSMin->min() #2 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/ao-minify-html.php(257): JSMin::minify('&lt;!--\ndocumen...') #3 [internal function]: AO_Minify_HTML->_removeScriptCB(Array) #4 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/ao-minify-html.php(108): preg_replace_callback('/(\\s*)(<script\\...', Array, '<!DOCTYPE html>...') #5 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/ao-minify-html.php(47): AO_Minify_HTML->process() #6 /home/refbaza/smyc in /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php on line 214