Robots.txt

Розміщується в кореневій директорії веб-сайту файл, в якому містяться інструкції щодо дій пошукових роботів в процесі індексації. Це може бути заборона занесення в індекс як окремих сторінок, розділів, категорій, так і всього сайту в цілому.

Крім того, є можливість вказівки різних рекомендацій по індексації для роботів окремих пошукових систем. Для цього необхідно в обов’язковому полі User-agent вписати назву бота, якого стосується така його вказівка.

Далі має бути присутньою директива Disallow, в якій вказується адреса веб-ресурсу, індексація якого забороняється. Якщо адресу не вказувати і залишити Disallow порожній, це сприймається як дозвіл індексації всього веб-сайту (якщо немає альтернативних вказівок).

Також в цьому файлі може прописуватися:

  • адреса місця розташування карти сайту, що дає можливість пошуковими роботам швидко ознайомитися зі структурою відвідуваного ними веб-ресурсу (robots.txt – перше, що вони шукають при візиті на сайт);
  • URL сайту, який є головним дзеркалом (при їх наявності).

Заборона індексації через robots.txt може стати в нагоді для приховування сторінок, які ще не готові до публікації, містять службову інформацію або дубльований контент.

[wp_schema_pro_rating_shortcode][wp_schema_pro_rating_shortcode]

© 2010-2020 Копіювання публікацій без активного гіперпосилання
на smychnyk.name заборонено і переслідується законом про
авторські права!


Fatal error: Uncaught JSMin_UnterminatedStringException: JSMin: Unterminated String at byte 72: "https://counter.yadro.ru/hit?r' + in /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php:214 Stack trace: #0 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php(152): JSMin->action(1) #1 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php(86): JSMin->min() #2 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/ao-minify-html.php(257): JSMin::minify('&lt;!--\ndocumen...') #3 [internal function]: AO_Minify_HTML->_removeScriptCB(Array) #4 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/ao-minify-html.php(108): preg_replace_callback('/(\\s*)(<script\\...', Array, '<!DOCTYPE html>...') #5 /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/ao-minify-html.php(47): AO_Minify_HTML->process() #6 /home/refbaza/smyc in /home/refbaza/smychnyk.name/www/wp-content/plugins/autoptimize/classes/external/php/jsmin.php on line 214