Одна із стандартних директив, які використовуються в robots.txt для вказівки веб-майстром рекомендацій пошуковим роботам щодо їх поведінки в процесі індексації веб-сайту (заборона / дозвіл щодо всього сайту або окремих розділів, сторінок).
Директива User-agent використовується для вказівки імені бота, до якого відноситься наступна за нею рекомендація в полі Disallow і / або Host. Якщо наступні інструкції стосуються всіх без винятку ботів, замість імен використовується символ “зірочка” (*).