Как правильно делать robots.txt

Файл robots.txt — первый «сигнальный огонь», который видят поисковые роботы, заходя на ваш сайт. От того, насколько грамотно прописаны директивы, зависит, будут ли важные страницы показываться в выдаче, а технические разделы — скрыты от индексации. Ниже — свежий чек-лист и практические примеры, включая конфигурацию для сайтов на Bitrix.

1. Что такое robots.txt и где он хранится Формат: обычный текстовый файл без расширения .txt в имени (кодировка UTF-8, без BOM). Размер: до 500 KB — всё, что больше, поисковики обрежут. Расположение: корень домена: https://domain.ru/robots.txt. Для поддоменов нужен отдельный файл. Кэш: Google и Яндекс берут копию на 3–24 часа, поэтому изменения вступают в силу не мгновенно.
2. Базовые директивы Директива Назначение Пример User-agent Определяет, к какому роботу применяются правила User-agent: * Disallow Запрещает сканирование пути или файла Disallow: /admin/ Allow Разрешает сканирование внутри запрещённого каталога Allow: /admin/css/ Sitemap Указывает расположение карты сайта Sitemap: https://domain.ru/sitemap.xml Host (Яндекс) Сообщает главное зеркало домена Host: https://domain.ru Clean-param (Яндекс) Игнорировать параметры в URL Clean-param: utm_source Crawl-delay Пауза между запросами робота (сек.) Crawl-delay: 5
3. Расширенные приёмы Шаблоны: * — любой набор символов, $ — конец строки. Disallow: /*.pdf$ запретит все PDF. Множественные секции: для каждого робота пишется отдельный блок User-agent. X-Robots-Tag: если нужно скрыть файл типа PDF или JSON, но оставить URL открытым, используйте HTTP-заголовок вместо robots.txt. robots meta-tag: точечный запрет индексации на уровне страницы (тег ).
4. Типичные ошибки и как их избежать Файл с кодировкой UTF-8 BOM — роботы могут считать первые байты как символы, ломая директиву. Опечатка в директиве (Disalow вместо Disallow). Запрет корня сайта Disallow: / во время разработки и забытый после релиза. Помещение файла в /bitrix/ или /public/ — роботы ищут его только в корне. Попытка «разрешить всё» после глобального запрета без явного Allow.
5. Проверка robots.txt Google Search Console → Инструмент «robots.txt Tester»: мгновенная проверка правила Allow/Disallow. Яндекс Вебмастер → «Анализ файлов robots.txt»: подсветка ошибок, учёт директив Host и Clean-param. Онлайн-валидаторы — например, XML-Sitemaps.
6. Пример robots.txt для сайтов на Bitrix Файл настроен так, чтобы:

скрыть служебные каталоги и параметры URL, разрешить индексацию кеша стилей/скриптов, передать карту сайта и главное зеркало.

---------- Общие правила ----------

User-agent: * Disallow: /bitrix/ Disallow: /upload/tmp/ Disallow: /search/ Disallow: /?print= Disallow: /&print= Disallow: /?utm_ Disallow: /?bxajaxid= Disallow: /&bxajaxid= Disallow: /?q= Allow: /bitrix/cache/ Allow: /bitrix/js/ Allow: /bitrix/templates/ Allow: /upload/.jpg$ Allow: /upload/.png$ Sitemap: https://example.ru/sitemap.xml Host: https://example.ru Clean-param: utm_source Clean-param: utm_medium Clean-param: sort&order

---------- Правила для Google ----------

User-agent: Googlebot Disallow: /*?view= Allow: /bitrix/css/

---------- Правила для Яндекса ----------

User-agent: Yandex Crawl-delay: 5 Disallow: /personal/