1 минRobots.txt — это текстовый файл с правилами обхода сайта для поисковых роботов. Он размещается в корневой директории сайта и подсказывает роботам, какие разделы можно сканировать, а какие лучше не обходить.
В SEO robots.txt используют для управления краулингом. С его помощью можно ограничить обход служебных страниц, технических параметров, корзины, личного кабинета, результатов поиска по сайту, некоторых фильтров, сортировок и других URL, которые не должны отнимать ресурсы поискового робота. Также в этом файле часто указывают путь к Sitemap.xml.
Важно понимать, что robots.txt управляет именно обходом, а не всегда гарантированно запрещает появление URL в поиске. Если страница уже известна поисковой системе или на нее ведут внешние ссылки, она может отображаться в выдаче без полноценного содержимого. Для надежного запрета индексации обычно используют noindex или закрытие доступа на уровне сервера.
Ошибки в robots.txt могут быть критичными. Например, случайная директива Disallow для всего сайта может закрыть от обхода важные разделы и привести к падению видимости. Другая частая проблема — закрытие CSS и JavaScript-файлов, из-за чего поисковая система хуже оценивает отображение страницы.
Robots.txt нужно проверять после любых изменений структуры, CMS, фильтров или технических настроек. Это небольшой файл, но его влияние на SEO может быть очень серьезным.
