Генератор robots.txt
Выберите движок сайта и отметьте, что закрыть от индексации. Готовый файл можно скопировать или скачать.
robots.txt
Что важно знать про robots.txt
Файл robots.txt лежит в корне сайта и говорит роботам, какие разделы не нужно обходить. Он не защищает страницы от посторонних глаз: закрытая в robots страница может попасть в индекс, если на неё стоят ссылки. Для надёжного исключения используйте метатег noindex.
Директива Clean-param понимает только Яндекс. Она склеивает адреса с UTM-метками и другими служебными параметрами, чтобы робот не тратил на них лимит обхода. Директиву Host Яндекс больше не учитывает, главное зеркало задаётся 301-редиректом.
После загрузки файла проверьте его в Яндекс Вебмастере: раздел «Инструменты», пункт «Анализ robots.txt». Если на сайте сложная структура фильтров и дублей, это лучше решать в рамках SEO-аудита.
Заявка
Нужна помощь с сайтом?
Опишите, что нужно, и пришлите адрес сайта, если он есть. Посмотрим, предложим решение и назовём цену и срок. Консультация бесплатная.
- Ответим в течение рабочего дня
- Работаем по договору, оплата по счёту
- Сначала план и смета, потом работа
Или напишите: hello@sitekod.ru