Почему сайт не индексируется в Яндексе: причины и что делать
Сайт не индексируется в Яндексе чаще всего по одной из пяти причин: он новый и робот до него ещё не добрался, страницы закрыты в robots.txt или тегом noindex, сервер отвечает ошибками, Яндекс считает страницы дублями или малоценными, либо на сайт наложено ограничение за нарушение. Причину почти всегда видно в Яндекс Вебмастере за 10-15 минут. Ниже разобраны все основные случаи: как понять, какой из них ваш, и что сделать, чтобы страницы попали в поиск.
Сначала проверьте, что сайта правда нет в индексе
Бывает, что сайт в индексе есть, но не находится по нужным запросам. Это другая проблема, и лечится она иначе. Поэтому первым делом разделите два случая.
- Наберите в поиске Яндекса
site:вашсайт.ru. Если выдача пустая или в ней 2-3 страницы из сотни, проблема с индексацией. - Откройте в Вебмастере «Сводку»: там график числа страниц в поиске. Резкий обвал на графике говорит о том, что что-то сломалось в определённый день.
- Для конкретного адреса используйте «Индексирование → Проверить статус URL». Яндекс покажет, когда робот заходил, какой код ответа получил и есть ли страница в поиске.
Если страницы в индексе есть, но трафика нет, читайте не про индексацию, а про семантику, контент и коммерческие факторы. Дальше в статье речь о случае, когда страниц в поиске действительно нет или их заметно меньше, чем на сайте.
Причина 1. Сайт новый, робот до него не дошёл
Свежий домен Яндекс может не замечать от нескольких дней до 3-4 недель, особенно если на сайт нет ни одной внешней ссылки. Это нормально, но процесс можно ускорить.
- Добавьте сайт в Вебмастер и подтвердите права.
- Загрузите sitemap.xml в «Индексирование → Файлы Sitemap».
- Отправьте главную и ключевые разделы в «Индексирование → Переобход страниц». У этого инструмента суточный лимит, у молодых сайтов он небольшой, поэтому тратьте его на важные адреса.
- Поставьте счётчик Метрики и включите в Вебмастере обход по счётчикам: тогда робот узнаёт о страницах, на которые заходят посетители.
- Получите несколько естественных ссылок: карточка в Яндекс Бизнесе, профиль в отраслевых каталогах, соцсети компании.
Если через месяц после этих действий в индексе по-прежнему пусто, причина не в новизне, ищите дальше.
Причина 2. Страницы закрыты от индексации
Самая частая причина, особенно после запуска нового сайта или редизайна. Разработчик закрыл тестовую версию от поиска, а при переносе на боевой домен запрет остался.
Где может стоять запрет:
| Где | Как выглядит | Как проверить |
|---|---|---|
| robots.txt | Disallow: / или закрыт нужный раздел | «Инструменты → Анализ robots.txt» |
| meta robots | <meta name="robots" content="noindex"> в коде страницы | просмотр исходного кода, поиск по «noindex» |
| HTTP-заголовок | X-Robots-Tag: noindex в ответе сервера | «Инструменты → Проверка ответа сервера» или DevTools |
| Настройки CMS | галочка «скрыть от поисковых систем» | панель управления сайтом |
| Пароль на сайте | сервер отвечает 401 | открыть сайт в режиме инкогнито |
В WordPress запрет включается в «Настройки → Чтение» галочкой «Попросить поисковые системы не индексировать сайт». В Tilda и Webasyst похожие переключатели есть в настройках сайта и SEO-разделах. После переноса сайта проверяйте их первым делом.
Отдельный случай: закрыты не все страницы, а только часть, например весь каталог из-за строки Disallow: /catalog вместо Disallow: /catalog/filter/. Такие ошибки видны в «Страницах в поиске» на вкладке исключённых со статусом «Запрещено в robots.txt».
Причина 3. Сервер отвечает ошибкой или блокирует робота
Пользователь видит сайт нормально, а робот получает ошибку. Так бывает чаще, чем кажется.
- Ответы 5xx. Сервер не выдерживает обход или падает на отдельных шаблонах. Смотрите «Индексирование → Статистика обхода»: там видно, какие коды ответа получал робот по дням.
- 403 для робота. Защита от DDoS, файрвол хостинга или блокировка по странам режет запросы YandexBot. Это частая история с CDN и антибот-сервисами, где по умолчанию включён строгий режим.
- Долгий ответ. Если страница отдаётся дольше нескольких секунд, робот может не дождаться и отложить обход.
- Ошибки SSL. Просроченный или неправильно установленный сертификат.
Как проверить: введите адрес в «Инструменты → Проверка ответа сервера» в Вебмастере. Запрос уходит от имени робота Яндекса, и вы видите ровно то, что видит он. Если есть доступ к логам сервера, найдите в них строки с YandexBot и посмотрите, какие коды он получает:
grep "YandexBot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -cЕсли в ответах много 403, 429 или 5xx, разговаривайте с хостингом или с тем, кто настраивал защиту.
Причина 4. Яндекс считает страницы дублями
Страница может быть доступна, открыта и отдавать 200, но в поиск не попадать, потому что Яндекс выбрал главной другую копию. На вкладке исключённых страниц это видно по статусам «Дубль» и «Неканонический».
Типовые источники дублей:
- сайт открывается и с www, и без, и по http, и по https;
- адреса со слешем на конце и без него;
- GET-параметры: сортировка, фильтры, UTM-метки, идентификаторы сессий;
- одна карточка товара в нескольких категориях с разными адресами;
- ошибка в шаблоне, из-за которой canonical на всех страницах указывает на главную.
Последний случай особенно коварный: сайт выглядит нормально, но в индексе остаётся одна главная. Проверьте исходный код пары внутренних страниц и найдите rel="canonical". Там должен стоять адрес самой страницы.
Что делать: настроить 301-редиректы на основное зеркало, прописать корректный canonical, добавить в robots.txt директиву Clean-param для служебных параметров. Если сайт переехал на новый домен или на https, сообщите об этом через «Индексирование → Переезд сайта».
Причина 5. Малоценные или маловостребованные страницы
Яндекс может обойти страницу, но не включить её в поиск со статусом «Малоценная или маловостребованная страница». Это значит, что по оценке алгоритма страница почти ничего не добавляет к тому, что уже есть в индексе, или её почти никто не ищет.
Чаще всего такой статус получают:
- карточки товаров с описанием, скопированным у производителя слово в слово;
- тысячи страниц фильтров с одинаковым набором товаров в разном порядке;
- «городские» страницы, где меняется только название города;
- пустые разделы каталога и теги блога с одной записью;
- страницы с текстом в 2-3 предложения и без других полезных элементов.
Лечится это содержанием, а не техническими настройками. Перепишите описания самых важных товаров, добавьте характеристики, фото, ответы на вопросы. Закройте от индексации фильтры, по которым нет спроса, и оставьте открытыми только те сочетания, которые реально ищут (их видно по Wordstat). Объедините похожие страницы в одну полноценную. Через несколько обновлений базы Яндекс пересмотрит оценку.
Причина 6. Контент подгружается только через JavaScript
Если сайт сделан как одностраничное приложение на React или Vue без серверного рендеринга, в исходном HTML может быть пустой контейнер, а весь текст появляется после выполнения скриптов. Яндекс умеет обрабатывать JavaScript, но делает это не всегда, медленнее и с ошибками.
Проверка простая: откройте страницу, нажмите Ctrl+U и поищите в исходном коде текст из основного блока. Если его там нет, робот может его не увидеть. Ещё один способ: отключите JavaScript в настройках браузера и обновите страницу.
Решение: серверный рендеринг (Next.js, Nuxt), статическая генерация (Astro, Hugo) или пререндеринг для робота. Для контентных сайтов и каталогов статическая генерация обычно проще и быстрее всего.
Причина 7. Санкции и нарушения
Если страницы массово вылетели из индекса за несколько дней, а технически ничего не менялось, откройте «Диагностика → Безопасность и нарушения». Яндекс сообщает о нарушениях там и присылает уведомление на почту.
| Нарушение | За что | Что делать |
|---|---|---|
| Малополезный контент | сайт сделан ради рекламы или трафика, без пользы для людей | перерабатывать сайт по существу |
| Переоптимизированные тексты | тексты набиты ключевыми словами | переписать тексты для людей |
| SEO-ссылки | массовая покупка ссылок | снять покупные ссылки |
| Накрутка поведенческих факторов | эмуляция визитов и кликов | прекратить накрутку, ждать снятия |
| Вредоносный код и угрозы | заражение сайта, вирусы | вычистить код, обновить CMS и плагины |
После исправления нажмите в разделе кнопку «Я всё исправил». Проверка занимает от нескольких недель, а повторные нарушения снимаются дольше.
Причина 8. Переезд, смена адресов и редиректы
После редизайна или смены CMS старые адреса часто меняются. Если на них не настроены 301-редиректы, Яндекс видит сотни 404 на месте страниц, которые были в поиске, а новые адреса ещё не знает. Позиции в такие недели проседают сильнее всего.
Перед переездом составьте таблицу соответствия старых и новых адресов, после переезда проверьте её краулером: каждый старый адрес должен отвечать 301 сразу на новый, без цепочек. Новую карту сайта загрузите в Вебмастер в день запуска.
Как ускорить индексацию после исправлений
Когда причина устранена, помогите роботу вернуться быстрее:
| Способ | Когда использовать |
|---|---|
| «Переобход страниц» в Вебмастере | для 10-30 самых важных адресов |
| Обновлённый sitemap.xml с датой lastmod | всегда после изменений |
| IndexNow | если CMS или плагин умеет отправлять уведомления об изменениях |
| Ссылки с главной и разделов | для новых страниц, которые глубоко в структуре |
| Обход по счётчикам Метрики | для сайтов, где есть посещаемость |
Обычно страницы возвращаются в поиск за 1-3 недели. Следить удобно в «Страницах в поиске» на вкладке последних изменений.
Частые вопросы
Сколько Яндекс индексирует новый сайт?
Первые страницы обычно появляются через 1-3 недели после добавления в Вебмастер и загрузки sitemap. Полная индексация большого каталога может занять месяц и больше: робот обходит сайт постепенно, по своей квоте.
Почему сайт индексируется в Google, но не индексируется в Яндексе?
У поисковиков разные правила. Чаще всего дело в том, что в robots.txt есть отдельный блок User-agent: Yandex с запретами, сервер или защита от ботов блокирует именно YandexBot, или Яндекс счёл страницы малоценными, а Google нет. Проверьте ответ сервера через инструмент Вебмастера.
Помогают ли сервисы «быстрой индексации»?
Сервисы, которые обещают загнать страницы в индекс за деньги, обычно прогоняют ссылки через свои площадки. Эффект нестабильный, а для Яндекса такие ссылки бесполезны. Инструментов Вебмастера и нормальной внутренней перелинковки достаточно.
Почему страницы то появляются в индексе, то пропадают?
Так ведут себя страницы на границе качества: Яндекс то включает их в поиск, то исключает как малоценные. Второй вариант: нестабильный сервер, который отвечает то 200, то 5xx. Смотрите статистику обхода за последний месяц.
Причины, из-за которых сайт не индексируется в Яндексе, мы ищем в рамках SEO-аудита, а исправления в коде и настройках сервера можем взять на себя через техподдержку сайта. Если индексация в порядке, а позиций нет, следующий шаг это продвижение в Яндексе с работой над структурой и содержанием.