Сайт есть, страницы открываются в браузере, а в поиске их нет — знакомая ситуация. Причина почти всегда в том, что поисковик либо не нашёл страницу, либо нашёл, но не добавил в индекс по техническим причинам. Разбираем по шагам, как это проверить и исправить.
Индексация — это процесс, когда робот Яндекса или Google заходит на страницу, читает её и решает, включать ли в свою базу для показа в поиске. Пока страницы нет в индексе, она не появится ни по каким запросам, даже самым точным.
Шаг 1: проверяем, какие страницы вообще индексируются
Первым делом смотрим, что из сайта вообще попало в базу поисковика. В Яндексе это делается через раздел «Индексирование» → «Страницы в поиске» в Яндекс.Вебмастере: там видно точное число проиндексированных страниц и список последних добавленных.
Быстрый способ для приблизительной оценки — запрос вида site:адрес-сайта прямо в поисковой строке. Он покажет часть страниц из индекса, хотя и не всегда полную. Если цифра сильно меньше, чем реальное число страниц на сайте, — есть проблема, и дальше нужно разбираться, где именно она возникает.
Шаг 2: ищем технические причины, которые блокируют индексацию
Самая частая причина — запрет в файле robots.txt или мета-теге noindex, который остался после разработки сайта. Стоит открыть файл robots.txt и проверить, не закрыты ли там нужные разделы. Вторая по частоте причина — страница не попала в sitemap.xml, и робот просто не знает о её существовании.
Ещё встречается дублирование контента (несколько адресов с одинаковым текстом), слишком медленная загрузка страницы или ошибки сервера при заходе робота. Всё это видно в отчётах Вебмастера в разделе «Диагностика» — там поисковик прямо указывает, что мешает индексации конкретной страницы.
Если страница закрыта в robots.txt, никакие другие действия — перелинковка, обновление контента, переоткрытие — не помогут: сначала снимите запрет, и только потом ускоряйте индексацию.
Шаг 3: ускоряем индексацию через Вебмастер и перелинковку
После того как технические препятствия убраны, можно ускорить процесс. В Яндекс.Вебмастере есть инструмент «Переобход страниц» — туда добавляют адреса, которые нужно проверить в первую очередь, и робот заходит на них быстрее, чем при обычном обходе сайта.
Второй рабочий способ — перелинковка: если на новую страницу ведут ссылки с уже проиндексированных страниц сайта, робот находит её быстрее, переходя по внутренним ссылкам. Страница, на которую никто не ссылается изнутри сайта, — это «сирота», до которой робот может добраться нескоро.
Также помогает актуальный файл sitemap.xml, отправленный через Вебмастер: он работает как список адресов для обхода и напрямую влияет на скорость обнаружения новых страниц.