Ошибки при запуске сайта, из-за которых поиск его не видит

Герой разбора

Условная студия из двух разработчиков запускает сайт своего сервиса для бронирования переговорных. Сайт собирали на тестовом поддомене, потом перенесли на основной адрес, добавили пару страниц в последний момент и выдохнули. Пройдёмся по тому, что могло пойти не так.

Ошибка 1. Запрет индексации остался с разработки

Во время работы сайт разумно закрывают от роботов: в файле robots.txt стоит запрет на обход всего сайта, а в коде страниц — метатег noindex. При переносе на рабочий адрес про это легко забыть. Итог — сайт есть, а для поиска его нет.

Проверка простая: откройте robots.txt в корне домена и исходный код пары страниц. Строка, запрещающая обход корня, и метатег noindex на рабочем сайте — тревожный знак.

# Так было на тестовом сервере — на рабочем это ошибка
User-agent: *
Disallow: /

Ошибка 2. Тестовый домен попал в индекс

Обратная ситуация: тестовый поддомен забыли закрыть, и поисковая система успела его проиндексировать. Теперь в выдаче два одинаковых сайта, и поиск может выбрать основным именно тестовый.

Решение — закрыть тестовую среду паролем на уровне сервера (это надёжнее, чем robots.txt), а уже проиндексированные страницы перенаправить на соответствующие адреса рабочего сайта или удалить через панель вебмастера.

Ошибка 3. Несколько версий одного адреса

Для сервера http://site, https://site, https://www.site и https://site/index.html могут быть разными страницами. Если все они открываются и отдают одно и то же, поисковая система видит дубли.

Постоянным считается перенаправление с кодом 301 или 308. Временные перенаправления поисковая система трактует иначе и может долго держать в индексе старый адрес.

Ошибка 4. Дубли внутри сайта

Кроме вариантов домена, дубли возникают из-за параметров в адресе: сортировки, фильтров, меток рекламных кампаний. Ещё один источник — один и тот же материал в нескольких разделах. На каждой странице стоит указывать канонический адрес, а параметры, не меняющие содержимое, — закрывать от обхода или склеивать.

Ошибка 5. Пустые и недоделанные страницы

«Раздел в разработке», шаблонный текст-рыба, страница тарифов с одной строкой «скоро». Такие страницы снижают общее впечатление поисковой системы о сайте и забирают внимание робота. Лучше не публиковать страницу, чем публиковать заглушку. Если раздел действительно нужен в меню, дайте ему хотя бы короткий, но полезный текст.

Похожая беда у сайтов на скриптовых фреймворках: в ответе сервера только пустой каркас, а текст появляется в браузере. О том, как это проверить, рассказано в материале про SEO небольшого сайта.

Ошибка 6. Нет карты сайта

Карта сайта — файл со списком адресов, которые вы хотите видеть в поиске. Небольшой сайт робот найдёт и без неё, но карта ускоряет обход и помогает заметить, если какие-то страницы выпали. Ссылка на неё указывается в robots.txt и отправляется в панели вебмастера.

В карту не должны попадать перенаправленные, закрытые от индексации и служебные адреса — иначе она сама становится источником ошибок.

Ошибка 7. Мусорные заголовки и описания

Title «Главная», «Новая страница», одинаковое описание на всех страницах, название проекта вместо сути — это то, что человек увидит в выдаче. Каждой странице нужен свой заголовок, который отвечает на вопрос «о чём это», и описание, которое объясняет, почему стоит кликнуть.

Ошибка 8. Неверные коды ответа

Когда посетитель открывает адрес, которого нет, сервер обязан ответить кодом 404. Бывает, что движок показывает вежливое сообщение об ошибке, но в заголовке ответа отдаёт 200, — тогда поисковая система принимает каждую опечатку в адресе за самостоятельную страницу и тратит на них обход. Удалённые материалы, у которых есть замена, перенаправляют на эту замену.

Чек-лист запуска

• robots.txt не запрещает обход рабочего сайта, на страницах нет метатега noindex.
• Тестовая среда закрыта паролем и не отдаётся поисковым роботам.
• Все варианты адреса ведут постоянным перенаправлением на одну https-версию.
• На каждой странице указан канонический адрес.
• Нет страниц-заглушек и текста-рыбы.
• Карта сайта создана, указана в robots.txt и отправлена в панели вебмастера.
• У каждой страницы свой title и description.
• Несуществующие адреса отдают 404, удалённые — перенаправляют на замену.
• Подключена аналитика и панели вебмастера — подробности в материале про аналитику для начинающих.

Типичные ошибки при исправлении

Удалить всё через robots.txt. Запрет обхода не удаляет страницы из индекса — робот просто перестаёт их проверять и может долго видеть старую версию.

Цепочки перенаправлений. Адрес ведёт на второй, тот на третий. Каждое перенаправление должно сразу вести на конечную страницу.

Исправить и забыть. После следующего релиза запрет индексации может вернуться вместе с конфигурацией. Добавьте проверку robots.txt в список действий перед выкладкой.