Само упоминание об этом уже вызывает мини-паническую атаку, не так ли? Если вы хотите пережить мой кошмар вместе со мной, то мы пройдем через эти события в хронологическом порядке.

4 августа 2019 года

Было воскресное утро. Я пил свой кофе и копался в SEO-инструментах, как обычно, ничего не ожидая. А потом… бам!

Как SЕО-специалисты, мы уже привыкли видеть естественные колебания в результатах поиска.

Стадия 1: Отрицание

На мой ум сразу же пришла только одна мысль – это ошибка. Поэтому я зашел и в другие инструменты, чтобы перепроверить данные с Ahrefs.

Google Analytics также показал соответствующее падение трафика, подтверждая, что что-то явно произошло. И я начал предполагать самое худшее.

Стадия 2: Паника

Только бы не обновление алгоритма. Я зашел в инструмент Barracuda’s Panguin, чтобы посмотреть, совпадает ли наша проблема с подтвержденным обновлением.

Никаких обновлений. Фух.

Стадия 3: Диагностика

В таких ситуациях никто никогда не думает ясно. Вы паникуете, думаете иррационально и принимаете неверные решения.

Я наконец-то собрался с духом, чтобы ясно подумать о том, что произошло: очень странно, что ключевые слова полностью исчезли с поиска. Наверное, это чисто техническая ошибка.

Возможно это индексация.

Быстрый поиск в Google по страницам, которые потеряли позиции по своим ключевым словам, подтвердил, что страницы действительно исчезли. Консоль поиска Google выдала то же самое:

Обратите внимание на предупреждение внизу: («noindex» обнаружен в метатеге «robots»).

Затем мы решили перепроверить это в исходном коде.

Наши страницы были помечены для деиндексации. Но сколько страниц уже было деиндексировано до этого момента?

Стадия 4: Оценка ущерба

После нашего обращения к разработчику, он сообщил, что спринт, развернутый в четверг вечером (1 августа 2019 года), почти за три дня до этого, случайно толкнул код на каждой странице.

Но был ли деиндексирован весь сайт?

Это очень маловероятно потому, что в таком случае Гуглу пришлось бы сканировать каждую страницу сайта в течение трех дней, чтобы найти разметку «noindex».

Мы видим, что консоль поиска нашла максимум 249 деиндексированных страниц, из более 8000, находящихся в индексе.

Примечание: Я никогда не буду уверен, сколько страниц было полностью деиндексировано в Google, но я знаю, что каждая из таких страниц имела разметку «noindex».

Шаг 1: Исправить проблему

После того, как проблема была определена, наш разработчик откатил обновление и запустил сайт в том виде, в котором он был до разметки «noindex». Далее возникла необходимость в повторной индексации нашего контента.

Шаг 2: Отправить сайт на повторную индексацию

Я удалил старую карту сайта, создал новую и повторно загрузил ее в консоль поиска. Также я выбрал большую часть наших целевых страниц основного продукта и отправил на повторную индексацию.

Шаг 3: Ждать

Больше нам ничего не оставалось делать, кроме как ждать. Так как было много вопросов:

• Будут ли страницы ранжироваться по тем же ключевым словам, что и ранее?
• Будут ли они восстановлены на свои позиции?
• Будет ли Google «штрафовать» страницы каким-то образом за короткое исчезновение?

8 августа 2019 года (одна неделя) — 33% падение в результатах поиска

При оценке ущерба я использовал дату (2 августа), когда ошибочный код был полностью развернут и размещен на страницах, как точку отсчета. Поэтому, первое измерение будет завершено через семь дней, со 2 по 8 августа.

Мы потеряли около 33,2% нашего поискового трафика. К счастью, это был пиковый уровень ущерба, который мы получили на протяжении всего испытания.

15 августа 2019 года (две недели) — падение посещаемости на 23%

В течение этого периода я следил за двумя вещами: поисковым трафиком и индексированными страницами. Несмотря на повторную отправку карты сайта и ручную выборку страниц в консоли поиска, многие страницы все еще не индексировались — даже основные целевые страницы.

В результате этого, наш трафик еще не был полностью восстановлен.

Через две недели после инцидента мы все еще были ниже нашего исходного уровня, и наши конверсии, приносящие доход, упали вместе с трафиком.

22 августа 2019 года (три недели) — падение посещаемости на 13%

Наши страницы все еще медленно индексировались. Очень медленно, пока я наблюдал, как мои коммерческие цели проваливаются сквозь пол.

По крайней мере, было ясно, что наши позиции восстанавливаются. Но то, как они восстанавливались, представляло для меня особый интерес.

• Были ли все страницы проиндексированы повторно, но с пониженными позициями в поисковике?
• Была ли переиндексирована только часть страниц с полностью восстановленными позициями в поиске?

Чтобы ответить на эти вопросы, я взглянул на страницы, которые были деиндексированы и переиндексированы по отдельности. Вот пример одной из таких страниц:

Вот пример страницы, которая была деиндексирована в течение более короткого периода времени:

Каждая страница была полностью восстановлена до своих первоначальных позиций. Поэтому, казалось, что дело не в том, восстановятся ли страницы, а в том, когда страницы будут повторно проиндексированы.

Но через три недели некоторые страницы все еще были деиндексированы, включая коммерческие посадочные страницы.

29 августа 2019 года (четыре недели) — падение посещаемости на 9%

В этот момент я был очень разочарован потому, что осталось только около 150 страниц, которые нужно было проиндексировать, и независимо от того, сколько раз я проверял и запрашивал новую индексацию в Search Console, это не работало.

Эти страницы могли быть полностью проиндексированы (как сообщается при проверке URL-адреса), но они не сканировались. В результате, спустя почти месяц, мы все еще были на 9% ниже исходного уровня.

Одна страница просто отказалась от повторной индексации. Это была карточка товара с высокой коммерческой ценностью, на которую я расчитывал.

В своих попытках форсировать переиндексацию я старался:

• Проверять URL и отправлять на индексацию (15 раз в течение месяца).
• Обновлять даты публикаций, а затем отсылать на индексирование.
• Обновлять содержимое и даты публикаций, а затем отсылать на индексирование.
• Делать повторную отправку sitemaps в Search Console.

Но ничего не вышло. Эта страница так и оставалась непроиндексированой. Та же история для более, чем ста других менее коммерчески важных URL-адресов.
Кстати, вот как выглядел наш общий прогресс восстановления после четырех недель:

5 сентября 2019 года (пять недель) — падение трафика на 10,4%

На этом этапе мы переиндексировали все наши страницы, за исключением ~150 или около того, которые предположительно были «проверены».

Казалось, что мы, скорее всего, полностью восстановимся, но всё было в руках Google.

12 сентября 2019 года (шесть недель) — прирост трафика на 5,3%

Прошло около шести недель, прежде чем мы полностью восстановили наш трафик.

Примечательно, что страница карточки товара не индексировалась еще в течение ~2,5 недель.

В целом, наше присутствие в поиске восстановилось через шесть недель. Но наш контент не был полностью переиндексирован до восьми с лишним недель после устранения проблемы.

Вывод

Во-первых, старайтесь не деиндексировать свой сайт случайно, по несчастному случаю, для эксперимента или по любой другой причине. По моим оценкам, мы потеряли около 12% органического трафика, что равно пропорционально уменьшению коммерческих конверсий.

Что мы узнали??

После повторного индексирования страниц, они были полностью восстановлены в поисковой системе. Наибольшей проблемой было их переиндексирование.

Неужели мы восстановились?

Да, мы полностью восстановились.

Как долго это продолжалось?

Видимость в поиске вернулась к исходному уровню через шесть недель. Все страницы повторно индексируются, примерно, через восемь-девять недель.