В реальных условиях данная задача практически невыполнима, ведь нет другого аналога той же самой Википедии, которая на данный момент насчитывает 5,8 миллионов статей на английском языке. Занимает объём в 46,6 миллионов страниц, и это все, по мнению Google, уникальный и полезный для пользователей контент.

Ситуация намного усложняется, если сайт является новым доменом и ещё не успевает обрасти обратными ссылками. В итоге такой сайт при благоприятных условиях может только рассчитывать на скорость индексации 500 своих страниц в сутки поисковым краулером Google — в месяц это получается всего 15 000 страниц. При таких темпах на вышеобозначенное число в 46 600 000 страниц потребуется 259 лет! Это реальное фиаско. Как же быть? Для получения ответов прибегают к техническому аудиту своих прямых конкурентов, у которых с индексацией нет проблем, например, к анализу сайта в 20 000 000 страниц, которому понадобилось чуть более года на индексацию.

Далее я отойду от повествования о привычных методиках и стратегиях. Пожалуй, самый популярный подход даже обсуждался здесь на блоге – это линкосапа в статье «Получаем дополнительную пользу от своих ресурсов». Я же развила идею благодаря новомодной доктрине корпорации Google. Вы все уже знакомы не понаслышке с тем, что самая крупнейшая поисковая система вызывающе ведёт широкомасштабные мероприятия по развёртыванию mobile-first индексации.
Подробнее »