Почему важно ускорить индексацию сайта и как это сделать

Чем быстрее страницы вашего сайта проиндексирует поисковик, тем быстрее они попадут в выдачу.

У Google на процесс индексирования уходит от пары минут до семи дней. Заранее определить сроки индексации никто не может — все зависит от вашего сайта. Но есть несколько способов ускорить процесс. 

Методы быстрой индексации особенно пригодятся сайтам:

• с большим количеством страниц;
• которые часто обновляют свой контент;
• владельцы которых внесли очень важные правки и хотят тут же видеть обновленные страницы в выдаче.

Перейдем к сути — что может сделать владелец сайта, чтобы поисковики как можно быстрее проиндексировали его сайт. 

1. Отправьте страницы на индексацию в Google Search Console

Чтобы страницы как можно быстрее попали под радар поисковика, используйте Google Search Console. Он поможет владельцам сайтов следить за состоянием индексации, изучать ошибки во время сканирования и оптимизировать сайты. 

Первые шаги в работе с Google Search Console — добавить туда свой ресурс и подтвердить право собственности. Начать можно здесь, используя подсказки. Первые данные о вашем сайте можно будет увидеть в консоли уже через пару дней.

Чтобы проверить статус индексации новой страницы, выберите на левой панели «Проверка URL» или введите нужный URL-адрес в поисковое поле сверху. Вот так просто. 

После отправки URL на проверку вы увидите, проиндексирована ли эта страница, а также ошибки, связанные с AMP, разметкой и индексацией.

Если страница не проиндексирована, вы можете запросить визит робота Googlebot и отслеживать статус индексирования. 

Инструмент «Проверка URL» подходит для индексации как новых страниц, так и тех, которые вы обновили.  

2. Используйте преимущества карты сайта 

Карта сайта XML служит навигатором для поисковых роботов, и это можно использовать для ускорения индексации. 

Карта помогает поисковым роботам быстрее находить страницы сайта и быстрее их индексировать. То есть, чтобы сообщить поисковикам о том, какие страницы на вашем сайте доступны для сканирования, добавьте их в файл sitemap.xml, а ссылку на сам файл — в специальный раздел панели для веб-мастеров (ниже добавлю инструкцию). 

Карта XML для поисковых систем — рекомендация, а не строгая инструкция. Она не гарантирует, что все добавленные страницы будут проиндексированы, но может действительно помочь большим сайтам быстрее и полнее проиндексироваться.

Несколько советов по созданию карты

Чтобы карта лучше сработала, она должна быть хорошо структурирована и размечена для поисковика.

Отмечайте обновленные страницы с помощью тега <lastmod> для добавления действительной даты последнего изменения, а не одной и той же даты для всех страниц.

Укажите приоритетность страниц для сканирования с помощью тега <priority> (от 0 до 1) и частоту изменений страницы (с помощью тега <changefreq>). Так поисковики получат полную информацию о вашем ресурсе. Но учтите, что частота изменений страницы может не соответствовать тому, как часто ее будут сканировать поисковые роботы. Google в настоящее время не учитывает атрибуты <priority> и <changefreq>, и поэтому их не обязательно добавлять.

Создайте отдельные карты сайта для изображений, видео, новостей, если на вашем сайте много таких материалов. Такое сегментирование поможет поисковым роботам найти контент, который сложно обнаружить с помощью обычных методов сканирования (например, он загружается через JavaScript). На большом сайте отдельные карты могут пригодиться даже для разделов и подкатегорий.

Создайте несколько карт сайта, если у вас больше 50 000 страниц или размер карты больше 50 МБ. Созданные карты нужно поместить в один индекс, в котором будут ссылки на все созданные XML-файлы.

Как создать карту сайта и добавить ее в панели веб-мастеров

Создать XML-карту помогут разные веб-инструменты и программы. Эта опция есть и в SE Ranking — в разделе «Аудит сайта».

В этом инструменте можно выбрать, какие типы страниц включить в карту, указать частоту изменения страниц и приоритет сканирования для страниц разного уровня.  

Файл с картой нужно добавить на сам сайт (загрузить в корень сайта https://yoursite/sitemap.xml), а затем отправить в Google. 

Чтобы отправить карту в Google Search Console, укажите ссылку на размещенную на вашем сайте карту. Сделать это можно в разделе «Файлы Sitemap».

Как только карта сайта будет просканирована роботами, вы получите отчет о том, какие страницы сайта попали в индекс поисковика и какие ошибки были при этом обнаружены.

3. Соберите качественные обратные ссылки

Чем больше качественных обратных ссылок у вашего веб-сайта, тем больше причин у поисковых роботов обратить на него внимание. Ведь если кто-то ссылается на ваши страницы, значит, они кому-то важны.   

Для индексации лучше всего работают ссылки из соцсетей и новостных порталов. Дело в том, что они популярны, часто обновляют контент и, тем самым, «стимулируют» поисковых роботов как можно чаще сканировать ресурс. Если ваша ссылка появилась на таком сайте, ее, скорее всего, быстро обнаружит поисковый робот ― шансы есть даже у nofollow-ссылок.

Кстати, в этом году Google изменил правила для nofollow-ссылок. С 1 марта 2020 атрибут nofollow становится рекомендательным. Это значит, есть вероятность, что поисковик будет переходить по nofollow-ссылкам и индексировать их. 

Как же получать качественные ссылки с других ресурсов? Начните с разработки стратегии по получению бэклинков. Несколько идей: разместите ссылку на ваш ресурс на тематических форумах, сервисах вопросов и ответов, сайтах-агрегаторах и т.д. Пробуйте все подходящие (и законные) способы. 

Если идеи по получению ссылок уже закончились, можно подсмотреть их у ваших конкурентов — собрать площадки для потенциального размещения бэклинков из ссылочного профиля сайта-конкурента. С этим поможет разобраться инструмент «Анализ обратных ссылок» от SE Ranking. 

Что нужно делать? Все просто — зарегистрируйте бесплатный пробный аккаунт, откройте «Анализ обратных ссылок» и введите в поисковое поле URL домена конкурента. 

Увидите список сайтов, которые ссылаются на вашего конкурента. Сможете оценить контекст, в котором дана ссылка, якорный текст и параметры ресурса. Все нужные данные в одной таблице — так отобрать доноров ссылок гораздо быстрее. 

Отдельно стоит сказать о соцсетях.
Поисковые роботы активно «мониторят» соцсети, потому что новые материалы там появляются каждую секунду. Чтобы использовать эту особенность для своего сайта, нужно укрепить его присутствие на социальных площадках. 

Просто добавить ссылку на сайт в шапку профиля не достаточно. Чтобы поисковой робот заинтересовался страницей компании, она должны быть популярной — иметь подписчиков, лайки, комментарии и репосты. 

Еще ссылки на сайт и страницы можно размещать в постах, комментариях, описаниях к мультимедийным файлам, заметках, личных профилях (например, как место работы или партнерство), группах и сообществах (как ваших, так и чужих по вашей теме). Главное позаботиться о том, чтобы ссылки были к месту. 

На первом месте по скорости сканирования ссылок Twitter — он быстро индексируется Google. Также поисковик индексирует ссылки с активных страниц в Facebook. 

Общее правило индексации разных соцсетей поисковиками — чем больше социальной активности вы привлечете на свои публикации, тем больше у вас шансов «пригласить» краулеров соцсетей. А они ходят в гости парами, приглашая с собой на ваши страницы роботов поисковых систем.

4. Увеличьте скорость загрузки сайта 

Есть такой понятие — краулинговый бюджет. Оно означает максимальное количество страниц, которое поисковой робот может просканировать за один визит. И чем дольше грузятся ваши страницы, тем меньше поисковые роботы просканируют за один раз. 

Именно поэтому скорость загрузки так важна для индексации страниц. 

Вы можете оценить скорость загрузки любой страницы на вашем сайте с помощью инструмента PageSpeed Insights. Он покажет вам данные по скорости, что можно улучшить и сколько времени вы сэкономите при дальнейших загрузках, если исправите обнаруженные ошибки. 

Если вы хотите узнать скорость всех страниц сайта, перейдите в Google Search Console → Улучшения → Отчет о скорости загрузки. Страницы будут разделены по группам — с низкой, средней и высокой скоростью для компьютера и мобильных.

Посмотрите на страницы «с низкой скоростью» — увидите, какие проблемы поисковик обнаружил при сканировании. Устранив описанные проблемы, можно нажать «Проверить исправление» и следить за ходом проверки.

Здесь вы сможете проверить среднее время загрузки всего сайта, время загрузки каждой отдельной страницы и турбо-страниц. Данные в отчете показаны для каждого этапа загрузки страницы (обработка запросов к DNS, обработка HTTP-редиректов, продолжительность установки соединения с браузером, ответ сервера, время загрузки и парсинга HTML и т.д.). Обнаружив самый долгий этап, вы можете начать с оптимизации его загрузки в первую очередь.

5. Выстройте хорошую перелинковку и навигацию по сайту

Внутренняя перелинковка сайта построит ссылочные мостики для поисковых ботов и «поведет» их в нужном направлении — от одной страницы вашего сайта к следующей и т.д. Воспользуйтесь тем, что краулеры с большей вероятностью быстрее просканируют «популярные» страницы (с большим ссылочным весом и трафиком). И если на этих популярных страницах есть ссылки на новые, поисковики перейдут по ним и быстрее их просканируют. Чтобы это работало, нужно настроить правильную перелинковку.

Главное, чтобы внутренние ссылки были релевантными и не сбивали пользователей с толку. Но даже самая удачная перелинковка может со временем перестать работать — поэтому очень важно периодически проверять, как с ней обстоят дела на вашем сайте. Рекомендую воспользоваться понятной рабочей инструкцией в нашем блоге, где по полочкам разложено, как проанализировать внутреннюю перелинковку вашего ресурса и найти все связанные с ней ошибки.

Другой важный момент — навигация на сайте. Она тоже влияет на скорость сканирования и индексации. Основные правила хорошей навигации: будьте логичными и последовательными, добавьте хлебные крошки, старайтесь сокращать путь к страницам до 3 кликов, откажитесь от меню на скриптах и flash, чтобы не усложнять процесс сканирования. 

Помните, что ваш сайт должен быть простым и понятным как для поисковых роботов, так и для посетителей.

6. Регулярно публикуйте и обновляйте контент

Поисковикам нет смысла заходить на ваш сайт, если на нем ничего не меняется. Если же свежий контент появляется на вашем сайте регулярно, поисковые боты тоже зачастят на ваш веб-ресурс.  

Вы можете создать график публикаций новых страниц на сайте (например, статей или обзоров в блоге) и придерживаться этого плана. Но не стоит публиковать новый контент ради «галочки» — он должен нести ценность для читателей вашего ресурса и не повторять то, что уже есть на сайте. 

Много похожих страниц негативно отразятся на индексации всего сайта, особенно если речь идет о больших ресурсах. Также не в вашу пользу сработают публикации, в которых есть неуникальный контент, плохой рерайт, мало смысла и много воды. 

Что можно предпринять, чтобы контент на вашем сайте помог с ускорением индексации:

• публикуйте новый контент как минимум раз в неделю;
• проставьте ссылки между новыми и старыми материалами;
• обновляйте устаревшую информацию на сайте;
• убедитесь, что публикуете качественный и уникальный контент.

7. Используйте сервисы пингования 

Пингование — еще один способ оповещения поисковых систем о новом контенте. Когда вы отправляете пинг (сигнал), вы как будто «призываете» поисковых роботов прийти и проверить новый контент на вашем сайте.

Специальные пинг-сервисы, например Pingomatic, Pingler, Pingoat, встраиваются в движок вашего сайта и автоматически отправляют пинги поисковым системам, ускоряя процесс индексации.

В админке WordPress предусмотрена такая функция — в настройках нужно выбрать Написание → Сервисы обновления — и там указать список пинг-сервисов.

При использовании таких инструментов обязательно добавляйте только свежий контент и важные обновления, а также не переусердствуйте с отправлением пингов, чтобы поисковики не решили, что вы их спамите. Если планируете использовать автоматическое оповещение, вам пригодятся специальные WP-плагины для кастомной настройки пингования ― как часто отправлять пинги, после каких правок и т.д.

8. Добавьте сайт в RSS-агрегаторы  

Сообщать поисковикам о новом контенте на вашем сайте можно через RSS-агрегаторы.

RSS — это формат для публикации новостей, который отлично подходит для отслеживания изменений на сайте без необходимости заходить на сам ресурс. Его используют для создания новостных лент (RSS feed), которые отображаются в самых разных RSS-агрегаторах, рейтингах и каталогах. 

Чтобы создать новостную ленту для вашего сайта (пример для WordPress), просто добавьте в адрес вашего ресурса слово feed — получится что-то вроде https://yoursite/feed. 

Следующий шаг — зарегистрировать вашу ленту в FeedBurner. Это сервис Google, который приводит все новостные ленты к стандартному формату и помогает ее настроить. 

Теперь вы готовы добавлять сгенерированную в FeedBurner ленту в различные агрегаторы и каталоги. 

Среди бесплатных RSS-агрегаторов, куда можно добавить свою новостную ленту:

• Subscribe.ru

Несколько рейтингов, куда можно добавить свою ленту:

• Топ-100 Рамблер
• Top.Mail.Ru
• Liveinternet

Обычно для добавления ленты в агрегатор достаточно указать название самой ленты, ее описание, URL сайта, ваш email и категорию (тематику новостей). 

После добавления новостной ленты в RSS-агрегаторы все анонсы ваших материалов будут появляться там автоматически, привлекая поисковых роботов на ваш ресурс.

Действовать или ждать

Процесс сканирования и индексирования сайта требует вашего постоянного внимания и контроля. Если вы обнаружили проблемы с индексацией, не ждите, пока поисковики сами все решат. 

Нужно действовать! Пробуйте методы ускорения индексации, о которых я писала выше ― каждый из них может дать «зеленый свет» для поисковых роботов. Осталось только выбрать наиболее подходящий вариант или комбинацию способов для вашего ресурса. 

Уже пробовали какой-то из них или знаете другой рабочий прием? Пожалуйста, поделитесь с нами в комментариях. И пусть ни одна важная страница на вашем сайте не останется без индексации!