Crawl budget — Краулинговый бюджет сайта

Бюджет сканирования — это термин, изобретенный отраслью SEO для обозначения ряда связанных концепций и систем, которые поисковые системы используют при принятии решения о том, сколько страниц и какие страницы нужно сканировать.

Что такое краулинговый бюджет?

Бюджет сканирования — это количество страниц, которые робот Googlebot сканирует и индексирует на веб-сайте за определенный период времени.

Почему краулинговый бюджет важен для SEO?

Вкратце: если Google не проиндексирует страницу, она не получит никакого ранжирования.

Поэтому, если количество ваших страниц превышает бюджет сканирования вашего сайта, на вашем сайте будут страницы, которые не будут проиндексированы.

Тем не менее, подавляющему большинству сайтов не нужно беспокоиться о бюджете сканирования. Google ДЕЙСТВИТЕЛЬНО хорош в поиске и индексировании страниц.

Тем не менее, есть несколько случаев, когда вы действительно хотите обратить внимание на краулинговый бюджет:

  • У вас большой сайт: если у вас есть веб-сайт (например, сайт электронной коммерции) с более чем 10 тысячами страниц, у Google могут возникнуть проблемы с их поиском.
  • Вы только что добавили несколько страниц: если вы недавно добавили на свой сайт новый раздел с сотнями страниц, вы хотите убедиться, что у вас есть бюджет сканирования, чтобы быстро их все проиндексировать.
  • Множество перенаправлений: множество перенаправлений и цепочек перенаправлений съедают ваш краулинговый бюджет.

Вот несколько простых способов увеличить краулинговый бюджет вашего сайта.

Лучшие практики

Повышение скорости загрузки сайта

Повышение скорости загрузки страниц вашего сайта может привести к тому, что робот Googlebot будет сканировать больше URL-адресов вашего сайта.

Фактически, Google заявляет, что :

«Ускорение сайта улучшает впечатление пользователей, а также увеличивает скорость сканирования».

Другими словами:

Медленная загрузка страниц отнимает драгоценное время робота Googlebot.

Но если ваши страницы загружаются быстро, у робота Google есть время посетить и проиндексировать больше ваших страниц.

Использовать внутренние ссылки

Робот Googlebot отдает приоритет страницам, на которые указывает множество внешних и внутренних ссылок.

Да, в идеале вы должны получать обратные ссылки, указывающие на каждую страницу вашего сайта. Но в большинстве случаев это нереально.

Вот почему внутренние ссылки так важны.

Ваши внутренние ссылки отправляют робота Googlebot на все различные страницы вашего сайта, которые вы хотите проиндексировать.

Плоская архитектура веб-сайта

Согласно Google :

«URL-адреса, которые более популярны в Интернете, как правило, сканируются чаще, чтобы поддерживать их в нашем индексе».

А в мире Google популярность = авторитетность ссылок.

Вот почему вы хотите использовать на своем сайте плоскую архитектуру .

Плоская архитектура настраивает вещи так, что все страницы вашего сайта имеют некоторые ссылки на них.

Избегайте «сиротских страниц»

Сиротские страницы — это страницы, на которые не указывают внутренние или внешние ссылки.

Google действительно сложно находить бесхозные страницы. Поэтому, если вы хотите максимально использовать свой краулинговый бюджет, убедитесь, что есть хотя бы одна внутренняя или внешняя ссылка, указывающая на каждую страницу вашего сайта.

Ограничить повторяющийся контент

Ограничение дублирования контента — это разумно по многим причинам.

Как оказалось, дублированный контент может повредить вашему краулинговому бюджету.

Это потому, что Google не хочет тратить ресурсы на индексирование нескольких страниц с одинаковым содержанием.

Поэтому убедитесь, что 100% страниц вашего сайта состоят из уникального качественного контента.

Это непросто для сайта с более чем 10 тысячами страниц. Но это обязательно, если вы хотите максимально использовать свой краулинговый бюджет.