0: Привет, меня зовут Александра Пахомова, я seo специалист команды антим. И сегодня мы поговорим о том, что же такое краулинговый бюджет вы можете попросить у нас о помощи? Мы делаем сео продвижение для сайтов, также проводим платные видеоконсультации.

1: И корпоративное обучение. Подробнее. Можете ознакомиться с нашими услугами на сайте антим точка ру. И перед тем, как мы начнём нашу лекцию, пожалуйста, поддержите нас, подпишитесь на канал, поставьте лайк или дизлайк этому видео и оставьте ваш комментарий. А так

2: Подпишитесь на наш telegram канал по QR-коду на экране о чем же будем сегодня говорить, что же такое краулинговый бюджет, на какие сайты он влияет, как узнать краулинговый бюджет вашего сайта и как его оптимизировать, что же такое краулинговый бюджет?

3: Но перед тем, как мы дадим определение, пожалуйста, посмотрите на данную картинку здесь написано baby i can ролл ю пейджес фор ауэрс, детка, я могу сканировать твои страницы часами, может, но есть краулинговый бюджет a crawling.

4: Бюджет это лимит страниц, который может просканировать робот поисковой системы за 1 посещение сайта. И также давайте зададимся вопросом, зачем вообще, в принципе нужен нам краулинговый бюджет? Как вы знаете, в интернете полно.

5: Сайтов с большим количеством страниц и не всегда качество этих страниц хорошее, и контент на них, соответственно, тоже не всегда хороший. Поэтому поисковая система придумала такой термин, как

6: Бюджет, чтобы, во первых, беречь свои ресурсы на сканирование, а также ограничивать какие-то ненужные мусорные или спамные страницы у себя в индексе. Впервые данный термин ввёл google, поэтому все рекомендации, которые о

7: Которых мы будем сегодня говорить, относится конкретно к google, роботу также на слайде привожу вам справку от google, которая называется как руководство для владельцев больших сайтов по управлению краулингом бюджетом название

8: Говорит само за себя, но об этом чуть попозже. А сейчас давайте вспомним, что же такое краулинг и кто такой краулер краулинг это процесс сканирования страниц сайта роботом поисковой системы для сбора данных.

9: Об этой странице, точнее о содержимом на этой странице. А краулер это тот самый робот поисковой системы, который это все сканирует. Он ориентируется на такие файлы, как site map, xml на робот сиксти.

10: И на другие, о которых мы поговорим чуть попозже, на какие сайты влияет краулинговый бюджет, и тут мы обратимся к google, справке о которой говорили чуть раньше google говорит, что краулинговый бюджет влияет на большие сайты, такие, например.

11: Как агрегатор или крупные интернет магазины, на которых более 1000000 уникальных страниц с контентом, который меняется умеренно часто где-нибудь раз в неделю, также это сайты большего или среднего размера.

12: У которых более 10000 уникальных страниц, но на которых очень часто меняется контент, например, ежедневно. И это такие сайты, как новостные порталы, а также сайты о спорте. Также

13: В справке упоминаются сайты, большая часть url адресов которых классифицируется серч консолью как обнаруженные и в настоящее время не проиндексированные а это могут быть любые сайты как узнать краулинговый бюджет вашего сайта?

14: Ответ простой никак, так как краулинговый бюджет у каждого сайта свой и поисковая система сама определяет бюджет сканирования для каждого сайта индивидуально. На что же ориентируется поисковая система, когда определяет бюджет для вашего сайта? 1 на ограни.

15: Ограничение мощности сканирования или доступность сервера. Когда, например, страницы вашего сайта загружаются медленно, то и скорость сканирования вашего сайта также замедляется спрос на сканирование или пользовательский спрос. Не секрет, что

16: Ваш сайт пользуется или не пользуется доверием поисковой системы и она ориентируется на то, как же все-таки пользователи, как часто они заходят на ваш сайт, content ли на ваших страницах, нравится ли пользователям ревва?

17: Lion, их запросом и собственно если ваш сайт популярный и есть доверие у поисковой системы, то для вашего сайта можно выделить бюджет на сканирование побольше, а посмотреть статистику сканирования.

18: Мы можем в google search, console, например, в настройках переходим на статистику сканирования, открываем отчёт и видим вот такой график, где мы видим общее число запросов на сканирование, также чуть ниже будут гра.

19: Которые делятся по типу, по ответу 404 редирект, ошибка сервера и так далее. По типу файла штмль, изображение и другое, и по цели обновление или как обнаружено, и послед.

20: По типу робота google бота, смартфоны пк и другие девайсы в яндексе, вебмастере. Также есть статистика сканирования, она находится в вкладке. Индексирование. Также я здесь привожу справку.

21: От яндекс справки статистика обхода заходим в индексирование, статистика обхода и здесь у нас также есть график и 2 вкладки новые и изменившиеся, а также история обхода, информация обновляется

22: Здесь ежедневно в течение 6 часов с момента посещения страниц роботом, а на вкладке история обхода. У нас есть такая статистика по кодам ответа. Страницы 200, редиректы 404.

23: Или код ответа сервера. Переходим к оптимизации краулинговый бюджета. Напомню, если ваши сайты соответствуют тем, которые мы перечислили, то для вас будут актуальны данные инструкции и начнём мы с такого файла, как site, map, xml и я думаю,

24: Что вы уже знаете, что это за файл, но я напоминаю, что это файл с содержимым в виде ссылок на ваши страницы, которые вы хотите, чтобы бот поисковой системы просканировал и отправил в индекс. Поэтому

25: Данный файл должен быть, вы должны его создать и, конечно же, обновлять его, чтобы в нём были все актуальные ссылки. Не забудьте оптимизировать структуру. Url. Ваша структура должна быть чёткая и логичная. Это по

26: Может поисковому роботу быстрее просканировать все ваши страницы и найти их, а также у нас есть такая возможность в виде приоритизации содержимого в карте сайта за счёт тегов, ласт мод, last modified проорити и change фред, напоминаю, что тег last.

27: White показывает последнее обновление на вашей странице, и это выглядит в виде даты год, месяц, число tag проорити создан для того, чтобы обозначать приоритетные страницы для

28: Сканирование с помощью цифер от нуля до 1, где единица это говорит о том, что вам что эта страница должна быть проиндексирована в приоритете, чем другие.

29: И у нас есть тег чендж фрек, который обозначает, как часто робот поисковой системы должен сканировать ваши страницы. И это мы обозначаем с помощью слов, например, как всегда, ежечасно, ежедневно, еже.

30: Недельно, ежемесячно, ежегодно либо никогда, как вы видите по сноске, я указываю, что google не учитывает теги про rt и change фрек на данный момент, но другие поисковые системы они используют эти теги и понимают.

31: Далее привожу вам пример как раз из яндекс справки на использование файла сайт map. И тут у нас в на скрине вы видите, что есть для определённой страницы в карте сайта данные теги ласт мод.

32: В виде даты чендж фрек манфли ежемесячно и проорити 0,8. Далее у нас есть такой файл, как роботс тексти. Вы также уже знаете, что это за файл, но я напомню, что в этом

33: Файле. Мы указываем всякие рекомендации для роботов поисковой системы и в робот тести. Нам нужно ограничить доступ к несущественным ресурсам, таким как страницы пагинации, дубли мусорные и

34: Всякие системные страницы, которые мы не хотим, чтобы были проиндексированы также в robo тексти, мы можем управлять доступом различных поисковых роботов например, это нужно тогда, когда сканирование происходит неэффективно либо слишком агрессивно.

35: Далее мы можем повлиять на производительность нашего сайта. Я напомню, это 1 из тех пунктов, на которые ориентируется поисковая система. Когда выделяет вам краулинговый бюджет. Мы можем улучшить производительность с помощью скорости улучшения скорости.

36: Грузки страниц. Это можно организовать с помощью сжатия ресурсов, таких как цсс, джаваскрипт, а также использовать современные форматы изображений. Также вы можете использовать кэширование браузерное либо серверное. Напомина,

37: Что кэширование необходимо нам для того, чтобы уменьшить скорость загрузки контента при повторных посещениях сайта, а также мобайл ферст и корве виталс. У нас недавно выходило видео про про них. И, пожалуйста, посмотри.

38: Смотрите, там Алина подробно рассказывает, что же это такое и почему это очень важно для нас и поисковой системы редиректы есть такое понятие, как цепочки редиректов, когда 1 страница редиректит на другую.

39: С этой идёт редирект на 3, на 4, на 5 и так далее. И получаются такие цепочки редиректа, которые, естественно, не нравятся ни пользователям, ни поисковой системе, так как затрудняет сканирование. Проблема в том, что робот

40: Системы не может с 1 же страницы через всю цепочку перепрыгнуть на конечную, и он будет переходить с 1 страницы на другую, с 1 на другую, на другую. И не факт то, что он дойдёт до нужной нам страницы, поэтому

41: Нужно находить такие цепочки и устранять, а также не допускать их. А чтобы не допускать их, надо использовать редиректы только там, где это необходимо. И также используйте, пожалуйста, подходящий тип редиректа 301, а также

42: Не забывайте обновлять все ваши внутренние ссылки, которые ведут на новый url. Далее у нас идёт грамотная перелинковка. Напомню, что перелинковка это когда страницы вашего сайта ссылаются друг на друга. Грамотная перелинковка нам важна.

43: Она также влияет на скорость сканирования поисковым ботом вашего сайта и вообще, в принципе, распределением краулинговый бюджета, так как если ваши страницы ссылаются только на 1 или 2

44: Другие страницы, то, во первых, бот поисковой системы это может идентифицировать как спам и наложить фильтр, а также, ну вы просто ограничиваете себя и свой и распределяете краулинговый бюджет.

45: На какие-то недостаточно важные страницы, поэтому равномерно распределяйте, пожалуйста ссылки на вашем сайте и избегайте ненужной перелинковки. Также напомню, что перелинковка у нас бывает навигационная и контекстная навигацион.

46: Это меню, шапка и подвал сайта, а также контекстные, это гиперссылки, которые находятся в контенте на странице, например, в тексте. Также у нас есть такой тег окно фоллоу, его нужно проставлять там, где это уместно, например, на страницах входа.

47: Регистрации на страницах политики, конфиденциальности и подобных, наращивание ссылочной массы. Это 2 пункт, о котором мы упоминали, когда говорили о том, на что ориентируется поисковая система, когда выделяет вашему сайту краулинговый бюджет на пользовательский

48: Спрос и на ваше доверие в глазах поисковой системы и тех же самых пользователей. Поэтому, пожалуйста, наращивайте ссылочную массу за счёт качественных ссылок с разнообразных источников, пусть в ваших ссылках будет естественный и релевантный

49: Тексту анкоры. Ну и конечно же, обновляйте вашу ссылочную массу, удаляйте ненужные испортившиеся ссылки и наращивайте качественные. Ну и последний пункт в оптимизации нашего краулинговый. Напоминаю, что

50: Вы можете проверять ошибки и статус индексации через панели веб мастеров, такие как google search, console и яндекс веб мастер, подведём итоги, теперь вы знаете, что краулинговый бюджет это лимит.

51: Страниц, которые робот поисковой системы сканирует за 1 посещение сайта. Также вы знаете, на какие сайты влияет краулинговый бюджет. Я напомню, это большие или среднего размера с большим количеством страниц, либо со страницами, на которых

52: Content меняется ежедневно. Также вы знаете, как узнать краулинговый бюджет вашего сайта, а именно никак, так как он индивидуален у каждого сайта, но вы можете посмотреть в панелях мастеров статистику сканирования и обхода роботом.

53: Поисковой системы вашего сайта, а также вы узнали, как за счёт чего оптимизировать краулинговый бюджет вашего сайта. Спасибо за внимание.