0: Всем привет, меня зовут Татьяна, я являюсь специалистом компании n стим. И сегодня у нас практическое занятие по тому, как искать внутренние 400 четвёртые ошибки на сайте. Как искать внешние 400 четвёртые ошибки, как удалять их?
1: Из индекса поисковых систем, как составлять техническое задание для программиста на их устранение перед тем, как начать. Хочу напомнить, что мы будем рады вашим Лайкам и комментариям, если видео вам понравилось и оказалось полезным, или дизлайк, если видео вам по какой
2: Этой причине не понравилось. А также не забудьте подписаться на наш канал, откуда появляются 400 четвёртые ошибки. Страница была удалена или перемещена разработчиками сайта. Ссылка повреждена и по ней нет перехода. Также это может быть неверно настрое.
3: Редирект или url страницы переписали, но битая ссылка осталась на сторонних ресурсах либо в закладках браузера. Итак, битые ссылки, то есть ссылки с 400 четвёртыми ошибками бывают внутренние и внешние внутрен.
4: 400 четвёртые ошибки расположены на самом сайте и ведут на внутренние страницы этого же сайта. В 1 очередь мы работаем с ними и внешние 400 четвёртые ошибки. Они расположены уже на сторонних ресурсах. С ни
5: Мы работаем уже во 2 очередь. И хотела сказать, что действительно все 400 четвёртые внутренние ошибки мы уже находим при парсинге сайта. Итак, приступим поиск 400/4 ошибок.
6: На примере сайта инти мы начнём с помощью скриминг рок для этого мы вводим сайт в поисковую строку и перед тем, как начать проверим настройки, находятся они в разделе spider кроу.
7: Просматриваем, что у нас выставлены все нужные галочки, например, парсинг изображений.
8: Смотрим и настраиваем аналогично моим настройкам. Нажимаем. Окей.
9: Выбираем раздел спид и устраиваем скорость. У меня установлена оптимальная скорость. Её можно менять, нажав на галочку. Здесь можно поменять максимальное количество Урлов. Здесь можно поменять максимальное
10: Количество путей лучше оставить как есть. Снижаем скорость только в случае, если хостинг сайта не выдерживает нагрузки и отдаёт 429 или 500 ошибки. Нажимаем окей.
11: И далее старт.
12: Так, парсинг произвёлся для того, чтобы найти 400 четвёртые ошибки, нам необходимо спуститься к разделу респонс Кодс и начать с internal это внутренние ссылки найти среди них интернал клан.
13: При нажатии на эту вкладку мы видим то, что у нас нашлась 1 внутренняя 404 ошибка, которая является битым изображением, потому что в конце урла у нас джипек стоит при нажатии на ссылку зайдя
14: В раздел инлинкс мы видим здесь несколько столбцов тайп, отвечающий за тип ссылки пром. Это то, на какой странице обнаружена битая ссылка ту.
15: Битая ссылка, анкор будет заполнена. Если битая ссылка будет располагаться в тексте и содержать анкор, нам необходимо также рассмотреть её в браузере.
16: Найти её на странице, где располагается собственно битое изображение.
17: Ну вот мы видим страницу, с которой идёт битая ссылка.
18: Открываем.
19: Копируем url самой страницы ошибочной.
20: Просмотреть код уже ищем с помощью контрол это изображение. Вот сразу у нас оно наведя курсор, да, на
21: Найденное элемент кода мы видим слева, где, собственно, изображение располагается. Да, вот здесь оно должно быть, но так как оно битое, оно здесь отсутствует. Вот
22: Мы это обязательно должны указать в таблице, которая будет прикреплена к техническому заданию для программистов.
23: Здесь, получается, создала таблицу внутренние ссылки и внешние, входящие 400 четвёртые ошибки, раздел внутренние ошибки. Я внесла страницу, которая является ошибочной страница.
24: Которая ведёт ссылка на 304 страницу и расписала местоположение.
25: Лучше делать это понятно, подробно, чтобы всем и программистам, и контент менеджерам было легко его найти. Хотела бы уточнить, что при ситуации, когда у нас здесь будет не там.
26: 5 не 10, не 20 внутренних ссылок, например, а больше бывает 1000 и 10000, то здесь уже мы будем действовать по другому. В данном случае мы типизируем ошибки, делим их на общие признаки.
27: То есть группируем и, соответственно, проблему можем описать в документе, чтобы точно было понятно, что за проблема, где находится.
28: Битая ссылка на странице. Вот. Ну, остальные идентичные уже не нужно будет описывать так подробно. Далее переходим к разделу экстернал внешние ссылки, открываем раздел с четырехсотыми кодами ответа и видим.
29: То, что здесь уже найдено 58 ссылок. Далее мы, открывая каждую, можем увидеть, какой странице наведёт. Здесь мы просто нажмём шифт и выделим весь список ссылок для удо.
30: Удобство в столбце тайп, мы видим, что все эти ссылки ведут на битые изображения. Нам необходимо аналогично предыдущему примеру скопировать все столбцы и, определив местоположение, внести данные нашу
31: Табличку покажу пример с ещё 1 ссылкой. Вот мы ищем на странице данный код.
32: И он, ну, не подсвечивает, не находит в code эту ссылку.
33: В данном случае мы берём раздел in path, копируем отсюда путь ссылки.
34: И вводим путь ссылки, и он находит нам битое изображение. То есть в данном случае достаточно выгрузить эти местоположения линк пёс в табличку и контент менеджер, который будет менять эти изображения, сам их найдёт.
35: Через код. Итак, начнём поиск 400/4 ошибок. С помощью яндекс вебмастера заходим в раздел ссылки, выбрав необходимый нам сайт. Конечно же, выбираем внутренние ссылки, видим то, что их
36: Здесь не так много. Можем также здесь посмотреть на возраст ссылки отсюда делаем вывод. То, что переобход яндексом был совершён уже давно. Нам сейчас нужно будет перепроверить каждую ссылку на то, что они
37: Действительно является 404 и действительно находится на указанных страницах этого. Открываем ссылку, что она 404. Открываем страницу и ищем.
38: Её смотреть на самой странице по имени фамилии и посмотреть также в коде обязательно.
39: Видим, что здесь тоже не найдено.
40: Ну, соответственно, ссылка удалена. Соответственно, битой ссылки нет, но она осталась кэшев мастера. Нам необходимо отправить бота яндекса на переобход. Это можно сделать в разделе индексирование.
41: Обход страниц. Мы сначала проверим остальные ссылки таким же образом.
42: Заходим в код страницы.
43: Опять не найдено. Также необходимо заметить, что в данном случае я показываю, как перепроверять вручную, чтоб вы просто понимали, как находить битые ссылки на страницах, как понимать, есть они или нет, но бы
44: Бывают ситуации, что, например, здесь у нас там не 8, не 10 ссылок, а 425 страниц, и на каждой там по, ну, соответствующему количеству ссылок. То есть мы не можем это все перепроверить вручную, это очень долго и очень муторно будет.
45: Поэтому мы можем, конечно, воспользоваться выгрузкой данных ссылок себе в формате эксель, чтобы их уже, ну, спарсить в лягушки, да, проверить, что действительно странница, откуда
46: Не содержит 400 четвёртые страницы и перепроверить, да, в нашей табличке, что у нас уже, ну, нашли ли мы уже эти 400 четвёртые страницы или нет, да, перепроверить, что они действительно являются 400 четвёртыми, тоже через лягушку. Вот. Но как это сделать?
47: Выгрузить здесь нельзя, не везде есть возможность выгрузки в яндекс, в мастере для этого существует, например, расширение для скачивания ссылок из яндекс в мастера, но, к сожалению, они отрабатывают часто.
48: Некорректно, например, у меня не получилось выгрузить с помощью данного расширения ссылки из яндекс в мастера. Для этого наши замечательные программисты написали скрипт в питоне, который помогает выгрузить ссылки. Обязательно обратитесь к программистам.
49: Если столкнётесь с данной ситуацией, чтобы вручную, каждую ссылку не проверять, ни в коем случае. Также хочу заметить, что, возможно, у вас возникнет вопрос, зачем мы ещё проверяем ссылки с помощью яндекс мастеров? Ведь мы уже просканировали сайт с помощью лягушки с помощью
50: Screaming frog. Дело в том, что мы могли во время парсинга какие-то настройки упустить или, возможно, по техническим причинам какие-то ссылки с 400 четвёртыми ошибками не просканировались, поэтому мы ещё идём в яндекс вебмастеры.
51: Google search console чтобы точно ничего не упустить, потому что бывает, что поисковый робот данных веб мастеров находит больше страниц ошибок с ошибками, поэтому необходимо для надёжности тоже их пере.
52: Проверить, соответственно, мы не будем каждую, ну, заново парсить, мы обязательно выгрузим, сравним с тем, выгрузили ли мы ранее уже в нашей таблице и уже дальше будем смотреть, парсить нам их или
53: Нет, снова после того, как мы удостоверились то, что все ссылки являются действительно 400 четвёртыми, просмотрели их, проанализировали. Мы не забываем занести их в нашу таблицу с общим спи.
54: Ссылок внутренних также нам необходимо проверить в вебмастере 400 четвёртые ссылки из раздела индексирование статистика обхода.
55: Выбираем здесь.
56: 404 коды ответов. И видим, что здесь у нас 120 страниц ссылок, их много, как поступим с ними. Ну вот, скопировали файл x.
57: На компьютер, и я себе скопировала в отдельный файлик, так как выгрузка из вебмастера даёт только окончание ссылок без домена я с помощью формулы сцепки сделала эти урлы полноценными.
58: Проверила на дубле, что здесь они отсутствуют, удалили повторы.
59: Далее идём в скриминг фрог.
60: Здесь мы также через лист загружаем урлы на проверку, я создам из файла.
61: Проверяем ошибки. Так, парсинг завершён. Здесь мы видим то, что у нас 284 страницы являются действительно ошибочными. Мы копируем весь
62: Список ссылок также таким же образом с помощью shift и вставляем их в нашу таблицу.
63: Здесь уже их добавила, проверила отсутствие дублей.
64: Предыдущими добавленными ссылками. Далее нам необходимо будет их также добавить на переиндексацию в поисковых системах яндекс в мастере и описать
65: Устранение ошибок, то есть какие могут быть варианты устранения данных ошибок в техническом задании. Также хотела бы обратить ваше внимание на то, что здесь очень много мусорных ссылок, которые могли никогда не
66: Существовать на сайте и появились только из за того, что пользователи вводили неверно адрес ссылки. В дальнейшем видео будет показано, как с этими ссылками поступать. Далее мы переходим к внешним ссылкам, заходим в яндекс.
67: Мастере в соответствующий раздел и видим здесь домены, доноры и анкоры, которые дают 400 четвёртые ошибки. Вот. И также мы по каждой ссылке проходимся и смотрим, есть ли она на страни.
68: Здесь мы можем либо через
69: В коде страницы найти с помощью ссылки, либо можем найти с помощью анкора. Просто нажимаем контрол ф. Также он найдёт 404 страницу.
70: Таким образом, мы ищем местоположение, вносим в нашу таблицу, проверяем с помощью скриминг фрог аналогичным образом.
71: И здесь у нас будет уже нужно будет указать.
72: Рекомендованные страницы, на которой нужно настроить 301 редирект, вот также исправить данные ошибки, возможно, обратившись к сайту, на котором находится у нас внешняя ссылка.
73: Внешняя ссылка это те ссылки, которые находятся на сторонних сайтах. Вот, например, ещё 1 сайт, да, здесь мы можем найти её местоположение и обратиться к ним контактам.
74: Писать проблему, что найдена ссылка, пожалуйста, удалите со страницы. Итак, мы внесли наши внешние ссылки в таблицу. Здесь мы указали сами ссылки с ошибкой анкоры. Откуда?
75: Ведут ссылки 400 четвёртые и указали рекомендованные страницы для настройки 301 редиректа здесь у нас прочерки, потому что на данных страницах не было найдено 400/4 ссылок данных.
76: И screaming frog тоже их при парсинге не показал далее мы переходим в google search console и проверяем ошибки в данном сервисе.
77: Выбираем необходимый нам сайт.
78: I. Открываем раздел.
79: Страницы. Здесь мы находим, что 400 четвёртые ссылки не найдены. Соответственно, с этим работа завершена. Необходимо проверить сайт мап сайта, что он не содержит 400/4 оши.
80: Для этого нам нужно зайти на robot txt нашего сайта и этого сайта взять ссылку на сайт мап.
81: Далее заходим в скриминг прок.
82: Открываем из раздела лист.
83: Раздел сайт мап. Вставляем ссылку.
84: Асим. Страница сайтмапа.
85: Парсинг произведён. Далее мы проверяем, есть ли ошибки.
86: Да, 1 ошибка найдена, проверяем в нашей таблице.
87: Да, она уже внесена, соответственно, сайт мап проверен, ну то есть site map не проверен, так как плагин работает некорректно, то есть, так как мы нашли 404 ссылку в сайтмапе в итоге.
88: Они ни в коем случае не должны попадать в него, поэтому нам необходимо это указать для программиста в нашем техническом задании на исправление. Далее нам необходимо проверить внешние ссылки через ахрефс. Для этого.
89: Заходим в ихре, вводим в поисковую строку адрес нашего сайта, нажимаем обзор и переходим в раздел бэклинки.
90: Здесь выгрузятся ссылающиеся страницы и анкоры. Целевой url, то есть ссылки на наш сайт. Ну, на те, которые ссылаются сторонние сайты. Здесь мы можем выгрузить эту таблицу, нажав
91: На экспорт. Далее я уже сохранила себе. Открываем таблицу, и нас интересует раздел таргет url?
92: Здесь мы его копируем.
93: И вставляем в нашу табличку.
94: Далее проверяем через скриминг прок на наличие 400/4 ошибок данной страницы. Далее нам необходимо все страницы, которые мы нашли с 400 четвёртыми ошибками, которые начинаются на
95: Точка ру собрать из всех вкладок внутренние внешние ошибки, добавить. Добавила здесь на отдельный лист отправление на удаление из индекса через яндекс мастер прове.
96: На дубликаты, что здесь нет повторов, отмечу, что такого формата битые ссылки, они на удаление через веб мастер не отправляются.
97: Такие страницы не принимает на удаление.
98: Создала список, копируем его, заходим в яндекс вебмастер, вставляем в окно удаление.
99: Страница с поиска в instrumental здесь я уже добавила нажимаем удалить.
100: Url успешно добавлен в очередь на удаление, то есть чтобы поисковый робот больше эти страницы не обходил также хочу отметить, что добавлять на удаление через google search console нет смысла, потому что он автоматически удаляет из индекса.
101: Данные страницы. Далее переходим к составлению технического задания на устранение 400/4 ошибок. Я уже составила файл, то есть не забываем про актуальную дату.
102: Добавить сам сайт и начинаем расписывать по пунктам проблема. Я добавила скриншот из веб мастера на внутренние ссылки, на внешние ссылки. Скриншот из
103: Screaming прога при парсинге общем парсинге ошибок, сколько было найдено, вот добавила необходимые комментарии.
104: Далее идут причины возникновения проблемы по шаблону и алгоритм действий расписываем по каждому пункту, что было сделано, какие ошибки были найдены и рекомендации, как их устранить. Я
105: Ссылалась сразу на таблицу с найденными ссылками, да, которая у меня разделена на 3 раздела.
106: Написала, что удалила битые страницы из индекса поисковых систем, добавила скриншот сайтмап сайта ошибок не было обнаружено через google search, console тоже через are снова.
107: Ссылок 404 кодом тоже не было обнаружено, добавила рекомендации.
108: Удалить ссылки на битые изображения со страниц сайта, где они присутствуют. Вот имеется ввиду эти битые изображения.
109: Далее, что до списка страниц, которые были найдены уникальные страницы 400 четвёртыми кодами ответов, необходимо настроить 301 редирект этих страниц на подходящие по тематике, либо на главную страницу и
110: Если какие-то страницы по указанным адресам были удалены случайно, их необходимо вернуть. Вносим необходимые корректировки, которые подходят конкретно вам. И также я хотела обратить ваше внимание, что при написании
111: Технического задания. Укажите обязательно, для кого вы пишите пункты, удалить ссылки на битые изображения. Например, для контент менеджера. Я пометила настроить 31 редирект для программиста, потому что недостаточно написать только
112: Ответственность за выполнение здесь будет лучше указать по каждому моменту, кто ответственный. Техническое задание готово. Собственно, мы за
113: Кончили проведение подробного поиска 400/4 ошибок на сайте, заполнили таблицу, заполнили техническое задание и добавили страницы на удаление из индекса поисковых систем.
114: На этом все. Спасибо большое за внимание. Будем рады вашим Лайкам, комментариям. Не забывайте подписываться на наш канал и оставлять свои вопросы.