0: Друзья, привет. Давайте поговорим про ваших программистов и программистов, ваших клиентов, а именно составим для них классную, понятную маленькую инструкцию о том, как, когда и что они должны закрывать от индексации. Меня зовут Алина, я руководитель всего отдела в команд.

1: Тим точка ру. Я надеюсь, что вы со мной знакомы уже по предыдущим лекциям нашего базового курса. Обязательно смотрите их на нашем YouTube канале. Также ставьте нам лайки, подписывайтесь на наш там и канал, и telegram канал и на все подписывайтесь. Пишите в комментариях про

2: Своих программистов и какие ошибки они допускали смешные, желательно. И также не забывайте, что мы являемся агентством по сео продвижению. Это значит, что периодически мы принимаем заявки от клиентов на сео продвижение, и вы можете тоже оставить заявку на нашем сайте антим точка ру, ссылка

3: На telegram канал сейчас появилась на слайде в виде большого большого QR кода подписывайтесь, а мы переходим непосредственно к занятию итак, о чем же я вам расскажу сегодня расскажу пару забавных курьёзных, но при этом очень печальных случаев, когда программисты

4: Портили нам жизнь, создавали проблемы с индексацией. Расскажу, зачем вообще сеошникам это контролировать, почему мы должны это делать и как предотвратить нежелательные действия. Ну и мы вместе с вами составим тз для программиста маленькое, которое вы сможете вообще скачать. Даж.

5: По ссылке, ну или составить заново своё, какое вам там понравится, и вашему программисту вручить, повесить на Видное место, чтобы он прям на него смотрел, ориентировался и не портил вам индексацию своими какими-то ошибками. Итак, в чем же проблема?

6: Дубли, особенно если, не дай Бог, маржинальных страниц, могут попасть в индекс, и это, правда, большая, большая проблема для seo специалиста, потому что это ведёт к каннибализации, это ведёт к тому, что проседают, естественно, позиции как следствие, ну и так далее.

7: Нам нельзя создать дубль какой-нибудь важной услуги, скажем, на сайте, и просто так открыть его в индекс для поисковых систем. Это будет серьёзной ошибкой, а просадка маржинальных страниц может привести к потере клиентом прибыли. Ну так это ощутимо.

8: Виноваты обычно, что характерно, сео специалисты. Поэтому давайте сделаем так, чтобы мы не были виноваты. Программисты клиента, просто программисты, которые работают с сайтом и сами клиенты периодически делают на сайте что-то сами. Ну, мы сеошники, не единственные в мире. Мы

9: Не в вакууме клиент имеет полное право делать со своим сайтом все, что ему захочется здесь я ничего не могу сказать против, но при этом клиент периодически не думает про seo в принципе он и не обязан думать про сео и делает что-то, что на его взгляд не явля.

10: Является вообще какой-то проблемой, но при этом для сео это создаёт реально большие проблемы и действия клиента или программиста может нанести серьёзный вред сео продвижению, за которое тот же самый клиент платил уже много месяцев. Вам, например, и исправлять это все тоже будет долго.

11: Дорого. И, как всегда, опять же, повторюсь, будут виноваты сео специалисты, у которых просели позиции. Вы можете сказать, такого не может быть. Как же так? Владелец сайта? Он же действительно платит за сео продвижение. Он вообще всячески заинтересован в своих успехах. Безусловно, обычно так и есть.

12: Но, как я уже говорила, ни он, ни программисты не являются специалистами в seo продвижении, поэтому могут допускать какие-то базовые, при этом очень серьёзные ошибки вы видите сейчас на слайде график, когда владелец сайта вместе с программистами создал копии страниц всех услуг.

13: Это не очень большой сайт, там не очень много услуг. Он создал копии всех услуг, чтобы протестировать новый дизайн. При этом программист уверял клиента, что все страницы закрыты от индексации. На самом деле это было вообще не так. Страницы попали в индекс, и вы видите, что произошла

14: Некоторая просадка трафика это очень узкая тематика b2b, поэтому там трафик не очень большой, и любая просадка это критично ну в принципе всегда просадка это критично. Другой пример, когда программист поднял деф версию сайта, чтобы там опять же, что-то протестировать, какие-то нюансы и забыл.

15: Её закрыть от индексации. Мы писали клиенту срочно закрывайте. Мы нашли её уже в индексе в топ 10. Она каннибализировали с основным сайтом, она создавала ему конкуренцию. Соответственно, позиции основного сайта проседали, и мы потом этот сайт устраняли.

16: 3 пример программист случайно удалил из основного зеркала 3 дабл ю и сделал так, что основное зеркало сайта стало просто сайт точка ру, а не 3 дабл ю точка, сайт точка ру. И у нас возникла проблема в вебмастере.

17: Так, мы это заметили, потому что, конечно, когда заходишь на сайт именно про зеркало обычно, ну, не думаешь, если этот сайт, тем более у тебя уже там много лет на продвижении. Но мы зашли в мастер, увидели такую проблему и срочно побежали программиста заставлять исправлять, возвращать, как было.

18: Здесь важно понимать, что сеошники, они, конечно, внимательные люди. Мы внимательные люди, очень стараемся следить за состоянием сайта, но уловить вообще все невозможно, даже если целыми днями сидеть на этом сайте, что обычно не происходит, да, все-таки в какие-то дни мы работаем над сайтом, в какие т.

19: Меньше работаем над сайтом и очень часто ошибка обнаруживается, только когда уже произошла просадка позиции или трафика. И мы уже пошли выяснять, в чем же проблема, и нашли ошибку. А в чем же вообще проблема, как я и сказала, в индекс поисковой системы могут

20: Попасть в дубли каких-то важных страниц. Упадёт уникальность контента. Соответственно, качество контента. Возникнет каннибализация. Это все плохие вещи, ужасные слова, которые ведут, конечно же, к просадке позиций. И кроме того, в самом худшем варианте поисковая система может решить, что

21: Вообще, ей манипулируете, понасоздавали там кучу страниц и может наложить на вас вообще какой-нибудь фильтр. Всегда ли это так критично, как я вас пугаю? Нет, на самом деле. И в моей практике было такое, что мы исправляли ошибку, например, как-то раз случайно, опять же закрыли.

22: Без нашего ведома главную страницу от индексации у нас вылетели страницы из индекса, там позиции стали падать, но мы открыли страницу и главную. И опять все восстановилось достаточно быстро, к счастью. Но бывает такое, что

23: Конечно же, восстановление занимает время, и, как я уже сказала, может быть такое, что вообще вы получите бан от поисковой системы, из под которого выходить долго, дорого и неприятно. Что же вы теперь, испугавшись, можете сделать для профилактики? Ну, самое 1, что вы можете сделать, это

24: До начала сотрудничества вашего клиента, то есть владельца сайта, предупредить, пожалуйста, если вы хотите что-то поменять на сайте, обязательно нас предупредите об этом, чтобы мы были хотя бы в курсе. Это чаще всего работает. На самом деле. 2 вариант тот, про который мы с вами сегодня как раз

25: Говорим это составить простую шаблонную инструкцию, которую повесить на Видное место, например закрепить в вашем чатике в телеграмме с клиентом или ещё где-то и показать программисту, что и когда он должен иметь ввиду этот шаблон тз, вы можете скачать по QR-коду, который вы сейчас видите на слайд.

26: Он бесплатный, просто небольшая инструкция. Можете её скачать и пользоваться. Либо можете составить свою, как вам нравится. Давайте вспомним, что вообще нам нужно закрывать от индексации совершенно точно. Ну, во первых, это дубли страниц. Конечно же, когда у нас есть дубли, падает уникальность контента.

27: Качество страниц возникает каннибализация, про это я уже пару раз сказала тестовые домены под домены обязательно нужно закрывать. Это тоже дубли, причём, может быть, ещё и более серьёзные, на самом деле малоинформативные, пустые страницы нужно закрывать, за них есть санкции у поисковых систем.

28: Смотрите наше видео про санкции поисковых систем, чтобы узнать больше в идеале на сайте малоинформативных и пустых страниц не должно быть вообще, ну а если есть, то хотя бы чтобы их было мало, и желательно, чтобы они были вообще закрыты от индексации нерабочих страниц.

29: Не должно быть на сайте, конечно же, я имею ввиду не столько какие-то 400 четвёртые, они, ну и так не особо то индексируются. Я имею ввиду страницы, на которых пользователь не может совершить целевое действие, потому что они там как-то поломаны, там, например, поехала.

30: Вёрстка или часть элементов некорректно отображается, или ещё что-то в таком духе, или что-то на странице мешает пользователю его там как-то раздражает какие-то попапы, реклама там и так далее. Все, что действительно мешает пользовательскому опыту. Давай

31: Посмотрим на инструкцию, что ж там писать. Возможно, вы её уже скачали. Значит, что самое основное, чтобы вас понял программист, нужно написать кратко и понятно, потому что если вы напишите трехтомник, то он не будет его просто читать. Программисты занятые и довольно ленивые люди.

32: Инструкция должна быть написана простым языком. Не надо там вертеть какие-то вот такие невероятные конструкции, взятые у каких-нибудь людей, любящих бюрократию, бюрократические обороты, обязательно приводите примеры и

33: Если это нужно, оформите обязательно читаемо, а не просто там какую-то записульку, в которой все будет сплошным текстом. И опишите цель работы ответственных. И вообще, зачем вы это все сделали? С чего начинать документ? Здесь все стандартно. Ну, по крайней мере, я начинаю

34: Документ с того, что я ставлю логотип компании, пишу дату создания документа, название документа, сайт, к которому этот документ относится, и вставляю содержание автоматическое в google доке. Дальше я описываю цель работы, проблематику. Ну, в случае с индексацией я кратко описываю, что вот

35: Если страница открыта к индексации, то это может создать серьёзные проблемы в ранжировании созданные дубли могут вызвать каннибализацию, уронить позиции, трафик, то есть я простыми словами описываю, в чем проблема. Падение позиции влечёт за собой.

36: Дополнительные доработки со стороны сео денежные затраты на них и так далее. Это все нужно объяснить программисту парой простых слов, чтобы он понял, что вы не просто так его тут отвлекаете. Давайте вспомним основные способы закрытия страниц от индексации. Это файл, робот.

37: Это мета роботс, это пароль вообще на весь сайт. Ну и также есть http заголовки, но мы их не будем здесь рассматривать, потому что, в принципе, предыдущих 3 вариантов нам достаточно для тзшки. Для программиста. Значит, давайте чуть детальнее про закрытие от индексации, потому что вы должны

38: Понимать сами, что в этой инструкции, иначе вы не сможете хорошо составить инструкцию и не сможете ответить на вопросы программисту. И вообще это всякие базовые вещи, которые вы должны знать. Закрытие целого домена или поддомена нам подходит в случае, если нужно закрыть какой-то

39: Тестовый домен или поддомен и это можно сделать через файл robot txt либо полностью запаролив этот самый домен или поддомен и если доменов или поддоменов несколько, то понятно, что каждый из них должен содержать свой робот txt ну.

40: Или пароль, если это пароль как закрыть через robot txt берём робот txt пишем туда user agent звёздочка дизела слэш либо дизела звёздочка все. Больше никаких данных не должно быть сейчас на слайде. Вы видите пример как это выглядит?

41: На реальном проекте, который закрыт от индексации, либо полностью запаролить домен, это значит, что любой пользователь, зашедший туда, должен видеть только окно пароля и все. И больше ничего. Другие случаи, когда вы видите реальный сайт, не введя пароль, это не называ.

42: Запароленный сайт. Такой у нас случай был, когда программист утверждал, что он сайт запаролен. При этом я захожу на сайт и все там отлично, открыто видно и не очень понятно, что он там запаролил. Если вам нужно массово закрыть много страниц, например, какую-то подпапку по вхождению.

43: То это тоже можно сделать через файл robot txt но обязательно проверяйте не закрываете ли вы случайно этим хождением что-то важное потому что это легко сделать как это сделать берете ваш робот txt и в инструкцию для каждого юзер агента добавляете строчку и дисла.

44: Двоеточие и название папки, которую вы хотите закрыть, например, там smash нью пейджес, как на примере на скрине если вам нужно закрыть какую-то 1 страницу, или буквально несколько, которые не объединяются единым вхождением, то это можно сделать через метаросса хэд.

45: Соответственно, вы ловите программиста и заставляете его добавить в head этих страниц каждой из тех, которые нужно закрыть строку метане роботс контент на index no follow, и это важно добавить только на те страницы, которые вы хотите закрыть от индексации, потому что ну иначе.

46: Закройте что-нибудь лишнее, либо не закроете то, что надо. Ну и напоследок важные ссылки для справки, которые вам могут пригодиться и которые можно дать программисту, чтобы он сам смог воспользоваться валидаторами или найти дополнительную информацию в случае, если ему это важно.

47: И уменьшить шансы на то что он вам задаст ещё кучу кучу вопросов во первых это валидаторы робот txt официальные есть от яндекса от гугла обязательно ими пользуйтесь и программиста тоже заставляйте пользоваться ими очень легко открываете валидатор туда вставляете либо файл robot txt либо.

48: Него ссылку и нажимаете проверить ошибки и он вам пишет есть ли там ошибки также есть официальная справка о робот txt конечно же и у гугла и у яндекса её читаете ссылки на неё можете давать своим программистам пусть они смотрят какие-то там технические нюансы которые могут их enter.

49: Рисовать проверка кода ответа сервера очень нужна, чтобы понимать, открыта вообще данная страница к индексации или нет. Есть, опять же, официальные валидаторы яндекса гугла. Есть неофициальные, если вам больше нравится, но официальные всегда в приоритете. Пользоваться ими тоже очень легко.

50: Просто их открываете, вставляете нужный вам url и получаете ответ? Какой же там код ответа сервера? Давайте подведём итоги. Вы теперь знаете простые методы закрытия от индексации всего сайта группы страниц или какой-то 1 страницы. Я не претендую на то, что я вам дала. Супер

51: Глубокую информацию, но вы понимаете самый основной базис теперь и понимаете, что написано в тзшки, что тоже очень важно и можете отследить, что же там программист закрывает или не закрывает. Вы понимаете, почему важно контролировать программиста и какие шишки здесь можно набить. И так

52: Вы знаете, где взять шаблон тзшки для того, чтобы скопировать её и просто передать вашему программисту, если вы в принципе и так все понимаете, но вам лень переписывать то, что, в принципе, уже написала я. В случае, если ошибки индексации у вас все-таки возникли, обязательно смотрите моё видео про то, как

53: Их исправить. Оно очень подробное, там все популярно рассказано, такое, оно на 25 минут. Я прям постаралась там все описать, чтобы вы все точно поняли. И спасибо за внимание. Подписывайтесь на нас ставьте.