0: Но сегодняшний вебинарчик это по времени у нас неполноценный урок, но это такая срез, демонстрация того, как у нас проходят занятия. Ну и здесь как бы более комфортно то
1: Что 2 человека, опять же, мы будем перекидывать мячик друг в друга, подхватывать, дополнять. Это всегда более более интересно. Окей, давайте начнём сегодня. У нас 2 Евгения, поэтому можно обращаться к евгениям и не промахнётесь.
2: Да, про себя Евгений Данилов меня зовут. Я являюсь руководителем курса, руководитель группы тестирования команды тестирования ли калит.
3: На текущий момент действующий окна или хоккей, диджитал, активно менторю, преподаю, выступаю на конференциях и так далее, и так далее, и так далее. Про себя вкратце расска.
4: В тестировании вот уже 23 плюс лет и динозавр, но пока ещё живой в коммерческом тестировании. Так на самом деле сильно раньше на различных руководящих позициях, то
5: И release менеджер, и калит, и хоккей-ка директор хэдов саппорт и так далее ну уже даже сложно считать там больше 15 лет, там, может лет 17 есть довольно большой опыт.
6: В релиз менеджменте, в delivery управление выстраиванием процесса порта, в проджект менеджменте также, ну, про активное ментор. Преподаватель уже сказал, да, началось это примерно в 13 году. Вот.
7: Есть ссылочка на мой telegram, канальчик мой маленький бложик про коа, ну и для любителей Кидина, конечно же, куда же без него? Вот и передаю слово другому жене жене.
8: Спасибо, Женя. Собственно, сейчас моя позиция это key менеджер, занимаюсь тестированием поменьше, но все ещё достаточно ощутимое количество лет 13. То есть как раз-таки с 13 года. Вот у меня был очень раз
9: Разный бэкграунд, связанный с кросс функциональными командами, стартапами, государственные компании, там квази государственные компании и так далее. Поэтому тоже, собственно говоря, застал классический вотерфол.
10: Что тоже есть с чем сравнить. Вот сейчас как раз нахожусь в позиции key менеджера, вот управляю лидами. То есть я лит. Лидов.
11: Останутся какие-то вопросы после вебинара тоже мои какие-то соцсети, бложик Линкин. В общем добавляйтесь везде. Вот буду всем очень рад. Так что давайте
12: Общаться и делиться мнениями. Это я уже заскакиваю в наши правила вебинара. Собственно говоря, активно участвуем, задаём вопросы в чате, обмениваемся какими-то инсайтами, если у вас есть желание
13: Пообщаться именно голосом, то поднимайте руку, мы можем дать вам слово вот в он у нас вебинар разбит на несколько блоков, поэтому будем отвечать на вопросы, специально отведённое для этого время. Вот, соответственно,
14: Запись вебинара придёт к вам на почту, так что не переживайте, если вдруг что-то пропустили, можно будет потом пересмотреть, пересмотреть, загрузить вайку, попросить саммери. Ну в общем, все по классике нынче.
15: Для поднятия руки. А вообще вот меня я поднял руку.
16: Справа от эмоджи, в самом центре внизу экрана, по идее, там сердечко, палец вниз, палец вверх огонёчек и поднятие руки должно присутствовать. Если нет, то.
17: Сейчас напишу в поддержку.
18: Тоже самое. Окей. Ладно, я, да. Жень, ты продолжай. Сейчас гляну настройки чата. Возможно, что здесь такое? Собственно, давайте познакомимся, расскажи.
19: Скажите, пожалуйста, как вас зовут вообще, с какой целью вы сегодня пришли, чтобы мы могли более точечно вести свой собственный рассказ? Соответственно, какой у вас стек? Кем вы работаете? Вот на
20: Такая сейчас перекличка.
21: Так, в саппорт закинул. Да, спасибо за снимок экрана. В общем, придут, посмотрят. В крайнем случае, можно написать в чатике, так как нас двое. 1 говорит, 2 читает, комментирует, пишет разные всякие.
22: Полезности. В этом случае можно это делать через
23: Через чат, соответственно, о себе писать в чате.
24: Так, ну в любом случае, пока идёт знакомство. Жень, давай, наверное, так, по маршруту сегодняшнего вебинара начнём мы с того, что поговорим про роль.
25: Запуск автоматизации. Опять же задача понятная задача частая все хотят, чтоб пришёл маг и волшебник, который нажал бы, махнул палочкой, и автоматизация появилась автоматизация с айкой появилас.
26: Поговорим про внедрение автотестирования, в принципе, про формирование команды и самих процессов. Куда же без лмки или айки про это тоже коснёмся и
27: Отдельно в конце выделенная секция вопросов и ответов. Конечно же, про курс поговорим, и мы всегда стараемся оставлять после каждого блока в нашем е паузу читать ваши вопро.
28: Вопрос, особенно, если касается блока, не копить под самый самый конец. Вот.
29: Так, пока читаю кто у нас, кто у нас. Def def угу угу. Разработчики-ка да, интересно.
30: Пишите, ждём. Жень, давай, поехали.
31: Короткий слайдик про наш курс. Соответственно, ссылочка на сам курс здесь присутствует, он длится в течение 5 месяцев по вторникам, четвергам в 7 часов.
32: Стартует 30 апреля. Ну, для кого он полезен, я бы сказал бы, там довольно много полезной информации. Есть теория, довольно много интересной полезной теории. Да, а куда же без
33: Практики, прям какие-то вещи на занятиях разбираем прям в формате live сессий есть домашнее задание 1 на каждые 2 занятия и ну чаще всего.
34: На курс приходят или действующие коледы, либо те, кто собирается ими стать. Ну то есть сеньоры, сеньоры, плюс иногда иногда заходят ходы, опять же у всех разные запросы кому-то прокачаться, кому-то систематизировать.
35: Свои знания кому-то просто промо хочется получить и получить эти знания, с которыми можно прийти и попросить больше денег новую должность.
36: Это не говорящая голова, когда записали, а потом опять транслируют. Поэтому у нас всегда все на живое и всегда есть возможность задать вопросы преподавателям и поговорить.
37: Про конкретные реальные кейсы ситуации с ваших проектов это прям очень важно. То есть такое мини комьюнити и разбор каких-то рабочих кейсов, вопросов применительно к той теории, которую мы рассказываем.
38: Поехали дальше, да и, конечно, куда же без этого в качестве бонуса тем, кто досидит до конца, мы скинем
39: Не сюда, но на почту всем зарегистрируешься, придёт пдфка или мы здесь ссылку кинем, я, честно говоря, не помню, можем здесь, наверное, кинуть ссылку с pdf, в которой подборка.
40: Инструментов, коих сейчас расплодилась вагон, маленькая тележка, но как бы сделали небольшой research, отобрали и поделимся ими. А уже какой инструмент выбрать и как выбрать об этом как-то отдельно можем поговорить.
41: Где-то будет это висеть запись скорее всего на YouTube, там будут тоже ссылки, я думаю прикреплены во вконтакте, в плейлисте открытых уроков от да, там все будет я думаю, что и ссылочка на присутствует ну тот, кто досидит, тот.
42: Сразу получит, не придётся ждать.
43: Здесь прям, жень, тебе слово хочется передать? Интересно, потому что на самом деле я думаю, что у нас здесь будет
44: Диалог, да, больше, да? Или даже скорее диалог. Окей, потому что, ну, давай, давай, давай тогда я начну. Ладно, хорошо. Опять же, как бы есть скрипты, да, а есть текущая ситуация, и мы всегда постам
45: Смотрите, как бы в основном обычно присутствует в компания 2 сценария развития. Про развитие мы говорим именно про внедрение автотестирования, иногда запрос
46: Идёт сверху, приходит от какого-то менеджмента топ менеджмент, там of engineering CTO, там какой-то си уровень, который видит некие проблемы, мы предполагаем, иногда даже без.
47: Проблем и говорят, а давайте, давайте внедрим автоматизацию. Автоматизация это клёво, это классно, это должно решить какие-то наши болячки, какие-то наши проблемы, я в свою
48: Когда работал в консалтинге, довольно много. Ну, с таким часто встречался, когда есть у бизнеса или уровня некая
49: Представление о том, что вот это та самая магическая кнопка, которая, не знаю, у нас много графиков, у нас много дашбордов, у нас нет тестировщиков, допустим, или есть какие-то ручные тестировщики, они там взрываются в
50: Не успевают. У нас куча багов и давайте внедрим автоматизацию, какой-нибудь скриншот тестирования, и это нам прямо очень поможет. То есть у них есть некая картинка, но нет экспертизы, и они хо,
51: Хотят внедрить автоматизацию, чтобы решить проблему. То есть по факту у них есть проблема. Есть предположение, что это должно решить, решит или нет. Мы пока не знаем. Да, и
52: И запрос снизу, запрос от команды, когда команда работает над каким-то продуктом, проектом, тратит большое количество времени, на что у нас чаще тратится на регресс. И, блин, как-то все это замучило.
53: Достало неинтересно, рутинно. И давайте как-то сэкономим себе время и внедрим автоматизацию. Ну то есть запрос снизу вполне себе релевантный запрос. Другое дело, что желание то есть
54: Выделить ресурс на внедрение. Ну, это отдельный вопрос. Вот, в общем, снизу и сверху. Жень, что-нибудь добавишь, да? Соответственно, чаще всего желание снизу, оно вот как раз-таки от того,
55: Чтобы оптимизироваться и не факт, что
56: Это будет прибыльно, скажем так. То есть люди просто понимают, что там хотят более творческой работы, потому что там в 1000 раз проходить какой-то сценарий. Никому не интересно. Вот, но при этом это желание
57: Может быть убыточно с точки зрения бизнеса, поэтому подумать о том, а сколько это на самом деле будет стоить и не является ли это, наоборот, там будущей проблемой очень сильно стоит. Поэтому, когда вы будете
58: Продавать эту историю. Если будете идти снизу, надо будет, соответственно, хорошенько подготовиться и бить в те точки бизнеса и топ менеджмента, чтобы они вас поддержали в этом направлении.
59: Мы сегодня, кстати, разберём сценарий внедрения, когда запрос пришёл сверху, поэтому об этом ещё поговорим про снизу. Вот такая вот история. Ну, я расскажу про снизу коротко могу отдельно рассказать историю из 1
60: Из предпоследнего проекта, когда, ну, не выделяли деньги на бюджет. Ну, в общем, когда все шло снизу, так, жень, ну давай тогда здесь.
61: Slider, куты, я добавлю свои 5 копеек. Смотрите, в целом, если попытаться препарировать вот этот вот весь старт автоматизации, то есть мы исходим из того, что у вас типа сейчас автоматизации нет, и вы как раз-таки
62: Собирать только только её внедрять. Поэтому 1, с чего стоит задуматься, это вообще стратегия и цели. То есть какая ваша сейчас основная проблема? То есть, в принципе я даю определение
63: Автоматизации, тестирования, как оптимизация регрессионного тестирования, но при этом выбор как раз-таки тех Тестов, с каких вы начнёте свою автоматизацию, зависит от того, какая у вас цель. Например, если вы
64: Изначально там продавали историю, что вы должны там сократить время, то в целом стоит, например, рассмотреть вариант с тем, чтобы автоматизировать прежде всего самые длительные, то есть самые трудоёмкие проверки, даже, может быть, поверх само.
65: Просто потому, что вы получите больше выхлопа от того, что вот вы в этом месте сильно сэкономите. Вот, то есть вам нужно сначала приоритизировать того, как бы, ради чего все это делается соответствен.
66: Следующим этапом у вас, соответственно, есть архитектура и инструменты. То есть вам уже придётся понять вообще, каким инструментом вы у себя будете на проекте пользоваться, будет ли это какая-нибудь готовый фреймворк или вы выберете
67: Не знаю, условный пайтон. И будете использовать библиотеки, которые есть, описывать тот самый фреймворк самостоятельно. На что тут, в общем, стоит обратить внимание, во первых, на языки программирования и специалистов, которые есть на рынке. То есть, понятно,
68: Что, например, писать на селениуме, на голенге теоре? Ну, это возможно, там есть библиотека, которая, по моему, называется тарантул, но вы себя очень сильно за тем фактом, что как бы гошники
69: Нераспространённые все-таки ещё пока специалисты. Вот.
70: Найти какую-нибудь там условно замену вам будет очень больно. Вот. И 2 момент как раз-таки, вот говоря про инструменты, фреймворки и так далее, это архитектура. То есть если вы на этапе внедрения не озадачитесь
71: Как у вас там будет архитектура вашего, допустим, условно самописного фреймворка на пайтоне, то если вы как бы совершите, скажем так, какую-то стратегическую ошибку, её потом будет достаточно больно исправлять, поэтому
72: Здесь есть смысл, например, там привлекать какого-нибудь опытного автоматизатора, который уже там делал фреймворк, где-то, например, и чтобы вот он переиспользовал какие-то там свои знания и с набитыми шишками уже пришёл и
73: И сделал какую-то основу, которая будет таким хорошим фундаментом в этом смысле. Говоря, в контексте искусственного интеллекта. Он, на мой вкус, очень плох как раз-таки в этой самой архитектуре, поэтому
74: Ему в этом смысле доверять не стоит. Вот, поэтому здесь, как бы здесь он, скажем так, галлюцинирует слишком сильно. Так что просто так вот вы были, не знаю, там, а, окей, и
75: Потом такие, хотите ли начать, типа, там вайб кодить, автоматизировать, ну, в общем, наломаете дров, скажем так, об этом мы поговорим ещё чуть чуть попозже. Окей, хорошо. Вот дальше вы понимаете, что вы будете это все дело там автоматизировать, у вас начинает появляться
76: Там команда, то есть тех людей, которые будут этими тестами заниматься. То есть это может быть для начала какой-нибудь там 1 человек, который занимается внедрением, но тогда у вас будет, то есть стратегически
77: У вас будет бас. Фактор равен единице. Это тоже большая проблема, поэтому то, как вы будете обслуживать эти автотесты, супер важно. То есть, когда вы делаете автотест, это не значит, что у вас становится меньше работы. Работа просто становится дру.
78: Потому что те же самые автотесты надо поддерживать их, соответственно, надо там как-то ускорять и так далее, и так далее. Поэтому про то, как вы будете организовывать вот эту вот
79: Поддержку стоит подумать, ну вот на неё на 1 шаг, а на 2, 3 шага вперёд. Соответственно, что о чем ещё стоит позаботиться? Это как раз-таки взаимодействие с другими функциями. То есть там разработчики, аналитики и так далее.
80: То есть, что здесь имеется ввиду, если, если вы хотите, скажем так, сразу похоронить автоматизацию тестирования, сажайте этих автоматизаторов в отдельную команду, не давайте им ни с кем общаться и так далее. Тогда как бы все
81: Думать и в принципе не безосновательно, что наша хата с краю, поэтому благополучно как бы будете предоставлены сами себе. Поэтому там локаторы вам будут добавлять по какому-то остаточному принципу и так далее. То есть очень важно, что
82: Эти люди, которые будут заниматься автоматизацией тестирования, были частью команды, чтобы они участвовали в каких-то принятиях решений, давали какой-то свой фидбэк, даже можно устраивать какие-то парные сессии, где условно разработчик садится рядом с
83: Тестировщиком пишут автотест. И таким образом разработчик лучше поймёт вообще, как пишутся автотесты. Может что-то, соответственно, в обратную сторону порекомендовать, как использовать какие-то ишные скиллы. То есть, потому что разра
84: Ботчик лучше разбирается в коде, и он может подсказать именно хорошие пректисы для автоматизаторов. Если он, ну, скажем так, ещё не очень сильно опытный, ну и в целом даже все равно какое-то cross опыление, какие-то новые идеи, они всегда полезны, поэтому
85: В общем, не предоставляйте автоматизаторов самим себе, они должны иметь чёткое взаимодействие, скажем так, понятное, с какими-то ожиданиями от других ролей, собственно говоря, по поводу управле.
86: Рисками и качеством. То есть здесь не должно быть каких-то, скажем так, завышенных ожиданий от автоматизации, потому что, по сути, это, как я и сказал, оптимизация регрессионного тестирования, то есть
87: Это не какая-то волшебная таблетка, когда вы все автоматизировали и у вас как бы там должно стать сразу резко там меньше багов и так далее. Поэтому не надо здесь скорее строить каких-то завы.
88: Ожиданий. Вот если же мы говорим про связку автоматизаторов, например, и ребят, которые занимаются ручным тестированием, то, по сути, они должны тоже между собой найти общий язык.
89: Скажем так, то есть, ну вот, допустим, пример тоже из практики. Вот у нас есть какая-нибудь форма, там есть личный кабинет, соответственно, есть формочка заполнения номера телефона и с точки
90: Ение ручных кейсов, ошибки валидации вот этого номера телефона, это все как бы атомарные проверки, там их, допустим, 10 штук на то, чтобы проверить там 10 разных типов ошибок. Автотестер, он как бы
91: Человек Разумный и не хочет, чтобы его там автотесты бежали слишком долго. Каждый раз, типа логиниться и 10 раз там заходить в личный кабинет он не хочет, поэтому он скорее будет топить за то, чтобы эти все тесты, допустим, объединить в 1, то есть и вам.
92: Таким образом, нужно как бы разрулить этот конфликт, чтобы ребята, допустим, либо автоматизаторы все-таки приняли некую точку зрения, либо, допустим, ребята, которые занимаются ручным тестированием, сразу писали проверки на валидацию.
93: То есть мы пришли на самом деле к тому, что мы начали писать проверки на валидацию 1 большим кейсом с тем, с тем, чтобы наш пайплайн не раздувался и не был там каким-то безумно долгим. Вот, то есть мы, то есть любое количество, грубо говоря, Тестов, которое у нас был
94: В проекте у нас не должно было превышать 15 минут и то есть 2000, там 200 юных Тестов у нас шли за 15 минут, за 12, точнее, вот поэтому
95: То, как как бы появление новой Роли у вас в коллективе подразумевает то, что ваши какие-то внутренние взаимодействия будут, ну, на всех как бы влиять и придётся как-то их перестраивать для того, чтобы автоматизация встроилась.
96: Ваш процесс обеспечения качества. Я думаю, что в целом я как-то закончил. Жень, передаю тогда тебе слово, чтобы ты хотел добавить. Ой, да ты там классно сказал штуку по поводу того, что работа
97: Будет другая, я бы сказал бы, иногда работы будет больше, и это всегда надо понимать, потому что, как и внедрение любого нового процесса, время на его внедрение люди и ресурсы для его вне
98: И самое главное то, о чем чаще всего забывают, это ресурсы на его поддержку, которая со временем иногда начинает стоить сильно дороже, чем старт и запуск этого проекта.
99: В остальном ты все очень хорошо правильно сказал. Добавить даже нечего, так как мы говорим именно про каллида, запуске, автоматизации. Ну, то есть, мне кажется, можно пойти дальше и уже поговорить именно про саму внедрение, так или иначе.
100: Мы этого уже начали касаться. Давай следующий. Да, давайте дальше. Вопросов пока в чате у нас не появилось, пока тишина, пока ещё не дошли до секции с айкой. Не, ну вопросы то могут быть и по каким-то организационным.
101: Моментом. Поэтому давайте дальше. Мы говорим про внедрение тестирования и давайте рассмотрим ситуацию, когда именно начальник поставил задачу внедрения теста. То есть мы не будем обсуждать кейс, когда вы хоти
102: Это внедрить. То есть мы пойдём по пути, скажем так, наименьшего сопротивления, скажем так. Окей, к вам пришли с тем, что типа, вам надо внедрить автотесты. Да, жень? Нет, я просто хотел сказать, что мы не будем много
103: Начнём с этого, ну, довольно коротко, коротенько. Я все-таки накидаю тезисов по опыту внедрения снизу, для того, чтобы их можно было сравнить. Вот. Но это очень быстро. Окей, без Глубоких деталей, но основная задача
104: Вы, вит, и к вам пришли, постучались сверху и сказали, хотим. Да че же делать? Надо обсудить, собственно, что же, как бы, какие у нас есть ресурсы полномочия.
105: Сроки и так далее. То есть, в принципе, это по сути, классический проект, у которого есть 3 вершины этого треугольника, это бюджет, сроки, ожидаемый результат, потому что если вам, скажем так, сказали,
106: Цветочек аленький, но при этом не дали ничего, то как бы очень странно на него рассчитывать. Вот, поэтому вам как бы при переговорах о том, что же вы будете делать, нужно тоже договариваться о том, какие у вас
107: Будут выделены ресурсы, в какой срок и какой вообще в целом ожидаемый результат. На самом деле очень важно, как мне кажется, отталкиваться именно от ожидаемого результата, потому что их может быть, по сути несколько. То есть
108: Ваш руководитель может быть мотивирован тем, чтобы у вас ускорилось доставки продукта до среды эксплуатации. То есть самый, наверное, частый сценарий, когда приходят с таким запросом. То есть прогресс очень долгий, мы хотим ускориться.
109: С этим как бы все более менее понятно. То есть цель достаточно Разумная. Вот, может быть ситуация, когда вы хотите
110: Именно автоматизировать какие-то постоянно повторяющиеся проверки. Допустим, они реально у вас вручную занимают, там, не знаю, несколько там Десятков минут.
111: В сумме получается несколько часов. И вы, и вам могут сказать окей, мы хотим, чтобы это делалось все автоматически. Может быть, вы даже найдёте способ написать какие-то там юниты или модульные тесты с тем, чтобы уменьшить ту самую трудоёмкую историю.
112: Которая у вас есть, то есть она, в принципе, может быть, она не включена в ваш полный регрессионный сьют, но когда дело доходит до того, чтобы там что-то проверить в каком-то там legacy, месте для вас это боль просто потому что надо там
113: Вспомнить, что происходит и так далее. То есть такая цель может быть тоже именно что вот есть какая какая-то история, очень трудоёмкая в проверках, поэтому, но мы хотим её закрыть и про неё просто забыть.
114: Цель следующая, которая у вас, может быть, это именно работа на множестве окружений. Здесь мы можем подразумевать сейчас уже достаточно большое количество сочетаний. Это может быть как windows, допустим.
115: Так, и Макс в разные версии движков именно с точки зрения браузера, то есть там chromium, кто у нас там получается, фаерфокс есть и так далее. То есть на то, как у вас именно платформа
116: Опять-таки у вас может быть десктоп и мобильная версия вашего приложения. Я имею ввиду веб приложение, то есть и все это дело, чтобы оптимизировать, как бы вы можете это все закрыть с помощью автоматизации. Ну особенно, что касается
117: Разных версий браузеров.
118: Допустим, если мы говорим про какой-то там смоки и так далее, то есть который у вас есть, вы можете расширить пул проверок, просто добавив разные версии, ну, сочетания там параметров, то есть вы, если, допустим, среза
119: Углы проверяете достаточно маленькую часть вашей функциональности, потому что, ну так сложилось исторически. У вас то с помощью автотестов вам могут поставить целью покрыть с точки зрения там кавердж.
120: Гораздо больше большее количество кода, скажем так. Вот следующий пункт это скорее как раз-таки про того чаще, скажем так, к вам не придут сверху. Это будете вы говорить снизу.
121: Чтобы у вас было больше времени на какие-то творческие вещи. Я думаю, как раз-таки сейчас наступает то время, когда и помогает быстрее писать автотесты как раз-таки, чтобы выделять время на то, чтобы как раз подумать. То есть, если рань
122: Написание автотестов было там, не знаю, н минут, то теперь оно там, н, делить на 5 примерно. Вот здесь есть пункт про экономия затрат ресурсов, который зачеркнут.
123: Потому что, как сказать, к вам могут прийти, сказать, мы хотим там, не знаю, сэкономить, там, сократить несколько ставок, там, не знаю, чтобы у нас там автоматизация появилась, как мы уже сказали.
124: Это работа будет другая, вот. И её зачастую будет становиться больше, особенно на 1 этапе, когда вы только только будете это все дело внедрять.
125: То есть у вас, скорее всего, дополнительных бюджет вам могут не выделить, а результат какой-то вам поставить и говорить там. Давайте в свободное время, там че то пишите и получится, что вы будете это все как бы внедрять там, не знаю, вечерами и так далее, и
126: И в какой-то момент вам надо будет новые фичи тестировать и старые тесты обслуживать и так далее. Поэтому только уже где-то там при очень большом покрытии у вас уже будет действительно, скажем так,
127: Меньше рутины, а больше какой-то творческой истории просто потому что у вас действительно очень хорошее будет покрытие и какие-то изменения то есть вы можете там какой-то новый тест набросать из уже существующих методов гораздо быстрее, чем писать все это дело.
128: С нуля. Вот. Ну и то как бы это не то чтобы прям всегда, если к вам придёт какой-нибудь большой рефакторинг, то может придётся переписывать достаточно большие куски системы.
129: Вот, собственно, я не знаю, жень, есть что ещё добавить или к следующему. Слайд, наверное, про множество окружений. Ты сказал как раз про браузеры, я добавлю про дева.
130: Те, кто занимается мобильным тестированием. И тут автоматизация очень сильное подспорье, потому что у вас опять же можно использовать фабрики девайсов, брать свои наборы автотестов, которые туда закидываются, там через какой-нибудь браузер стек или любую другую.
131: Фабрику и, ну, это дешевле, эффективнее, чем самому собирать все эти девайсы. У себя не всегда есть такая возможность, особенно если они специфические. То есть, да, это расширение тестами, сказал рутина, да.
132: Про экономию затратов полностью согласен на все 100500%, несмотря на пункт 1 и 2, которые вроде говорят про ускорение доставки и вроде как удешевление кажется стоимость.
133: Разработки, ну, как бы она увеличивает, скажем так, бюджет перекладывается в другой, в другой карман.
134: Ну, для этого надо считать Роли по автоматизации, по внедрению автоматизации, окупаемость затрат на инвестиции. И довольно часто, ну, в моей практике, по крайней мере, окупаемость внедрения автоматизации было там год тире.
135: 2 года. И если проект
136: Довольно короткий, быстрый, то внедрение там автоматизации ну может просто быть довольно дорогим, просто как грамотно, экономно расходовать ресурсы. В этом смысле у нас есть отдельная лекция про рой, мы
137: То как это посчитать, собственно говоря, как же вообще нам внедрить автотестирование, то есть
138: Вам в любом случае, как бы понадобится при внедрении работать с командой. То есть, как бы вот окей, к вам пришёл руководитель и говорит, хочу автотесты, но
139: Это именно, как сказать, руководитель не является там разработчиком, условно говоря, или проджектом. То есть они могут все равно воспринимать эту активность, ну, как какую-то там, типа факультативную, скажем так, то есть быва, были такие
140: Ситуации, когда автоматизатор воспринимался в команде, как там дополнительные руки ручного тестирования. Поэтому его надо в каком-то смысле даже там оберегать, чтобы его не начали, типа просто затыкать им дыры.
141: То, чтобы действительно занимался своими делами, поэтому очень важно показать
142: Всем заинтересованным людям, как бы в команде, ну точнее, просто всем людям в команде, что типа, мы работаем над вот этим. И вот у них такая-то ценность, соответственно, говоря про то, что автоматизировать тот набор, который выполняется вручную, подразумевает тот факт, чт
143: У вас уже должно быть какое-нибудь там тест ретест топ, да хоть экселька. То есть не надо пытаться в этот момент там собирать какие-то эфемерные запросы от стейкхолдеров.
144: Соберите то, что вот у вас уже есть то, что вы сейчас проверяете, и то, что, соответственно, уже сейчас вам принесёт пользу.
145: Очень важно как раз-таки для того, чтобы показывать и результат, и как сказать, вовлекать вообще всю команду в автоматизацию тестирования, это создавать дашборды, отчёты, тем самым
146: Вы как раз-таки показываете, что вот ведётся такая-то работа, в ней можно поучаствовать, что вот там моя хата не с краю. Вот, и очень важно интегрировать сразу автотесты в себя. Это прям
147: Можно было поставить пунктом как бы номер 1 по по значимости, но это, скажем так, идут с точки зрения там сначала, потом следующее, потом следующее, что имеется ввиду, если у вас автотесты гоняются на вашей локальной
148: Shin, то считайте, что может сказать их нет. Ну вот, то есть должен быть какой-то пайплайн, где, допустим, на каждый коммит или на каждый мёрший квест у вас запускаются, пускай это будет даже там 10 Тестов, но они
149: Там выплюнули ь и написали, что там джоба прошла успешно или там наоборот они упали и вы отреагировали, пошли их как-то исправлять или там привлекли разработчика, что он сам пошёл исправлять и так далее. То есть они должны быть часть
150: Командного, командной работы. Вот поэтому
151: Если у вас этого шага как бы нет, то вы опять-таки предоставлены сами себе.
152: То есть это, это, скажем так, 4 вещи, на которые вам при внедрении стоит обратить внимание.
153: Тут вопрос в чатике, а её как тестировать автотестами? Не совсем понятен, к чему это был вопрос? Можно более расширенный комментарий дать. Как бы, да, помним мы, надеюсь, все помним про пирамиду тестирования, когда у нас
154: Есть стоимость написания поддержки Тестов, когда у нас в самой базе у нас юниты, которые покрывают
155: Код. Потом у нас идут различные всякие интеграционные системные тесты на верхушечке у нас интент юай тесты, которые длинные.
156: Длинный.
157: Которые у нас длинные, долгие и дорогие, соответственно, автотесты там имеют тоже место быть, но они дорогие в поддержке, они очень
158: Долгий по времени выполнения поднять окружение, там пройтись по всем шагам, потыкать по всем местам с точки зрения конечного пользователя, а не с точки зрения работающего функционала. Например, жень, можешь ты добавить что-нибудь
159: Да, я на самом деле тоже не очень понимаю вопрос. Юай тестировать. То есть, ну, у вас есть инструменты по тестированию веба, у вас есть по тестированию мобилы, есть даже по тестированию десктопа, если
160: Говорим про какое-то там сравнение по скриншотам тоже собственно говоря, есть библиотеки во всех языках программирования, которые позволяют сравнивать диффы по пиксельно, поэтому что имеется ввиду, то есть ux мы как бы, наверное автотестами
161: Покроем вот вот именно ui да, что касается пирамиды тестирования, здесь я склонен вообще именно не пирамиды воспринимать в текущих реалиях, а так называемая фигура бриллиант, когда у нас мало.
162: Много интеграционных и мало юайный, но юайный тесты для меня на самом деле в целом их можно писать достаточно стабильно. Вот. То есть если у вас есть некий контракт на добавление, там дата классов к каким-то
163: Бутом, вот, который используется в тестировании, и они не изменяются, они, то есть они специально добавлены для тестировщиков, то они будут весьма и весьма стабильны в целом, так что, но сейчас именно слой, как бы юнитов уже стал неактуален.
164: Потому что сейчас там последуют какие-то рефакторинги, и они становятся, наоборот более хрупкими, потому что ты там отрефачил, поменял целый класс, и у тебя все эти тесты попадали, потому что они как бы не отражают теперь текущее состояние в этом смысле какие-то более
165: Ипиай, там интеграционные какие-то такие вещи компонентные становятся на 1, на 1 план, потому что они как раз более стабильны и проверяют какой-то, ну, кусочек на бизнес логики.
166: Вот как-то так. Поехали дальше. Да, давайте разберём тоже как пример тезис про то, что, допустим, к вам пришли
167: И говорят, окей, типа мы хотим автоматизацию, но вот у тестировщиков нет навыка создания автотестов. То есть мы пытаемся сейчас делать некие возражения на тему того, как там, как быть в этой
168: Ситуации. То есть какие у вас есть варианты, чтобы этот тезис возразить, собственно, вы можете пойти по пути 1, например, создать пару из разработчика тестировщика для написания автотестов. То есть у вас будет, получается, за
169: Логику. Вот за функционал подумать, отвечает тестировщик, а разработчик возьмёт на себя обязательства написать на
170: Этот сценарий автома автотест в целом. Это на самом деле практика очень прекрасно ложится на юниты. То есть тестировщик подготавливает тестовые данные, разработчик, пишет юнит тесты замечательно, но в целом на любой другой кейс тоже подходит. То есть разра,
171: Ботчик может начать разрабатывать там какие-то ui тесты. Другое дело, что он не знает каких-то паттернов проектирования автотестов, поэтому решение будет скорее избыточно сложным. У меня была такая ситуация, когда я разработчиком, скажем,
172: Учил писать ипиай тесты на какое-то время отвлёкся, возвращаюсь, они просто не пользуются методами библиотеки, они делают какие-то самописанные вещи.
173: Собственно, что ещё вам можно будет сделать? То есть, если мы говорим про найти кого-то, кто может в эту пару из разработчиков тестировщиков войти, соответственно, предпочтительнее найти того, кто-либо уже имеет навыки кодирования, либо
174: Горит огромным желанием их воспользоваться, потому что-то, что разработчик сделает на первых порах, нужно будет, соответственно, потом передать бразды правления вот этому 2 тестировщику и потом, соответственно, ещё дальше, чтобы он расшаривал на всех остальных. То есть
175: Чтобы у вас не было такого, что у вас есть какое-то священное знание, которое находится только у 1 человека. То есть после того, как у вас какие-то вещи появились, вам нужно обучить команду их ими пользоваться, чтобы они могли их как бы и создавать, и поддерживать, и
176: Пускать. То есть это ещё раз, это инструмент в команде, которым все должны уметь пользоваться. Если же мы говорим про то, что вам надо, например, автоматизировать какой-нибудь очень старый проект, который в принципе
177: Находится на поддержке, но время от времени там требуется авто, ну, как бы время от времени там приходят новые фичи, и как бы вы хотите, там, например, че то автотестировании можно гипотетически рассмотреть как раз инструменты, которые записывают
178: Действия тестировщика или даже какие-нибудь сейчас ииные тузы, где вы скармливаете.
179: Свои тест кейсы и он там пытается сам понять по контексту, где находится какая кнопка там что-то нажать там потом куда-то перейти и так далее. То есть в чем здесь как бы ловушка заключается. То есть вы хотите как бы малой кровью отделаться
180: При этом у вас ещё раз нету тестировщиков, именно автоматизаторов, которые бы могли написать обычный код. Главное не то чтобы вас потом не стала поддержка этих Тестов для вас больной штукой. То есть вы как бы быстро получили какой-то результат, но
181: Но при этом вы потом не собираетесь его как-то расширять и там сильно вкладываться в его поддержку. Вот.
182: Собственно, ну и последний момент, возвращаясь все-таки чуть чуть к тому, что вот вы начинаете внедрять автоматизацию, обратите внимание на уже какие-то готовые решения, шаблоны или фреймворк.
183: Для того, чтобы меньше совершать ошибок. То есть, допустим, вот вы взяли все равно пару разработчика тестировщика. Мне, например, я сколько, получается, 8 лет работал с php и код сешена фреймворком.
184: Очень дружелюбный для того, чтобы войти в автоматизацию тестирования. Просто замечательно. То есть, скажем так, вот, если бы мне сказали порекомендовать вот человеку, который хочет войти в автоматизацию тестирования,
185: С чего как бы начать то? Вот я бы и порекомендовал минусы, конечно существенные в том, что php не самый популярный язык, в принципе, вот, поэтому как бы потом скажем так, все равно придётся переучиваться, но
186: Научиться хорошему, скажем так, хорошим практикам, там вполне себе можно. Вот.
187: Так, у меня здесь как бы все, есть ли у нас в чате какие-то вопросы? Кажется, вопросы появились. Так, а есть ли смысл сейчас в ui тестах в мобильном приложении через апим или лучше внедрять нативные тесты вместе с командой разработки?
188: Я на самом деле считаю, что лучше внедрять нативные тесты вместе с командой разработки, чем аппиум, потому что у вас все равно ios, android отличаются более ну то есть у вас там в андроиде есть несколько там кнопок.
189: Возврат, например, там, в айфоне, условно говоря, там 1 кнопка home, ну, сейчас её уже и то её уже убрали, это раз. Во вторых, у вас может отличаться функционал, поэтому, чтобы не было макаронного кода if android и ios.
190: Ещё и тем более что у вас там может просто реально там ios улететь вперёд по коду, а в андроиде этих фич нет или вообще даже не планируется то вот просто чтобы он был поддерживаемым и как бы актуальным.
191: То лучше именно писать отдельно на там xiu тест и отдельно там, на каком-нибудь условно, капресс, это моё личное мнение. И хранить эти тесты соответственно в репозитории вместе с основным кодом. То есть у вас в релиз уходит по
192: Как бы по 1 ветке.
193: Ну, я добавлю, я добавлю, что да, можно, но, как всегда, автоматизация это инструмент, который решает определённые задачи, как бы про цели задачи мы чуть раньше обозначили, и надо просто посчитать.
194: Насколько использование этого инструмента целесообразно внедрение и поддержка. Поэтому, ну, чаще всего вот ui, когда мы писали в мобилках на айосе, нет, на айосе нативка на
195: Код и не писали как раз, а тесты, причём сами разработчики нам в этом помогали. Ну, ну да, можно, но дорого и неудобно. В общем, своими руками я бы не стал бы, это как в практику внедрят.
196: В обыденном.
197: Так, следующий вопрос как заставить разработчиков не скипать пайплайны с автотестами в ci, есть ли преимущества наставить на автотестах в пайплайнах разрабов или перед каждым релизом регресс все равно.
198: Гоняется.
199: А, ну, видимо, есть ли преимущество настаивать на автотестах, пайплайнах, разрабах, если перед каждым релизом все равно прогоняется. А, все, я понял. В общем, как, ну, в принципе, ответ на то, как заставить разработчиков, ну, можно их бить, но как
200: Бы они, если разработчики скипают автотесты, значит они им не доверяют, они не видят в нём ценности. То есть вот этот вот шаг с тем, чтобы продать работу автоматизации, ну как бы был Пропущен. Вот, соответственно, возможно, вы
201: И, ну, реально утратили к ним доверие. У меня была такая ситуация в практике, когда мы писали автотесты, то есть у нас был продукт, но автотестов там не было, и мы как бы догоняли 15 лет разработки, и мы, скажем так, проигнорировали степень
202: Их, ну, как это Флакина, то есть стабильности. Вот. И потом у меня ушло примерно 9 месяцев на то, чтобы там всем доказать, что если пайплайн падает, значит, проблема в коде, когда
203: Мы наконец-таки это победили, то разработчики уже сами приходили и говорили, слушай, давай ты на моей там ветке, мы запустимся, проверим, че, как оно. То есть разработчик не видит смысла в ваших тестах, поэтому надо поработать.
204: С самими автотестами и с культурой, чтобы ему потом
205: Ну, он увидел в этом ценность. A2 часть вопроса, есть ли смысл настаивать на каждом? А, да, есть суть в том, что это должно и как бы вам тоже помогать. То есть у вас есть ветка фича, вы
206: Пустили на этой ветке автотесты, они упали как бы, а по логике не должны были упасть. Значит, разработчик что-то сломал. То есть вот ему как раз тот самый фидбэк, что иди исправляй. То есть, понятное дело, что если он там поменял работу кор функционала,
207: И то тесты должны попадать, потому что бизнес логика поменялась, тогда окей, типа мы идём исправлять и так далее. Но ждать, чтобы пока у нас там все смержится, и мы там на начнём делать релизную ветку и так далее. Только потом.
208: Будем разбираться, придётся все равно так или иначе тратить время играть в шерлока холмса на тему того. А какая ветка сломала в этом релизе. Поэтому, ну, как минимум на каждый мёрший квест, а как максимум на каждый коммит запускать автотесты.
209: Смысл?
210: Я тут заодно файлик в чатик закинул тоже как раз про внедрение автоматизации, то, про что мы говорим, и про, и ты, и по факту, да, вот это то, что Женя сказал, является квалити гейтом для того, чтобы вот этот самый неработающий
211: Ещё кусочек кода не пошёл дальше, потому что чем больше, чем длиннее цикл возврата, тем дороже. Это для для самого процесса разработки.
212: Так что там ещё из вопросов было?
213: Так, после таких экспериментов обычно проходят автотесты. Лучше плакать, чем совсем без Тестов заблочить мерч. Ну как бы способы да, блокировок можно разные, но как бы не давать возможность скипать 1 из способов, но при этом должен быть, как правильно заметил Женя.
214: Довольно высокий уровень доверия к автотестам, чтобы понимать, что сломался код, а не проблема с самим тестом, если тесты обновляются редко, если не
215: Этот ресурс на их обновление, то, ну, скорее всего, на них будут забивать так или иначе.
216: Так, пойдём, наверное, дальше.
217: Давай.
218: Переорганизация, команда, распределение ролей.
219: Ну как бы сверху у нас есть лид опять же в зависимости от структуры, где-то had, где-то менеджер под которым различные Лиды вот у меня это есть lit по подо мной по автоматизации есть лит по нагрузочному тестированию и есть lit по функциональному тестированию сейчас мы говорим про
220: Автоматизацию. Соответственно, у нас есть vip автоматизации, который сам же там пишет код является разработчиком Тестов воров в команде есть, обычно бывают из команды, да.
221: Мальчики, которые проверяют все руками здесь мы все знаем, они же являются поставщиком тех самых тест кейсов, тех самых патронов, которыми потом стреляют автоматизаторы, на основании которых они и пишут свои автотесты.
222: То есть, если они сами анализируют требования, если они сами пишут тест кейсы, то сьюты, если они сами раскидывают приоритеты, соответственно, всем этим занимается мануальная часть. Автоматизаторы иногда просто пишут код, опять же, там.
223: Различные уровни, как бы есть чистые автоматизаторы, есть фуллстеки, которые руками работают и, в общем, и на пианино, и на трубе, и как угодно есть сдт с инженером тест, то есть уже по факту это
224: Глубокий уровень могут и делают там разработку фреймворков, инструментов, всячески помогают и улучшают.
225: Ну, я бы сказал бы так, по факту это разработчики. Вот у нас в команде автоматизация, к примеру, в основном, кроме Лида по автоматизации, который ещё кой заведует все сдэто все разработчики, потому что это платформенная команда.
226: Который предоставляет инструменты, фреймворки, всякие ништяки, регламенты для продуктовых команд, в которых уже сидят просто автоматизаторы и используют эти инструменты для покрытия своего своего часть функционала.
227: То есть здесь плюс минус. Все понятно. Жень, че-нибудь добавить?
228: Ну, здесь особо нечего добавить. Окей, пойдём дальше. Ну да, здесь все чисто, просто структуры бывают разные. Ну, как бы, можно, наверное, ещё сказать, что иногда автоматизаторы бывают внутри команды, то есть
229: 1 литтт, под которым есть мануальщики, автоматизаторы там с devops и так далее, но чаще бывает, что это некая выделенная команда, в которую на вход подаются одни требования, на выходе получаются другие по формированию.
230: Процессов. Ну, здесь, наверное, больше тебе, а я здесь добавлю, потому что у меня здесь чуть чуть поменьше опыта, даже больше поменьше, чем у тебя.
231: Да, собственно говоря, когда вы, у вас появляется отдельный человек с обязанностями именно автоматизации, тестирования, что вам надо будет, как опять-таки, мы рассуждаем на тему того, что
232: Вот вы, элит, вы им управляете. Что же вам вообще с ним делать? То есть вы должны ему сделать некий процесс того, как как он будет получать на вход те самые тест кейсы на
233: Автоматизацию, то есть должен быть некий понятный пайплайн, приход вот этих патронов, то, о чем я уже говорил, обязательно должна быть ccd интеграция. То есть все
234: Вот это вот должно быть как бы настроено, очень удобно так, чтобы этим было пользоваться. Всем достаточно комфортно, чтобы оно участвовало в там в тестировании фич на регрессах и так далее. Опять.
235: Вы можете там как-то закручивать гайки, но у вас должно быть некий код конвенции к тому, как, как вы пишите вообще ваши автотесты, чтобы люди, скажем так, делали своё
236: Работу качественно в этом смысле, кстати, очень важно, особенно сейчас с лмками, что чем
237: Лучше прописаны ваши как раз-таки требования к качеству Тестов, тем лучше mk будет справляться с работой, то есть как раз-таки
238: Роль каких-то гудок, регламентов стала выше, потому что мы все равно так или иначе ускоряем свою работу с использованием всяких агентов и так далее. Вот. Ну и соответственно мы хотим
239: Получать на выходе продукт, который соответствует нашим ожиданиям. Вот.
240: Ваши автотесты, соответственно, должны проходить процесс код ревью. Это может быть, допустим, если у вас 1 автоматизатор, а все остальные эникей, то это может касаться, например, того,
241: Что автоматизатор показывает там шаги, которые делает автотест, чтобы мэн окэй доверяли тому, что автоматизатор правильно понял тест кейс и реализовал то, как задумывал?
242: Автор. Ну либо же, если мы говорим про кодинг, то можно привлечь к этому разработчиков, и чтобы они, собственно говоря, тоже как бы давали свою лепту. Если же
243: У вас их несколько автоматизаторов то?
244: Но как бы они будут друг друга ревьюить, и все у них будет в порядке. Соответственно, если мы стандарты кодирования, ну, в каждом языке есть свои, там, типа пиэса и все прочее, то есть должны это
245: Дело описывать то, какими подходами у вас будет, ну, написан код так, чтобы всякие вот эти линтеры и грубо говоря, автотест это тоже код, и поэтому для его Мержа тоже существует quality.
246: В виде каких-то статических анализаторов и так далее. И правила к ним те же самые. Вот
247: Я уже рассказывал историю про утрату доверия, поэтому вам очень сильно надо сделать фокус на минимизацию флаки Тестов. Например, здесь тоже расскажу такую историю. Мы сделали ночные билды, чтобы они там собирали нам статистику.
248: Вкладывали все прогоны в 1, скажем так, папку и потом анализировали сексес рейд этих Тестов. Если они там, допустим, падали 1 раз из 20, то нас это, условно говоря, считаем. Окей, ладно, типа
249: Нас там 5%, допустим, это значит, что если мы там 3 раза его зарера, то он 1 раз из 3 точно пройдёт. Вот, а если же у него там парейд ниже, чем, допустим, 90%, то
250: Мы его помечали как флаки и потом изучали вопрос, а почему же он нам падает? Может быть это какой-то плавающий баг или же действительно есть смысл как-то его улучшить с тем, чтобы мы полностью доверяли автотестам. Поэтому не забывайте работать.
251: С нестабильными тестами. То есть ваши тесты должны именно по сути работать как светофор красненькая, ехать нельзя, зелёненькое ехать можно. Вот, соответственно.
252: У вас по хорошему ещё должна быть некая
253: Ну, не то что свободное время, но, в общем, не должно быть какого-то такого, не знаю, прессинга и стресса. То есть сейчас как раз-таки подходы постепенно меняются в разные стороны, поэтому у вас должно быть время на, условно, рефакторинг, если
254: Вы вдруг поняли, что там есть какой-нибудь интересный инструмент, который вам полезен и так далее. Ну и, соответственно, говоря о том, что когда вы будете там, не знаю, строить какие-то планы, что надо, не знаю, написать тысяч автотестов, надо понимать, что ваш квартал состоит не только
255: Из написания автотестов, но ещё из их обслуживания по результатам текущих фич, потому что, ну, соответственно, тесты имеют свойство ломаться так же, как и тест кейсы, которые по ним написаны. Их надо будет обновлять. Так я вижу чат.
256: Так, можно подробнее про уровень требований к качеству Тестов. Я уже сказал про Флакин, про раны, про стабильность. Ну то есть это вот все про это самое, про уровень доверия. То есть мы сами должны определить для
257: Да какого качества эти тесты должны быть?
258: Потому что, как бы нету на самом деле даже того же, как бы есть понятие флаки тест, но я нигде не встречал какого-то бенчмарка, что считается флаки тестом, например, вот мы в разных системах по разному, где-то. Окей, если тест один и тот же, не знаю.
259: Зарании там 100 раз, если он там 3 раза упал для кого-то, для каких-то систем, он должен упасть там 0 раз. То есть это прям супер пупер, стабильный тест. Вот мы только такие оставляем, например, ну то есть
260: Вот у нетфликса была история с тем, что они как бы новые тесты свои прогоняли, по моему, 40000 раз. Если он хоть раз упал, то, значит, он, типа, считался флаки, и надо было его, типа, переписывать. Вот.
261: Так есть ли примеры Промтов для лм?
262: Примеры, скажем так, они, по сути, построены достаточно индивидуально. То есть вы свои вот эти вот, ну, вы даже не пронты будете использовать, а именно какие-то инструкции, там, типа аля.
263: Клод ди, в которых описываете какие-то хорошие практики того там условно, вот в этой Папке лежат, например, там пайдентик модели, если мы говорим про, допустим, бэкенд, автотесты на питоне, вот здесь лежат
264: Методы, которые вы вызываете, вот здесь лежат автотесты, допустим, и так далее. Вот. Поэтому здесь как бы все будет очень сильно кастомизироваться. То есть не прям пром универсальный
265: А вот вы эти стандарты прописываете в самом продукте универсальный пром, напиши автотест, да, с учётом того, что у тебя там харнесс и инференс и все настроено, выбрана модель набор.
266: Скилов у тебя лежит, у тебя подключены все там инструкции, требования по интеграциям через спишку, там, джири там или ещё куда-нибудь. И, соответственно, после того, как написал, напиши автотест на какой-нибудь комид, там он пошёл, вытащил информацию, проанализировал требования.
267: Писал чек, листы по нему написал, какие-то юниты написал. Ну короче, все зашить можно все что угодно, всего лишь на 1 универсальную команду. Это вы сами настраиваете себе. Тут ещё вопросик тоже появился по поводу
268: Подходов есть доклад. Мне кажется, он ещё был в эпоху до лмок, если я все правильно помню и из епама по поводу
269: Хит Тестов вот в целом.
270: Моё отношение, что это буше, потому что локаторы в целом он пилит достаточно плохие, то есть как бы
271: Он как это, ну, в общем, очень все будет также ломаться часто, как если бы вы делали этот рекординг ваших действий. Вот, а при этом риск того, что он как бы подстроится и исправит, типа
272: Как бы зафиксировать забагованное поведение достаточно не 0. Вот. Причём очень сильно не 0. Поэтому, на мой взгляд, достаточно рискованная штука, поэтому не бежим внедрять.
273: Я, да, мы тут уже потихонечку начали про говорить. У нас до этого следующие слайды, да? Ну вот банально, вот по памяти самое свежее, вот в марте.
274: В прошлом месяце разработчики 1 довольно крупной компании написали пост про то, что команда сократила акуа там с 8 до 4 человек. Ну, пример, да, и отдали регресс.
275: И тестированию как результат у них квартал закончился с рекордным количеством багов, потому что не увидел логические и ux проблемы в новых фичах, соответственно, компания вернула часть инженеров.
276: Сделали только иай регресс. Ну вот прям, а только на регресс людей, на исследовательское тестирование. Ну то есть, понятно, как бы иай, точнее, ллм это не панацея и
277: И, в общем, за вас все не сделает. Это всего лишь 1 из инструментов, который должен облегчить, ускорить работу в определённых параметрах, если это возможно.
278: Вот. Так что можно посчитать стоимость внедрения поддержки вот этого самого инструмента, как бы и решать, подойдёт вам или нет.
279: Давай, давай, давай переходить уже к чуть ускорим последнее. Да, этот, давай, когда вы будете внедрять автоматизацию тестирования. То есть у вас должны быть чёткие, тоже понятные вещи. Как вы будете взаимодействовать с разным?
280: Командами, то есть, скорее всего, вам будут предоставляться какие-то ресурсы у девопсов, поэтому так или иначе вы должны именно с ними обсуждать, где и как вы будете запускать ваши автотесты. Плюс они могут вам на
281: Строить ваши пайплайны. Что ещё обратить внимание по поводу приоритетов с разработкой, продуктом. То есть, если вы опять-таки, мы рассматриваем ситуацию, когда вы внедряете условно с нуля, если вы прямо сейчас возьмёте писать, какие
282: Автотесты на существующий модуль, который через месяц будет переписан, то возможно надо как-то по другому приоритизировать эти задачи. Если же вы там наоборот планируете только рефакторинг в каком-то модуле, то наоборот есть смысл сейчас
283: Писать на него автотесты и получится своеобразный тдд когда вы написали автотесты, они зарефачить запустили там тесты. Если они не упали, значит рефактинг прошёл успешно, опять-таки вам нужно в обе стороны.
284: Задуматься о прозрачности, потому что, допустим вы ожидаете от кого-то то, каких-то, какой-то информации, чтобы принимать какие-то решения, то есть и вам должно быть понятно, куда чего движется. И собственно говоря, от вас тоже могут ждать.
285: Прозрачности понимать как бы, а чем вообще занимаетесь. То есть это про то, что если вы опять-таки, мы исходим из позиции, что вы киллит этого направления автоматизации это достаточно такая типа наша служба
286: Опасна, трудна и особо никому не видна. То есть здесь нужно быть неким даже маркетологом, чтобы в случае, допустим, если вы захотите промолвить вашего там сотрудника, он должен быть как бы более менее на виду, на слуху. То есть как бы у вас должна быть вот эта вот самая прозрачно.
287: То есть, иначе, ну типа, почему вы хотите ему поднять зарплату? Я про него ничего не слышал, не знаю. Ну то есть это исключительно такая промоутерская история. Соответственно, мы уже много раз повторяли, не забываем об этом, про целесообразность автоматизации.
288: То есть, а зачем? То есть, если вам там говорят, мы хотим там, не знаю, покрыть какой-то там сервис тестами, то, а зачем? Ну то есть, может быть этот сервис надо, типа, 1 раз запилили, больше его никто не
289: Будет там никак обслуживать, он постоянно возвращает 42. Зачем на него автотестом? То есть как бы хороший вообще, в принципе, 1 из главных навыков менеджера вовремя задавать вопрос, а зачем? Вот, ну и, соответственно, обеспе.
290: Обратной связи. То есть не забывайте про то, что-то, как работаете вы, ваше подразделение, оно про как сказать, вами могут быть недовольны ваши стейкхолдеры, скажем так. Вот, поэтому обязательно запра.
291: На себя обратную связь и там давайте обратную связь другим, если, допустим, нету там вовремя предоставленных ручных кейсов и так далее, и так далее. То есть вот этот вот обмен мнениями, он должен быть настроен. Это супер важно для того, чтобы
292: Была успешная, да.
293: Так, компания активно внедряет и в cdc кодинг, и к забирают на себя агенты как можно мигрировать риски того, что этап тестирования станет, не успевая разбирать поток из.
294: Поставляемых агентами нитигировать. Смотрите, здесь как раз вам поможет подходы шифт лефта по сути. То есть, да, разработчики начинают условно.
295: Говоря там, генерировать в 20 раз больше кода, предположим. То есть и понятно, что текущий
296: Setup ей как бы не сможет, типа ускориться прям в 20 раз. Поэтому очень важно, чтобы разработчики, как бы, скажем так, сами за собой проверяли, поэтому очень возрастает.
297: Как это важность качества постановки задач? То есть, чтобы по ним можно было реально понять вообще, че от вас хочет заказчик очень сильно возрастает необходимость того, чтобы разработчики просто даже банально за собой
298: Проверяли свои изменения, что они там ничего не сломали и так далее. Поэтому
299: То есть вот тот самый пресловутый шифт, лефт, он как бы вам в помощь, а так, действительно он станет как бы некоторым ботлнеком и вам главное отслеживать, сколько вы вообще, в принципе, можете пропуск
300: Через себя. Возможно, вам надо будет действительно нанять людей, либо разработчики могут заниматься какими-то другими вещами, условными рефакторингами там, где, допустим, у вас уже есть автотестирование и
301: Тем самым, как бы будут пускать задачи как бы без тестирования, потому что оно уже автоматизировано. Вот у меня какой-то такой ответ на этот вопрос, да, мы уже начали говорить про 2 слайда вперёд. Можно перелистать, да.
302: На и автоматизации, да, вопрос отвечаем. Ну, смотрите, здесь про батлнек, да, вот на 1 из предыдущих проектов было такое, когда тестир, тестирование стало банком, потому что собирали релизы разработ.
303: Писали код быстрее, чаще круче и так далее. Перешли на ежедневные релизы. Опять же, при наличии автоматизации. Это как бы хорошее подспорье, без него ежедневных релизов, конечно, много времени на регресс будет тратиться. В итоге как бы был
304: Вы нормальный пайплайн, нормальный флоу. Когда код написан, он сразу же протестирован автотестами, туда же интеграционные тесты и все остальное. И, соответственно, сразу же деплоится в продакшен, если че то там упало.
305: И там, не знаю, красненькое, то ручной тестировщик туда заглянет. То есть здесь он уже не являлся банком, а выступал уже в Роли контролирующей функции, сильно облегчает из приколов.
306: И айки, и тестирование. Да, вот так я рассказывал кейс про то, что это можно. Следующий слайд, на самом деле, жень, про волшебную кнопку, да, сорян, ребят, волшебной кнопки сейчас нет, да, про то, что
307: Dali все в y, а потом вернули обратно частично, потому что несмотря на то, что ну даже если брать агентов, которые пишут код, которые сами пишут тесты и проверяют, но они конечно напишут, они конечно нам.
308: Проверяют, насколько они хорошо это проверят. И продукт то для кого делается. Он не делается для агентов или для роботов, он делается для людей. И в этом случае, как бы тестировщики никуда не денутся. И даже слышал такие
309: Штуки, что сейчас разработчиков становится больше. Ну, те, которые пишут код вэб коде, тоже, можно сказать, разработчики. В некотором смысле продуктов появляется больше. А кто все это верифицировать будет на самом деле, количество баго
310: Тоже тоже растёт. Все это сильно увеличивается. И кажется, что работы тестировщиком скоро будет ещё больше. Вот. И про сдд софт.
311: Spec драйвен девелопмент, точнее тоже прикольная штука. Получается очень много, когда мы работали и сейчас тоже, а мы работаем без требований. Мы работаем без документации, без спецификации и как бы
312: Это было типа норм в стартапах, вот сейчас с появлением айки и таких штук как spec, драйвинг, девелопмент очень важно, Коро наконец то пришли к тому вот тот самый шифт.
313: Что требования должны быть описаны максимально чётко, максимально детально и потому что, ну, человеку можно сказать, ну, тестируй без требований как-нибудь, ну, там, не знаю, со всеми пообщаешься, поговоришь, не знаю, свой собственный опыт используешь.
314: Агенту роботу скрипту не скажешь ну блин, требований у нас нет, поэтому потестируй как-нибудь, так. Оно не работает, и поэтому, ну, мне в этом плане нравится, что с появлением айки требования стали становиться более
315: Детальными, более тщательными, более вылизанными и прямо, ну, это прям классно. И в этом плане, когда они хорошо, детально описаны. Соответственно, весь core, весь скелет, всю базовую штуку и айка агенты. Отлично покрываю.
316: Но за человеком все равно остаётся приёмочное тестирование, эксплорер, трестинг, ну, юикс, как пользователи конечные, да, и по факту, ну это, мне кажется, пока люди не исчезнут.
317: Никуда не денутся. Вот. И полностью автоматизировать при помощи агентов. Ну, как бы можно стараться, но они там потом сами посмотрите код, который пишет. Ну, короче, очень, очень далеко от идеала.
318: Будет ли он? Ну, непонятно, потому что пользователи никуда не денутся, по крайней мере, на нашем веку.
319: Ну да, продолжая этот тезис, это как раз-таки про то, что все-таки пока иишка это джуниор автоматизатор, то есть он очень как бы решает задачи как бы в лоб, да, он уже уже начал
320: Не всегда писать только новый код, хотя было забавно, где-то полгода назад там надо было исправить автотест. Ну я уже такой, типа, думаю, ну ладно, сейчас ишке напишу. Типа там исправь, пожалуйста. В итоге мне кода кодекс взял.
321: Переписал, ну, там просто, типа, 40 строчек кода, там в строке все обернул, хотя надо было в 1 месте поменять. Ну, типа, значение там переменной. Вот. Но, типа, клод с этим справился успешно, но в целом, как бы это все ещё
322: Такой прям джун, а если мы относимся к нему как к джуну, это значит, что задачи, которые мы ставим, ну то есть, если у вас есть в подчинении какой-то джун, то вы ему будете задачу ставить очень детально, то есть вы не делегируете ему из
323: Сделай мне хорошо, вы ему чётко определяете, что он должен сделать и какой результат вы от него ждёте. Поэтому это очень важно. Как раз-таки при работе с искусственным интеллектом чётко умение чётко ставить Зада.
324: Вот чёткая постановка задачи, учитывание архитектуры, вот эти самые наборы Скилов, паттерны поведения, паттерны ответов. И только после этого, как бы они будут что-то делать.
325: Наиболее приближённая к тому, что вы хотите, вам все равно придётся верифицировать. Здесь, как бы никуда не денетесь от этого.
326: Что ещё хочется добавить, что и не ускоряет джунов. То есть, если вы, допустим, на своём продукте хотите ввести автоматизацию, вот есть лмка и там ваш руководитель пушит
327: Внедрение, ну как бы все вот как бы все барьеры кодинга стёрты, там опиши и все получится то нет. И, ну да, он галлюцинировать как бы становится вроде как.
328: Хотя, честно говоря, это утверждение достаточно спорное, но у него все ещё надо принимать работу. То есть, и когда мы говорим про функции управления, у вас есть помимо, там функции, там, постановки задач, там, ческого
329: И так далее. Это как раз-таки там контроль и принимать работу и june. Если мы говорим про джуниор автоматизатора, у него нет насмотренности с тем, чтобы принять у ишки работу качественно, то есть
330: Расскажу, опять-таки, случай из практики у меня была, ну, то есть на работе сеньор автоматизатор. И вот я там ледом автоматизации был.
331: Мы решили, как бы ребят переучить фуллстеки. Ну, в общем, задача благородная, вот по своему прекрасная. Вот. И мы умерли вместе с этим сеньором, потому что джуны нам на
332: Генерировать код на вопросы, на код ревью типа, почему так мы не знаем как бы и так далее. То есть
333: Мы как бы, естественно там объяснили, что за каждой строчке ребята должны понимать, почему так происходит. Вот, но в целом вы можете реально столкнуться с тем, что вы на кодревью своих там сеньоров сможете очень сильно
334: Как сказать, они встрянут вот в этом бесконечном кодревью, особенно с ребятами, которые как бы не очень сильно хотят учиться просто по причине того, что, ну, как бы вот есть за меня пишет код. Классно же. Вот. Так что имейте, пожалуйста, это ввиду.
335: То есть иишка ускоряет сеньоров и замедляет джунов. В принципе, я думаю, что это будет касаться не только разработки, но и не только тестирования, но и разработки, да, и вообще, в принципе, любой доменной области. То есть вы, либо ему
336: Полностью как бы доверяете и вам, в принципе, пофиг на результат. Либо вы должны иметь экспертизу для того, чтобы критически оценить его работу.
337: Ну да, если у вас одноразовая задача, которую как бы не так важны критерии приёмки. Ну, дали, сделал, не знаю, написал там, сделай мне таск менеджера или my плендер на неделю, да.
338: Выбор продуктов, блюд и с рецептами и так далее. Ну, сделал реально за несколько минут. Но как только ты начинаешь задумываться о какой-то сложной задаче, надо представлять, как он будет работать, как ты с ним будешь оперировать. То есть надо продумывать архитектуру, фичи, ну то есть, если
339: Представляем наш классический цикл разработки софта. У нас есть продукты аналитики, да, потом есть разработка, потом есть тестирование, потом какой-то релиз, потом поддержка. И вот представим, что на самом деле иай пополняет роль программистов.
340: Которым ставят задачу потом ещё, то есть надо им поставить, потом надо принять, протестировать и потом запои, да, ну то есть на самом деле это не полностью весь цикл, если это задача чуть чуть там повыше, повыше, сложности. Вот и все. И
341: И в плане тестирования, если как бы это ускорение, это инструмент, который ускоряет, если это возможно, ускорить и как бы 0 помножить на бесконечность, все равно будет 0, если у нас тестовая
342: Модель фиговая задизайнена сделана, да, то, блин, на основании её, как её не ускоряй, получится много всякого г. Вот, поэтому.
343: Надо понимать, что вы делаете, и иметь очень хорошую базу, ну и архитектуру.
344: Все-таки надо ж как-то подкинуть мысль того, а как же можно иишку использовать, скажем так, нетривиально не только в код. Вот поэтому вот какую мысль.
345: И как мы в практике у себя используем, мы берём от обратного, то есть именно когда мы делаем там на тестирование, то есть мы берём задачу, которую сделал разработчик, и его код, и просим иишку.
346: В обратном направлении, скажем так, провернуть фарш, если она по результатам
347: Кода правильно описывает те критерии, которые должны быть реализованы в задаче, то таким образом, мы более менее убеждаемся, что плюс минус, как бы ишка хорошо отработала. Вот, то есть мы соответствен,
348: Можем как бы ишку, так сказать, таким способом помочь нам верифицировать.
349: Хорошо ли написан код. Вот поэтому это позволяет нам некоторым образом сократить время на то, чтобы как бы начать нам
350: Тестировать или мы просто сразу проверяем какой-то из критериев, который просто был не реализован. Убеждаемся, что там баг, и типа отправляем разработчику, пускай доделывает вот такой вот
351: Hack, которым хотелось бы с вами поделиться. Ну, могу ещё добавить тоже в плане верификации, да, то есть у нас есть, допустим, документация. Будем считать, что там m используем спёк, драйвен, девелопмент, спёк.
352: Прям спецификация написано хорошо. И у нас есть код, который писали разработчики, да, то есть у нас есть 2 артефакта. Можно попросить иишку, во первых, проанализировать спецификацию, написать на основании её код.
353: И написать на него тесты. Можно сразу на спецификацию написать там тестовые сьюты. С другой стороны, у нас есть уже готовый код, на основании его можно попробовать написать документацию.
354: Там, не знаю, рэббит, к примеру, какой-нибудь там тузы, которые анализируют код и на основании его пишут документацию, в принципе, неплохо и затем написать, ну, то есть подход, с 1 стороны, и с другой стороны, если у вас вот эти самые автотесты, к примеру, если говорим про
355: Тесты похожи друг на друга, вы уже, соответственно, можете смачить как бы и код, и сами спецификации. То есть можно заходить с разных сторон и смотреть, насколько оно хорошо между собой мачится. Вот.
356: Ну, анализ требований, написание чек листов, написание тест сьютов, опять же, не с точки зрения замены мозгов, а с точки зрения подспорья для ручных тестировщиков, потому что, ну, если где-то бомбанёт, то, ну, как бы она даже не докопа.
357: Покрывать базовые вещи типа там юнитов ну неплохо покрывает, но все равно какой-то ревью из серии попросил написать на requests пачку юниттестов посмо.
358: На них половину выкинул, опять же, чтобы выкинуть половину, надо понимать вообще, про что этот кусок кода, то есть уровень ревьюера тоже должен быть не джун. Вот какие-то там саммари, коммуникации, да, это мы все знаем, все известно.
359: Ну, по факту, да, попросить сходить на сайт и написать сразу автотесты можно, но вам будет сложно проверять проще всю логическую цепочку выстроить, проанализировать там скриншоты.
360: Картинки, документацию написать на основании этого чек листы или там разбить это по каким-то категориям, потом выбрать из этих категорий те, которые вам интересны, а уже на основании этого написать какие-то автотесты, а потом
361: Уже верифицировать. Ну то есть можно таким образом идти.
362: Здесь ещё в дополнение по поводу внедрения и становится вопрос Роя инструментов. Дело в том, что, во первых, вы при написании, то есть
363: Раньше вы закладывали просто там, условно, зарплату человека, там в часах перемножали, там понимали, сколько там, чего будет стоить, сколько вам надо автотестов написать, то теперь как бы у вас есть ещё переменная, связанная с токенами, и на самом деле все вот эти
364: Вот, лмки, ну, они весьма и весьма прожорливые. То есть, как бы вот эти вот лимиты, которые там есть в базовых тарифах. Вот, да, вот пишут, спросите у кода, какая погода в Москве и получится. Результаты 2.
365: Тысяч сожжённых токенов. Вот, вот, вот, поэтому
366: Именно написание. То есть может получиться такая история, что написание кода, допустим, с каким-нибудь капал том и автодополнением, может быть экономически более сильно оправданным и по скорости, и по всему, чем
367: С клодом и сжиганием там Десятков тысяч долларов на написание этого самого автотеста. Поэтому просто имейте это ввиду, что теперь как бы роль надо считать без лмки и
368: И математика может сильно отличаться не в пользу. И, ну, скажу, добавлю. Буквально у нас время подходит к концу, да, короткая история. Ну, то есть про проект реальной большой компании продукто.
369: Проект у нас в компании сделали полностью завет кодили, то есть весь код писали агенты, тесты, писали агенты, все было сделано агентами, опять же, ну, исключительно с точки зрения, что так вообще, в принципе, можно, да, так можно, это стоило.
370: Огромное количество денег, ну, как бы сделали возможность, реализовали, но мысль, скажем так, при подсчёте бюджета этого самого Роя смотрели, типа, возникала мысль, дешевле было нанять 100 разра.
371: Ботчиков, они бы все это сделали быстрее и качественнее. Ну, в общем, пока, пока так, потому что любая плохо поставленная задача непродуманная задача, ну, как бы будет жечь много, много этих
372: Там токенов, а потом опять же контекстом будет заново все это чат работа с памятью. То есть там очень много нюансов, которые очень сильно сжирают все это, потому что, ну
373: Все-таки это не люди, и они немножко по другому думают. Нам по другому надо информацию подавать.
374: Так, есть вопросы из чата. Какие ленки используете чаще всего?
375: Речь, наверное, не про k, а все-таки про какие-то модели, ну то есть там кодекс.
376: Кто-то китайский использует. На самом деле разница не такая уж большая, там только в каких-то там сверхзадачах почувствуете разницу? Очень важно. Именно не модель.
377: Именно набор Скилов и, ну то, что вы будете делать и как вы будете делать то есть набор параметров, потому что модель это только там небольшая часть этой пирамидки или там, не знаю, башенки там ещё
378: Надо понимать, где инференс находится, какой Харс. Ну, короче, в общем, модель не самая важная. То есть здесь не надо, не надо говорить, что там панай, там 5, 4 лучше, чем опус 4, 6, к примеру, или
379: Ну да, для каких-то задач 1 чуть, скажем так, здесь уже выходит экономика, то есть, допустим, в 1 случае больше фактчекинга, поэтому там
380: Гается больше. И в итоге для решения простых задач, там, не знаю, лучше опус использовать для более сложных, допустим, Санет там, где нужно, ну, как-то так. Ну, вот, например, у меня получается, допустим, там же
381: Есть этот режим планирования и я могу вообще, если мы говорим про клод код, использовать, например,
382: Gemini, допустим, для того, чтобы он запланировал изменения, а получается, ну вот я предпочитаю именно для кодинга все-таки от антропка. Вот, то есть как бы можно именно так.
383: Несколько там тысяч токенов, условно говоря, что более дешёвые модели для планирования и там более дорогие для кодинга.
384: Так, следующий вопрос. Вы перечислили немало кейсов для использования и для целей тестирования. Спасибо. Какие из них наживую применяли в ваших проектах, какие довольны, а какие не оправдали надежд?
385: Ну, как бы я файлик с тузами мы скинем вам после лекции всем участникам. Ну, не знаю, у нас свой собственный икс 5 копайлот, в котором тоже используются разные модели, там разные уровни.
386: Скилл пишем сами. Ну то есть здесь, ну все очень сильно зависит от задач, которых вы решаете. И вот этими самыми скиллами, опять же, как и библиотеками.
387: На гитхабе можно найти, лежат там 100500 Скилов, которые помогут вам с тем-то и с тем-то, ну надо с этим также внимательно пользоваться, смотреть, на как они между собой будут взаимодействовать. Не будет там каких-нибудь конфликтов или та
388: Повышенный, повышенного сжигания токенов. То есть здесь очень много времени надо уделять сетапу системы, если не говорить именно про написание кода. Ну то есть как давайте
389: Ну, про код. В целом здесь вопрос именно того, какие есть инструкции. Это действительно сильно индивидуально, и это очень важно, и это работает, что у меня, например, ещё работает. Я очень люблю этот
390: Ноутбук лм. То есть, допустим, есть какой-нибудь кикоф встреча по презентации фичи?
391: Делать её транскрибацию, скармливать в ноутбук лм, и чтобы он её там, допустим, по какому-нибудь формату гивен н описывал в
392: Приёмочных критериях, то есть так как он не лезет куда-то в интернет, а работает только с тем, что вы ему дали, у него достаточно, ну, хорошие, не галлюцинирующие вещи. То есть вот
393: Какую-то суммаризации я использую ноутбук, м, например.
394: Так что что ещё из такого, в чем разочаровался? Наверное, надо привести какой-нибудь пример.
395: Честно говоря, как-то я особо не заострял внимание на каких-то неудачах. Вот, ну как бы попробовали и забыли.
396: Такого, что прям деньги тоже не могу вспомнить. Можно? Ну, сейчас закончим и будет рассылка.
397: Ну, опять же, вот я как бы, про условно, икс 5, ну, в задачах, которые сокращают время, там работа саппорта, инцидент, менеджмент, как бы, мочка, прям прекрасно.
398: Проявила, она прям приносит очень большую пользу штуки по аналитике, по оценке потерь, там, ну, там, эмэль, на самом деле, эмэль платформа.
399: Тоже очень, очень неплохо себя проявляет. Аналитику юниттесты, да, автотесты. Ну, скорее, нет. Опять же, юниттесты тоже, я сказал бы фифти фифти, то есть
400: Сказать, что взять какую-нибудь зу, и она там напишет вам полностью агент все покроет автотестами. Ну, скорее нет. И очень сильно, конечно, зависит от сложности продукта для простых продук.
401: Много и полно, как бы есть прям агентики, которым можно скормить, они напишут тест. Опять же, вы проревьте, поймёте. Ну это неплохой скелет, с которым надо работать, но такого
402: Full solution полного готового решения, при том, что эти тузы появляются, как вы после дождя, сколько там много, много Десятков, наверное, сотни как бы из них, ну, десяток более менее опять же.
403: Со своей область применения что-то большее для мобилок, что-то большее. Для этого, что-то неплохо. Скриншоты прямо пишет, делает, сравнивает, но есть, но у всех есть свои нюансы и минусы, нету как бы идеального, готового, хорошего решения.
404: Самому проще, дешевле, интереснее написать. Пока так.
405: Про список Тузов сейчас ну только если жень, ты сможешь в pdf у меня просто она, по моему, у нас на яндексе лежит оттуда конвертнуть и в чатик закинуть, я думаю окей будет.
406: Окей, сейчас так, да, да, давай, давай сделаешь полистай, пока презу хотел сказать, я полистаю, потому что немножечко ещё про курсы и по времени на самом деле мы залезли, но ещё раз напомню.
407: Да, тем, кому интересно именно поговорить про куа, поучиться систематизировать знания это полезно не только лидам, но и сеньорам. И здесь мы постоянно обновляем программу. Добавляем
408: Какие-то штуки с точки зрения там и автоматизации ну в качестве, скажем так, стараемся держать руку на пульсе и следовать трендам. Так что приходите, заходите, будем рады видеть. Давай дальше.
409: Жень, да, по ссылке. Ну, здесь плохо видно 10 больших модулей. По факту сама программа охватывает, наверное, практически все.
410: Можно с точки зрения коа, и с точки зрения менеджера, я сам не все знаю, как бы это абсолютно нормально, так что можно прям реально много новых интересных знаний, включая практическое применение.
411: Потому что у нас довольно большая линейка преподавателей. Следующий слайд же должен быть и это, и действующие д менеджеры у нас есть, и продукты эджайл коучи.
412: Из разных сфер, там и финтех, и ком, и хардв, и гейм индустрия. Ну, короче, много всяких разных активных, не просто теоретиков, скажем так, а практиков с
413: Большой буквы и в общем, здесь всегда делимся своим опытом, и obb нас тоже можно подумать.
414: Ну, давай дальше, как бы здесь, как бы можно сказать, что в офисе довольно много курсов, и про прям есть отдельный блок. Недавно прям были скидки большие на эту тему сейчас.
415: Не знаю, закончились они или нет. Прямо на блок по и айке можно зайти, посмотреть, выбрать интересные темы. Ну, за чужие курсы, другие курсы не скажу, потому что, конечно же, все очень сильно зависит от преподавателей. Вот, кстати, да.
416: QR-код если вы отсканируете, то прямо сейчас можете его этот пдфку файлик получить, там по моему ссылочка да, как раз на яндекс идёт вот я скинул.
417: Файлик уже в чат уже скинул в чат супер ещё, конечно же, мы всегда собираем опросы, нам важна обратная связь, прикреплено к сообщению в чат.
418: Но я продублирую ссылочку на опрос, будем крайне признательны, если вы его пройдёте и оставите свои отзывы.
419: Ну и как бы контакты в телеге есть, приходите, подписывайтесь, обращайтесь, спрашивайтесь в конце Концов, айтишечка и koa это такая деревна, деревня не супер большая.
420: Все так или иначе перезнакомимся. Вот всем тогда на этом спасибо. Чуть чуть вылезли за лимиты, но это абсолютно нормально. Ничего страшного. Ссылка не на опрос.
421: Направила чата. Спасибо. Это как бы проверка тестовая была, кто перешёл и сразу сказал, а кто-то проигнорировал. Ссылка. Да, вот на самом деле, вот здесь спасибо. Хороший тестировщик сразу ткнул и понял.
422: Сэкономил кучу времени. Всем спасибо.
423: Дмитрий, все, всем, всем хорошего вечера. Ну, надеюсь.