0: Да, да, да, да, да, да, да, да, да, да, да, да, да, да, да, да, да, да.

1: Да, да, да, да, да, да, да.

2: Та та та та та та та та та та та та та та та та та.

3: Вообще то ты у нас банда мухомора. Круче нас нет никого. Это точно. Это точно. Вообще то ты у нас банда мухомора круче нас нет никого. Это точно. Это точно вообще.

4: Ну что же, друзья, всем привет. С кем-то мы уже поздоровались на летней веранде. С кем-то я здороваюсь сейчас и в 1 очередь ещё и с нашим онлайном. Всем привет. Как ваше настроение? Пошумите.

5: Хорошо, это правда. Похоже на шум. Это классно. Надеюсь, все успели выпить кофе, перекусить, потанцевать, даже если вы из дома, почему бы не устроить себе в воскресенье утром небольшой домашний кофе? Рейв, меня зовут Лёша. Я.

6: Менеджер продуктового сообщества Сбера и сегодняшний ведущий у меня небольшое такое вступительное слово. Пообщаться с вами, разогреть зал, как говорят стендаперы. Вот на самом деле, раз я сказал про стендап, пускай будет пару шуточек. Сегодня мчс обещал

7: Оранжевый уровень погодной опасности из за жары. Не знаю про оранжевый, но точно зелёный, потому что мы в пространстве Сбер, среда от Сбера. Вот похлопайте. Ну вот, вот классно. Мне не хватает, знаете, такой висячей штучки аплодисмент.

8: Вот, и сегодня точно будет жарко. Будет жарко не просто потому что на улице уже почти + 30, а потому что у нас классные выступления, классные спикеры. Классная тема. У нас сегодня мероприятие без галстуков. И, как вы могли заметить, даже без бейджей.

9: Поэтому я периодически буду обращаться к телефону и не слишком серьёзно буду с него что-то зачитывать. Вот сегодняшнее мероприятие организовано продуктовым сообществом. Сберджайл совместно с центром экспертизы развития сообществ сберпрофи в этом нашем классном

10: Пространстве. На самом деле это не 1 и не последнее мероприятие. Здесь вы сможете найти на сайте Сбер среды больше подробной информации и, возможно, присоединиться к другим нашим сообществам. Вот. Так что спасибо, что пришли, похлопаем вам, я буду

11: Заставлять вас сегодня много хлопать не только спикерам, но и вам. Это же самое главное, вот что хочется рассказать наше сегодняшнее мероприятие посвящено теме a native подхода к продукту. Это важно, это интересно, это

12: Hyper это у многого на слуху и возможно у большинства из вас в ваших компаниях или в вашем просто инфополе это сейчас очень актуально возможно у кого-то это даже сейчас есть в бэклоге, но про эти вещи подробнее расскажут наши спикеры они в этом эксперты я эксперт чуть в другом.

13: В организационной части сегодняшнего мероприятия.

14: Что хочется сказать во первых, в течение всего сегодняшнего дня вы будете видеть на экранах или в онлайн трансляции различные QR коды, возможно они начнут появляться здесь уже прямо сейчас, обязательно доставайте свои телефоны, мы разрешаем и просим сидеть на на.

15: Наших мероприятиях в телефоне, чтобы вы конечно же могли по всем этим QR кодам проходить во первых по ним вы сможете найти наш канал сберджайл, что это за канал, в нём все актуальные новости анонсы нашего продуктового сообщества анонсы.

16: Наших онлайн, различных ивентов, наших очных мероприятий. Причём приоткрою секрет. Ближайшее будет уже 4 августа. И в понедельник, вторник вы увидите там его анонсы и сможете зарегистрироваться. Там же выходят выпуски наших Митапов различные

17: Полезные материалы и так далее, то что точно вам может быть интересно, раз вы сегодня на нашем продуктовом мероприятии. Во вторых, ну куда без этого конечно же QR-код на наши вакансии, но если вы уже посмотрели наши анонсы, вы

18: Здесь вам сегодня классно, и вы подумали, что, блин, а классно быть частью этой компании, этой команды. Ну, переходите обязательно, оставляйте своё резюме, мы будем точно рады с вами пообщаться. Мы уверены, что с нами классно. Ну, я уверен, что

19: Со мной классно, надеюсь вам сегодня будет классно ну вот ещё 1 QR-код он точно появится в эфире здесь не факт, ну и зачем вам это я вам уже так рассказал, это анонс следующих мероприятий Сбер среды здесь и также QR-код, по которому.

20: Можете зарефералиться то из друзей в Сбер. Вот с этим, мне кажется, мы разобрались, похлопаем себе ещё раз, что мы с этим разобрались. Вот мы просыпаемся здесь просто попрохладнее, чем на уличной части. Я чувствую, как я точно начинаю ещё сильнее.

21: Бодриться хотя музыка там была правда хороша, чувствую что мы максимально продуктивны сегодня, но на самом деле у нас будет ещё 1 QR-код, сегодня он будет 1 из самых основных в течение этого дня это QR-код на вопросы спикерам и оценку для.

22: Них для онлайна. Это основной способ задать вопросы нашим выступающим для зала после выступления. Вы, естественно, сможете поднять руку. К вам подойдёт кто-нибудь с микрофоном, и мы обсудим 2 3 самых актуальных вопроса. Вот и обязательно оставляйте оценку спикеров, потому что это важно.

23: Для нас, как для организаторов, так и для самих спикеров, чтобы понять, что можно сделать ещё круче или погладить себя, сказав, что, блин, я на 10 из 10 выступил, это было хорошо. В конце мы тоже попросим поделиться обратной связью по всему мероприятию и до

24: С этого момента мы вас из этого зала не выпустим. Вот, ну, выпустим, конечно, но тоже просим уделить этому внимание. Это правда важно для нас как для организатора.

25: Вроде бы по организационным моментам на этом все впереди нас ждёт достаточно насыщенная программа из 5 Коротких докладов. Как это будет на каждый доклад мы закладываем примерно 20 минут. Это выступление и ответы на вопросы. Вот мы успеем послушать эксперта, выбрать несколько самых

26: Интересных и острых вопросов из онлайна, что-то из зала. Но что самое главное после этого вы сможете также поймать самих спикеров где-то на летней части очно мероприятия и задать самые каверзные вопросы уже кулуарно.

27: Мне кажется, на этом моя часть все, я вернусь ещё в конце, буду объявлять спикеров, но на этом хочу позвать нашего 1 спикера. Дмитрий Борисов, CPO Сбер ос Дима, прошу тебя с докладом слишком дорого для.

28: Человека, как отдать рутину опен клоу?

29: Самое обидное, что я выхожу не под песню грибы, а вот как Лёша, а под обычный трек. Вот, потому что на самом то деле то, про что я сегодня буду рассказывать, это про то, как наша жизнь будет меняться и меняться на самом деле в лучшую сторону проэтому.

30: 15 минут таймер уже тикает, меня попросили меньше шутить и быстрее говорить смотрите, сейчас я на ipo Сбер ос и кто из Сбера, поднимите руки во, ребятушки, вы меня точно должны любить и знать, потому что у меня re 7 офис.

31: Сбер, ос, это моё счастье последние 4 месяца, а значит, а это наше общее счастье ближайшие много лет. Вот теперь вы видите меня вживую. Можно мне писать, звонить, когда вы будете счастливы этим пользоваться? Вот. И давайте ремарочку. На самом деле, честно говоря, это моя лучшая работа за

32: Последние лет 10 я такого удовольствия давно не получал, либо у меня очень низкий порог боли, тут 1 из 2, возможно, из за чего-то меня и взяли вот перед этим я 6 лет был cpp, b2b, b2c, b2e там продукты мои работают в 40 стра.

33: На всех континентах, кроме Антарктиды, потому что пингвинчики пока ещё не очень в технике, но я это исправлю. Оборот я в Сбере выращивал с 27 до 37 триллионов рублей. И аудитория 35000000. В общем, вроде как послушать меня.

34: Не стоит. Тем более, что осталось то мне 13 минут с вами говорить. Смотрите, можно я сразу признаюсь, я очень ленивый, я прям ненавижу подготавливаться ко встречам. Вот если что, при подготовке к этой презентации не пострадал ни 1.

35: Живой человек, кроме меня, только мои куча агентик в и. Ботиков. Все вот это сделано при помощи ними, потому что, как мне кажется, самая сложная вещь, которая должна остаться у человека, это принятие решений. Все остальное давно пора, честно.

36: Говоря, отдать в сторону. Ну, то есть, когда мне остаётся там, я уверен, у всех календарь примерно такой, что у вас идут нон стопом, и там переключиться очень сложно, а подготовиться ещё сложнее. Вот на все вот это вам, скорее всего, не остаётся времени, если вы ещё не

37: Достаточно уважаемый человек, у которого есть куча людей, который за него что-то подготавливает. Вы чаще всего делаете это сами, и на принятие настоящих важных решений у вас не остаётся времени. И вот хочется как раз про это говорить, что, мне кажется, мы тонем с вами не

38: Решениях. Мы с вами тонем всегда именно в подготовке на принятие решения и по хорошему на принятие правильного решения остаётся очень мало времени, потому что собрать факты, найти расхождения, проверить метики. Вот это вот все надо для того,

39: Чтобы принять всего лишь 1 решение, на которое очень мало времени, и это правда, очень дорогая работа, и, как мне кажется, мы же с вами на конференции для продактов, что product не должен быть сборщиком контекстов, это все давным давно, вот это

40: Рутину можно отдать нашим агентам в моей. Давайте так. Возможно, неправильной концепции мира агенту мы отдаём сбор фактов, сопоставление, подготовку, фиксацию и так далее. Совсем грубо скажу все, что вы сейчас отдаёте джуну аналитикам и всем остальным.

41: Вот все, что у вас делают эти ребята, вы можете отдать агенту. Даже если вы работаете в супер защищённом контуре, у нас есть огромное количество возможностей уроборус гига, кли гига, код и так далее. Что мы можем использовать? А если уж вы

42: Находитесь за контуром супер безопасности, то вот рассказывать про open кло, который у меня лично дома стоит, и там я им пользуюсь уже, наверное, ну там большое количество времени. Вы можете это все давно автоматизировать, как в своей повседневной жизни. Там я буду чуть дальше рассказыват.

43: Например, мою ближайшую отпуск полностью спланировал искусственный интеллект, начиная от бюджета до, где я буду жить. Вот вообще с меня была небольшая вводная, что я хочу, сколько у меня на это есть денег, все остальное он сам думал. И, честно говоря, это будет моё 2 такое.

44: Путешествие на другой континент при помощи искусственного интеллекта в 1 прошёл просто прекрасно. Я впервые не вышел за бюджет. Вот. И поэтому человеку остаётся только выбор, сколько потратить, от чего я хочу отказаться и ответственность за то, что все-таки это все буду делать я

45: Идём дальше. Нас очень долгое время с вами учили о том, что надо правильно писать промты, чтобы искусственный интеллект не ошибался, правильно понимал. И мы там его постоянно вытачивали, вытачивали, вытачивали благо искусственный интеллект не останавливаетс.

46: И сейчас нам уже нужно не столько создавать пронты, нам надо создавать правильную, именно рабочее место для нашего искусственного интеллекта. Какая роль у него должна быть, в каком формате мы хотим получить ответы, какие границы, ритм и так далее. То есть

47: Мы с вами.

48: У вас работает микрофон к тому, что это должен вообще чекать искусственный интеллект. Вот как раз про создание общего рабочего места, где он будет работать именно так, как вам нужно, как вам хочется. Представьте себе, могли настроить под себя

49: Человека, который работал именно так, как вам надо. А ещё с высоким техническим образованием. Вот это именно про оно по хорошему. Мы сегодня с вами за оставшиеся 10 минут соберём агентов, которые вот прям у меня сейчас работают, и вы сможете их

50: И если хотите запустить дома, кстати.

51: Как вы думаете, сколько нужно, для сколько нужно денег для того, чтобы запустить open клоу у себя дома?

52: Ну вот сколько денег вам нужно, чтобы запустить open кло дома?

53: 2 500 ₽. Даже доллары не надо. 2 500 ₽. И у вас дома агент с классными мозгами. Вот что у нас будет с вами на входе у нас с вами на входе будет стратегия, клиенты, отказ, решения, планы, риски, показатель.

54: Зависимости, может быть, даже новый микрофон появится. Вот, но это не факт. Да, потом мы с вами создаём 1 агента, который Чита.

55: Помогай, это jun почти.

56: Ну, пробуем дальше. Вот. И по выходу вы будете получать материал, где у вас будет решение, риски вообще, что с вами делать дальше. Но перед этим, на самом деле, я тут буквально в выходные переделал немножко презентацию.

57: Раз, раз, раз вот до этого у меня была информация окло, хотя в gpt появилась очень классная вещь под названием

58: Work. Я даже не знаю, как мне надо. Вот.

59: Вот раз. А, то есть надо как звезда себя вести, я понял. Итак, смотрите, появился новый функционал ворк в chat gpt. Кто пробовал? Ребята, ну вы что за ваши те же самые 2.

60: 20 баксов это просто космос знаете в чем раньше была проблема проектов всего чат gpt что он уходил на минут на 15 20 подумать и на этом все заканчивалось сейчас эта штука умеет уходить в работу на 4 5 часов, собирать за вас весь контекст.

61: Ваши все истории и дальше кодировать, сопоставлять и выдавать вам просто готовые результаты. В общем, если вдруг у вас уже есть подписка, то можете прям воспользоваться. Это очень крутая штука. Вот, но в чем особая фишка опен кло, именно как

62: Агентной системы, вы можете его настроить под себя, у вас нету вообще никаких ограничений, ни моральных, ни там юридических, ничего, что хотите, то и настраивайте. Именно в этом его главная особенность. И, ну, фишка, потому что я всегда мечтал, знаете как

63: Когда я впервые смотрел железный человек, я прям хотел вот, чтобы у меня вот эта была умная система, которую я настроил под себя. Вот open кло даёт мне иллюзию, что я тони старк, и у меня есть вот эта умная система, я даже научил её говорить примерно таким же голосом. И, в общем, я играюсь в детство.

64: И ещё при этом, выполняя какие-то очень классные задачи, сейчас, по моему будет. Доставайте телефоны, будет несколько сравнительных анализов, на которые у меня нету времени проговорить, но они вам точно понадобятся. Можно сфотографировать, когда вам стоит использовать чат gpt и open клоу. Потом отдельно.

65: Посмотрите, у вас камера в телефоне явно хорошая. Идём, 2 табличка для фото. Потом посмотрите, здесь опять-таки сравнительный анализ, когда вам что надо. И вывод, который может сделать человек. Итак, если у вас то есть

66: Большая гибкость это большая ответственность. Вы получаете среду с точными правами, свои навыки и особые интеграции, которые нужны только вам. Например, вы можете соединить обсидиан с open клоу, и тогда у вас появляется ваша ло.

67: Реальная рак система, которая обучается так, как вам надо. Кто из вас пользовался обсидиан? Вот он же ещё и связи умеет делать. У меня дома. У меня есть предпроект, для него есть стратегия. Я её загрузил себе в open клу, и он мне делает очень простую вещь. Я тако

68: Дружище, каждую неделю проверяй, пожалуйста, все новости по всему миру и дальше сопоставляй их с моей стратегией и делай связи внутри обсидиан. И дальше делай выводы, чего я не учёл и что мне надо подсветить бы on таки.

69: И связи мне делает. То есть, понимаете, там уже терабайты информации, которую он на постоянке связывает между собой, запоминает причинно следственную связь и так далее. И это работает, правда, очень классно. А стоит, ну, примерно 0. И всего лишь ваши 15, 20 минут, чтобы все это настроит.

70: Этим точно надо пользоваться. Или, например, там у меня маленький ребёнок, которому надо покупать постоянно книжки. Книжки сейчас стоят дорого, а цифровой планшет уже есть. Что я сделал. Я научил его создавать комиксы, сделал.

71: Получается, образ своего ребёнка с интегрировал это с комфи юаем, и теперь мне, как только хочу, я придумываю комикс, и через 10 минут у меня уже весёлые картинки с обучением, математикой, литературой, всем чем угодно. Класс ещё ребёнок читает, потому что видит свой образ там, а я ещё научила.

72: То, что он помнит историю, контексты, какие дети там появились и так далее. В общем, теперь вот то, что мы всегда себя представляли в книгах, теперь это работает уже вживую и опять-таки все ещё стоит примерно 2 500 ₽ в месяц. Итак.

73: Начинаем создавать агент 4 шага. 1, мы создаём ему роль, делаем, как мы привыкли, делаем классный пром, который должен нам выдать какое-то умное решение. Загружаем стратегию, род мапы, метрики. Ну вот это все и такие. Думаем, что, наверное,

74: Сейчас все должно сработать хорошо, но выдаёт он обычно какую-то фигню из 47 наблюдений и ни 1 решения. Команда че то там придумала, что-то сделала. Зачем мне вся эта информация, непонятно почему, потому что

75: Нет конкретных источников, нет даты актуальности информации, фактов вывода и всего остального. Он просто перебрал кучу текста и сказал, я молодец, я сделать дальше. Думай че хочешь. А мы же хотим, чтобы мы с вами принимали только готовые решения. Я не хочу на основании этого опять

76: Подготавливать себя к принятию решения, что нам дальше надо? Нам нужны скиллы. Смотрите правила это и есть навыки, что мы в этот момент с вами добавляем. Мы говорим, дружище, пожалуйста, указывай источник и дату актуальности, если ты что-то не нашёл.

77: Пятимесячной давности то что там y chat gpt вышло 5 3 5 2 мне это уже не интересно факты отдельно отдельно от выводов есть факт что сегодня оранжевая угроза или как Лёша сказал там Зелёная угроза а какой от этого

78: Вывод, а вывод от того, что вот мы сегодня с вами выпьем очень много кофе, потому что будет жарко. И сегодня, скорее всего, мы выпьем больше именно холодного кофе, чем горячего. Вот факт и вывод отдельно. Дальше противоречие. И неизвестные как раз, когда только вы начинаете использоват

79: Ну хотя бы локальный рак. У вас появляется противоречие, что поменялось и где это не совпадает. Дальше я стараюсь для себя всегда ограничивать. Какое количество решений я хочу получить. Я не очень часто люблю много читать в тексте, поэтому дай мне самое сочное.

80: Риски, уверенность и не менять, не отправлять, не додумывать. Любая лэлэка очень любит за нас что-то доделать. И пока мы явно ей не скажем ничего не трогай, она будет менять это постоянно дальше.

81: Навыки превращают сводку в материал решения, проверка, связать инициативу, найти конфликты, показать только сигналы и как раз вот на выходе то, что мы с вами можем получить, уже структурированная, понятная история, с которой мы с вами можем работать.

82: И вот что у меня прям вживую получилось. То есть давайте это то, что я прокручиваю на ежедневной основе у себя вот 1, остановить мобильный дизайн, там степень для меня высокая. Откуда взята стратегия решения 26 н.

83: То есть вот вся информация мне расписывается, плюс делается привязки. Откуда это сделать? Я этой штуке просто скармливаю ещё все своё общение с командой, потому что же, что мы с вами Любим обнулиться. А если у нас идёт расшифровка, которую мы сюда запихиваем.

84: Это становится сильно проще. У меня тут есть record. Мы с ребятами с моей командой внутри Сбера написали стратегию за месяц и ни разу не обнулились, потому что использовали наши внутренние системы, которая постоянно чекала. Что мы говорим, о чем мы договорились.

85: И мы не откатывались каждый раз назад, все работали в едином пространстве. Итак, как это может выглядеть? 1 шаг? Собираем 8 источников. 2 говорим, уважаемый искусственный интеллект, сопоставь все это, проверь источники.

86: Сожми до 3 решений, дай мне выбор и главное, запомни, что я выбрал, потому что от этого дальше все будет раскручиваться от моих выборов. Меняется контекст того, что же будет дальше.

87: Итак, дальше же, конечно же, очень хочется сразу делать огромное количество агентов. Я тоже хотел, но в итоге я понял для себя, что надо идти очень поступательно. Начинаем с 1 агента, дальше начинаем на него наворачивать навыки, потому что как только у вас появляется больше

88: 1 агента, они начинают друг с другом не дружить и конфликтовать. 1 начинает постоянно переписывать, другого залезать. Не те права доступа. В общем, как только у вас появляется больше 1 агента, у вас появляются координаторы, у меня отдельно координаторы на ux, которые

89: Управляет кучами, агентами, связанными с разработкой, ой, ну с дизайном тоже самое для разработки и так далее. То есть его всегда надо контролировать и не давать им прав больше, чем просто координировать, потому что искусственный интеллект постоянно желает что-то дора.

90: Работать сам, не передавая это никому. Чем дороже ошибка, тем ближе человек. То есть смотрите, я бы с чего начинал на вашем месте как бы угробить себе компьютер при помощи того же open. Кло можно быстро за минуту. Вот, поэтому есть отдельно

91: Скрипты. Как это прописать, чтобы это не сделать? Сначала даёте чтение, потом, чтобы он предлагал вам действия. Как только вы чувствуете в себе уверенность и силы, даёте ему частичную автономность у меня, он сейчас может читать за меня письма, даже с некоторыми людьми за меня чатит.

92: То есть я вроде как ego настроил к тому, что он довольно управляем, хотя периодически пишет там моим ребятам такое, что я потом говорю, ребята, это был не я. Вот, ну и вообще, это хорошая отмазка, если что сказать, что сделать для вас

93: Интеллект моё предложение вам на выбор можно прям сегодня вечером, после рейва создать 1 из 3 агентов. Это встречи, которые считают стенограммы решения. Кто владелец и контролирует весь ваш календарь. Если вы руководитель, то

94: Супер актуально. Голос клиента, он сам будет чекать за вас поддержку чата, голосовуху, все что угодно. Плюс продажи интервью, темы и вопросы. И последнее стратегия, план. Ну то есть я бы вообще начал с этого, потому что мы же с вами учим людям

95: Создавать стратегию, потом на неё забивать сразу после того, как она согласована. Вот эта штука меня к ней возвращает постоянно. Моё каждое решение чекается на to. Связано это со стратегией или нет на автомате постоянно. У меня впервые за много лет стратегия жи.

96: А не так, когда, ой, е, мы ж че то там делаем. Не то так. Ну и финал, чёрный экран. Нет, да не отдавайте агенту все решение, отдайте ему только то, что вам самим не хочется делать, а именно сбор материалов. Спасибо, ваш.

97: Вопросы?

98: Да, Дима, спасибо большое. Ещё важный навык. Да, мы научились правильно держать микрофоны сегодня. Вот я просто пока вышел с тобой постоять. Друзья. Лучеслав хочет руку в зале. Друзья, принесите, пожалуйста, туда. А ты помнишь, вот так вот.

99: Как звезда.

100: А давай вот так так пробуем. Так. Вопрос будет короткий. Дата дривен или дата инспайред? Да, без разницы, скоро это все схлопнется. Ну нет, из твоего доклада прозвучало дата дривен, и ты принимаешь решение, уже основываясь на фактах. А продукт?

101: To кажется нужно быть дата инспайред и иметь некий вижн и принимать решения ну не всегда все факты есть, иначе бы ii принял за тебя решение. Смотри, ты правильно разделил решение, принимает продукт, то есть вот эта штука собирает за тебя данные, а, реше,

102: Пока что принимает человек. Почему я говорю, что все это схлопнется. Ну то есть, давайте, могли бы мы мечтать об вот таком года, полтора, 2 назад? Нет. И сейчас, например, в Сбере идёт такая история, как там сдд. Поверьте, все это скоро очень схлопнется, и мы даже большую част

103: Решений перестанем принимать ещё и сами, поэтому мой личный ответ пока дата дрива, но скоро это все схлопнется.

104: То есть ты оцифровываешь все факты о стратегии, которую принял сам, и на основе этих же фактов собираешь другие данные, да, я тут ещё добавлю. На самом то деле, в чем главная фишка вот этой иишки это контекст. То есть, смотри, в чем сейчас главная проблема.

105: Проблема любой компании корпорации. Контекст находится в головах, в почте, в людях. И он нигде никогда не собирается. Ну потому что-то, что есть реальность в компании, то, что там она транслирует, запрятано в почте, запрятано во встречах и так далее. Большие

106: Модели научатся собирать контекст тебя, тебя в группе, тебя там в трайбе, в блоке и так далее. И тогда как только тебя вот так вот вынимают твой контекст, контекст твоей позиции сохраняются, и это нам даёт, что любой новый человек интегрируется в несколько раз быстрее.

107: В ту же самую среду обитания, но контекст го не всегда отгружён в цифру, что ещё раз контекст го не всегда отгружён в цифру это

108: Ну то есть давай есть же состояние из иис и toby сейчас не всегда, но мы же идём в будущее спасибо.

109: Вон там вот слева ещё есть.

110: Привет, а мне интересно, сколько ты потратил времени на создание этой презентации и как использовал? Ии, смотри, на самом деле, там сейчас меня, конечно, закидают помидорами минут 30, потому что на самом то деле, я же постоянно где-то выступаю в сколково. Сбер универ.

111: Ля, ля, ля, ля, ля, ля ля и вот этого контекста выступления. У меня огромное количество, плюс у меня огромное количество именно моих агентов, которые уже собраны. И поэтому я ему даю задачу, что я хочу собрать, какую мысль я хочу донести и буквально 2 3 раза прогоняю.

112: Презентация, что мне в ней нравится, не нравится минут 30.

113: Супер. Друзья, давайте пару вопросов из онлайна и ещё вернёмся к этой руке завершающим вопросом. Вижу. Спасибо. Смотри, есть такой вопрос есть, как связываешь локальных агентов с базой знаний продукта, рабочими пространствами, каналами коммуникации с командой?

114: Есть ли в Сбере платформа, на базе которой можно разворачивать агентов во внутреннем контуре? Ураборос, гига кли и так далее? Класс. То есть там давайте это делается с разной степенью импровизации харизмы, но в целом можно класс и сюда

115: Сразу мне кажется вопрос, есть ли у Сбера платформа оркестрации агентов для работы в закрытом контуре, есть у сотрудников к ней доступ, тут как раз есть человек, который делает такую общую историю для b2c вот он машет рукой ну, в общем, кажется.

116: Мы идём в сторону централизации, и такое будет появляться все больше и больше, чтобы это находилось в едином месте. Ну вот даже у продуктового офиса есть своя база знаний по продуктовым агентам.

117: С харизмой. Вот ещё 1, которую можно использовать. Класс. Спасибо. И как обещал завершающий вопрос из зала, потому что вижу по таймеру время уже подходит, все остальное можно будет задать кулуарно уже после выступления. Да, спасибо за выступление. Вопрос немножко вот уже, уже

118: Ответил частично про контур Сбера, ну про open клов и про чат gpt все понятно, здесь все хорошо, когда в Сбере будет то, что хотя бы приближённо вот к тому-то, что ты рассказывал смотрите, ну чтобы максимально быстро посмотри.

119: Последний открытый диалог кирилла Меньшова. Угу. Там как раз рассказывалось про то, что, что сейчас можно скачать и как этим пользоваться. Угу. Ну, если в процентном соотношении далеко ещё до вот этой связки, до этого стека, про который ты сегодня рассказывал, давай так меньше, чем

120: Я думал, то есть, давай так, как бы, функциональность вот в этой презентации сильно больше. Угу. Но отставание, оно все сокращается и сокращается. Угу. Понял. Спасибо. Да, друзья, и большое спасибо, Дим. Вот можешь пока оставить просто на столике.

121: Совсем скоро здесь будет следующий спикер. Друзья, по той же самой ссылке, по которой задавали вопросы. Не забывайте, пожалуйста, оценивать, в том числе и выступления наших спикеров. Важно нужно Любим, ценим, если вы это делаете.

122: И на самом деле на этом предлагаю не тянуть и пригласить сюда, на сцену следующего спикера. Следующий спикер уже не из Сбера. Представляете, здесь не все спикеры Сбера. Это очень классно, очень классно обмениваться опытом. Михаил Скринник, пио каталога.

123: Магнит омни, магнит тех,

124: Рядом, не волнуйся так.

125: Меня слышно? О супер отлично. Давайте я отмотаю назад. Да, всем привет. Меня зовут Миша. Собственно, сегодня я попробую раскрыть чуть дальше ту тему, которую уже начал Дима. У нас очень хорошо подряд идут доклады. Я попробую её сильно упростить.

126: Вот соответственно меня зовут Миша, я продакт в магнит омне вот работал и в b2c, и в b2b продуктах, вот последнее время занимаюсь иишкой, внутри магнит омни та тема, про которую я хотел сегодня поговорить, про то, что как меняется роль.

127: Человеческих рук со временем вот того, как у нас двигается прогресс. И если смотреть на то, что на слайде это исторические какие-то истории, которые мы знаем, да, что роль наших рук, она сильно менялась. Вот, и сейчас мы наблюдаем историю когда-то, что мы перенесли в цифру, и то, как мы научились

128: Уйти от бумаги, перестать на ней чертить, писать. Вся эта история была перенесена в цифру сейчас, и она тоже автоматизируется. И мы от этого тоже отходим. И это тот стейт, который я хочу пронести через презентацию, да, на каждом из слайдов. Соответственно, история о том, что мы

129: Сейчас видим и инструменты, которыми люди начали активно пользоваться, но как будто бы этого недостаточно. И мы видим, что меняется в целом вся модель. И только в этом случае мы видим, как мы получаем большой буст производительности и эффективности, то есть мало начать

130: Быстрее печатать, быстрее делать качественные сайты, презентации и так далее. Это как бы уже есть. Вот нужно менять все, что вокруг модели и то, как мы используем эти модели.

131: Мы тут говорим про какой-то i shaped нейтив и так далее мне кажется, что мы сейчас говорим про переход от Роли исполнителя и как бы как я могу пользоваться ии. Да, я могу делать артефакты руками, как я, в принципе, год назад и делал. Открываешь, ии.

132: Пишешь ему что-то, что-то получаешь, вставляешь, и ты такой дирижёр, который все время с ним взаимодействует. Но сейчас можно переходить в роль режиссёра, и я буду говорить именно режиссёра, который знает, что он хочет, понимает образ результата, может его как бы передать в

133: Модель, а дальше он отходит из процесса и руками в ней в нём не участвует, и это ключевая разница между исполнителем и режиссёром.

134: И, соответственно, дальше проговорю про то, что дело кроется не в модели. Сейчас есть некоторый культ вокруг моделей, которые выходят, что каждый день я закончу доклад, выйдет новая модель, которая лучше и так далее, и так далее. Это растит наши

135: Чеки на подписки и вот тебе уже мало 20 баксов, ты хочешь 100 отдать за fable и так далее и так далее. Но модель очень динамична получается да, завтра нам отрубят доступ и мы не сможем пользоваться антропиха вот соответственно на мой

136: Взгляд главная инвестиция и то, чем стоит растить как навык в этом меняющемся мире, это обвязка вокруг модели в зарубежном терминологии, это харнесс, которую мы вкладываем, чтобы объяснить модели, что она должна делать, как она должна делать, чтобы работать над контекстом.

137: Как говорил Дима, вот и только в этом случае мы получаем формулу, в которой модель стоит 1 из последних звеньев, и мы не делаем на неё главную ставку, и мы получаем возможность менять легко модель.

138: Вот, да, проговорим про 3 таких принципа, на мой взгляд, главных. И здесь Дима много говорил про 1. Когда мы отдаём нажатие клавиш, мы что-то с себя снимаем, у нас появляются агенты, и мы все больше упираемся во

139: 2 и 3, когда нам важно понять, а что мы хотим сделать, а как выглядит этот итоговый результат правильные вопросы задать и ревью, которое в пункте 3 становится нашей новой работой даже на тех ролях, где как бы её никогда и не было понять, что ii тебе сделал.

140: Правильный результат, а потом и принять ответственность за этот результат. Это 1 из ключевых навыков, которые сейчас будут ограничивать скорость достаточно легко состоит в принципе из 3 сфер. Нам нужно в принципе модели объяснить, что она должна

141: Зачем мы её позвали? Она нам картинки генерирует, код пишет эксель, таблицы составляет без разницы. Дальше обязательно проговорить, что ей разрешено. Да, это, соответственно, про те истории, когда модели стирали компьютер, крали данные и так далее. Важно, чтобы она был

142: В нужной среде прописывать ей источники, строить разные модели, чтобы она не галлюцинировала, и попробовать объяснить ей, что такое готово. Да вот не так давно ещё я сталкивался с интересной историей, что когда я просил иишку,

143: Рисовать мне схемы, оно накладывало друг на друга линии. Оно не соблюдало последовательность только потому, что оно не смотрело на свой результат. Как только я попросил смотреть, прежде чем мне дать качество очень сильно изменилось. И вот это тоже важный навык, то есть перенести часть

144: Себя в модель понять. А как я буду оценивать тот результат, который я получу? И в этом случае? Соответственно, мы сможем ещё больше облегчить собственный труд и вырастить ту производительность, к которой мы стремимся. Я пройдусь по 2 кейсам.

145: Из практики, где удалось, в принципе сделать агентов под сценарии коллег, которые абсолютно не технические и смогли его внедрить в свою работу. И более того, я заметил рост интереса и масштабируемость решения внутри функции, мы тут не

146: Да, мы столкнулись с историей, что у нас есть база отзывов, и там туда сливаются отзывы из сторов, из карт, со всех каналов. И нам потребовалось немножко с другого ракурса на неё взглянуть. У нас есть стандартная модель классификатора, и она имеет какой-то, да, ограниченный набор тего.

147: Достаточно тяжёлая, чтобы её перестраивать и чтобы взглянуть по новому, выстроили систему из 3 агентов. Да, это тот самый размётчик, кто должен будет размечать и сказать вот этот отзыв, он про это, этот, про это, это про это. Дальше мы взяли часть верификации, которую делали руками.

148: И объяснили модели смотри, как я обычно отсматриваю отзывы вот так, вот так, вот так. Прогоняя этот круг, модель превратилась в критика и стала откидывать неправильно размеченные отзывы. И мы добавили туда аналитика, просто чтобы упростить ручной труд, потому что у тебя уже есть данные дорисовать презентацию.

149: Эта задача очень простая, базовая, это просто куча файликов мд мд. Файлики это текстовые файлы, их можно читать глазами и небольшое количество скриптов, которые сама иишка и написала. И в итоге мы получили очень сильное снижение.

150: Ручного труда до 15 минут. И при этом, как бы, если раньше день это на небольшой объём данных, который мы могли потратить, чтобы человек сел руками, разметил, то 15 минут они не зависят от количества данных, которые мы вольём просто потому, что этот подход, он абсолютно автономный.

151: Мы запустили, он проварился, получили результат, и, соответственно, какие ещё ключевые моменты мы получили, что ii она дополняет очень прикольно, когда ты можешь прийти со своим продуктом и спросить у базы отзывов а че люди думают про мою специфич?

152: Фичу, которую вот я недавно выкатил прям какую-то конкретную, и он в принципе с определённой вероятностью найдёт, да, то есть мы там специально выстроили, так что находит, объяснили, как ему объяснить, и он тебе приносит отзывы, и ты смотришь, ага, то есть я катнул, а вот здесь вот такие-то моменты всплывают.

153: Соответственно, да, ловить тему вне Заводских тегов и, соответственно, призывать человека там, где он не понимает, тоже важный навык объяснить ишке, что ты не должна галлюцинировать. Ты лучше меня спроси, чем сама будешь придумывать. Ещё есть кейс, он ближе к продактам. У нас в целом всегда

154: Существует много инструментов, в которых мы планируемся подготовка квартала обычно включает какой-нибудь мира, джиру обязательно и какие-нибудь google доки, где мы считаем формулы коппасити и так далее, и так далее, и это накладывает на нас очень большой налог.

155: На то, что мы должны это все синхронизировать, плохо будет. Если мы что то где-то забыли, оно у нас где-то засвечено, в джире нету плохой результат тратить на это время тоже не хочется. И я вот тут поддержу, да, спикера Диму про то, что лень 1 из драйверов прогресса.

156: В целом, но вопрос, а как объяснить модели, что такое мой план, да, вот сидеть текстом, прописывать, записывать зум Колы? Все это странно. И там буквально за 15 минут с тимлидом в процессе диалога мы поняли, что нам не хватает инструмента, который за

157: Серую зону и позволит модели в удобном виде объяснить а что мы хотим от неё, для нас это визуал, где мы видим наши проекты, видим наши копасити, можем двигать туда сюда проекты, смотреть кто когда в отпуск уходит, а для модели под капотом это json json это очень хорошо читаемый файл моделью.

158: Его можно передать коллеге. Коллега может воспользоваться этим всем, и, соответственно, этот подход позволяет по другому взглянуть на передачу контекста. Вам не обязательно в виде контекста отдавать записи встреч или ваши текстовые заметки. Контекст это все что угодно. И благодаря ии.

159: Вы можете придумывать, как вы этот контекст сделаете тоже под разными углами.

160: И развивая вот эти тезисы, мы приходим к тому, что, а эффективно ли сохранение тех процессов, которые есть сейчас повсеместно во всех компаниях, да, в продукте, в случае, когда мы начинаем внедрять, ии, просто как ускорение каждого конкретного этапа. Почему это неэффективно? Потому что

161: Каждый конкретный этап генерирует нам точку, где мы начинаем расходиться по смыслам и сами галлюцинировать, потому что когда я что-то прочитаю и прочитает там разработчик, аналитик и так далее, мы терять начинаем смыслы. Для этого мы придумали продуктовые команды, дейлики.

162: Прочее, чтобы синхронизироваться. И, соответственно, как только мы начинаем убирать эти этапы, а мы сейчас благодаря развитию и да, видим по рынку, что найти в компании со старта, это внедряют где-то, это лучше развито, где-то хуже, но базово, когда хорошо выстроена инфраструктура,

163: Pipeline проверки, продакты могут приносить меры, и разработчики будут их смотреть. Да, для этого нужно дойти, но как только мы снимаем боттлнек разработки, у продакта пропадает очень удобный аргумент в диалогах у меня капасити кончилос.

164: Приносите там в следующий раз, потому что капасити больше не ограничения. И вопрос скорее к тому, какие решения и что ты хочешь в продукт внести. То самое, что иногда часто слабым выступает звеном какой-то промежуточный этап, который можно попробовать, и он хорошо себя показывает.

165: Это генерация кликабельных прототипов без участия дизайнера вместе с ii можно легко их собирать, и ты можешь делать их максимально похожими на продукт любой b2b b2c в принципе, и давать своим клиентам попробовать, когда клиенты попробуют ты сразу.

166: Получишь 1 фидбэк, оно не оно, можно переделать, перегонять, и уже из этого можно родить требования, что ещё круче разработчик, когда берет задачу, может посмотреть в этот прототип и понять. А он имел ввиду вот это, потому, что текст становится очень ненадёжным способом передачи информации.

167: Из человека в человека.

168: И я очень хочу это все приземлить и дать очень простой какой-то способ это применить, попробовать условно завтра. И, конечно, мы все хотим быть эффективными, да, и вот есть некоторая обвязка, которую я себе строил и пытался выдернуть из агентного подхода, что

169: Целевое, что можно в принципе переносить между разными форматами взаимодействия с иишка. И все мы взаимодействуем по разному, да, кто-то уже через терминал умеет вызывать агентов, кто-то поставил open кло, кто-то пользуется на мобильном телефоне. Единая вещь, которую можно

170: Переносить это вот соул файл, файл, душа агента, в котором мы прописываем. Мы немножко фрейми иишку, иишка базово, да, это вот взяли все, скомкали, запихнули весь интернет, а мы пытаемся ей объяснить, что ты там продакт, у тебя есть такой-то набор знаний. Ты, пожалуйста, мне всегда

171: Делай вот так, вот так. Мы можем прописать ворк флоу, типа как мы хотим идти. Сначала план, только когда я скажу тебе окна, план, мы идём дальше, пожалуйста, там не используй вот эти источники и так далее, и так далее. И это уже в каком-то виде позволит вам получать более релевант.

172: Ответы, чем те, когда вы просто в голую ишку закидываете свои вопросы, потому что, да, оно будет работать не всегда точно, да, но оно точно повысит стабильность результата, потому что сильно фреймить. И, соответственно, вероятность того, что вы получите то, что ожидаете.

173: Потому что вы хорошо объяснили, что вы хотите и базово. Этот файл можно таскать с собой куда угодно. Можно потом на основе него агентов построить, можно закидывать в чатовый интерфейс. Очень универсальная штука пишется тоже очень просто. Шаблон нужен просто, чтобы вам было удобно читать.

174: Потому что иишка то все прочитает, а вам удобнее смотреть по разделам и по разделам. Потом удобно понимать, а где ошибается, типа вы видите ошибку, вам хочется исправить, вы видите раздел править и почему это работает базово? Это все тянется из Промтов.

175: Когда мы все писали, промты, было разные методологии. 1 из них просто на экране. Это просто фреймворк, который мы, люди, привыкли к этим фреймворкам, инструкциям и прочему, который позволяет немножко это все приземлить. Базово нужно задать ишке роль. Кто она? Да?

176: Чтобы она понимала потом задать какой-то work flow. Как я проговорил, что мы делаем? Мы собираем презентацию, мы пишем встречи, мы делаем стратегию, как мы это делаем, просто переносим, как вот мы знаем, как бы мы хотели контекст, контекст, вещь такая, тоже где-то говорят про рак, надо прикрутить.

177: Где-то можно просто сделать папочку, собрать туда, не знаю, ваши гайдлайны по презентациям, собрать туда ваши прошлые выступления, все что угодно. Это тот контекст, который вы хотите передать. И главное это ожидание тоже очень важно. Мы не всегда говорим ишке, что мы от неё хотим, если мы

178: Старта объясним, мы сразу получим результат, который нам нужен, а сама ишка будет дольше внутри себя думать. И мы снимем с себя необходимость играть вот этот пинг понг. Когда она принесла ответ, мы ей что-то сказали. И вот так вот, благодаря как бы фреймворку, в принципе, закрыв большое

179: Количество пробелов ишка может уходить на очень долгие циклы и приносить все более зрелый, зрелый результат, но его становится все сложнее и сложнее отсматривать эту презу собирала ишка, и там есть ошибки, которые я пропустил в процессе отсмотра ключе.

180: Мысль, которую я хочу донести, о том, что стоит начать с 1 очень узкой и, главное, повторяемой задачи. Необязательно делать сразу, да, систему, которая вам напоминает про стратегию и так далее. Я даже не прошу ставить open кло, я прошу сделать там 1 мд файл.

181: В котором вы пропишите, как вы делаете конкретную задачу, например, собирать презентации. У вас есть брендбук, у вас есть презентации прошлых спикеров. Вы знаете, что вы хотите рассказать в новой презентации. Это все контекст, который вы просто кладёте в папку, в эту же папку можете положить вот этот

182: Файлик души, даже текстовый, в котором вы напишите. Ты там дизайнер, ты делаешь вот так. Мы собираем из вот этих вот этих обязательно следуешь гайдуку. Когда закончил, открой, посмотри, че ты сделал, оцени, а потом только мне покажи, если нормально и все. И это уже позволит вам запустить.

183: Цикл, да, из которого вы вышли и дали ишке самой себя проверить, прежде чем показать вам какой-то результат. Соответственно, предлагаю вам передать рутину в агентов, чтобы вы направляли. И при этом, когда вы сталкиваетесь с задачей смотреть на неё не как

184: Сделать с ii, а как её сделать через ii? Потому что разовая инвестиция вот в эту повторяемую задачу даёт вам много времени. Ну, на будущем получается, потому что вы полностью выходите из этого круга и уже ревьюите результат. Как это улучшать, вы поймёте в процессе, потому что

185: Очень азартная штука. Нам захочется, чтобы она делала лучше, чтобы она там вот так делала и так далее. Это все, в принципе, в полёте. Главное начать с простого текстового файла. Вот. Спасибо большое за внимание.

186: Op оо сразу же включили мой микрофон спасибо спасибо миш, большое за выступление здесь сейчас появятся QR коды в трансляции тоже ещё раз, точно по которым можно задать вопросы. Друзья, я уже вижу первые 2 руки в зале, давайте начнём с 1 ряда.

187: Потом переместимся а ну давайте, если микрофон уже там начнём с дальних рядов, переместимся сюда. Запомнил, вижу привет. У тебя написано, что product делает mr, это актуально только для гринфилда или для интерпрайза. Тот же самый путь предлагаешь?

188: Я понимаю вопрос сейчас точно нет, мы к этому не готовы. Это актуально для компаний, которые вот сейчас родились с этим, или для продуктов, которые новые, которые сразу с этим начинают заезжать в больших легаси системах. Конечно, это все пока такое-то, к чему хотелось.

189: Прийти, безусловно, но там начинается 1000000 вопросов критичности системы, да, сложность системы и так далее, и так далее. Просто, мне кажется, базово, мы не готовы с точки зрения тех специалистов, которые смогут, отсмотрев этот код, понять, а его можно лить в прод. И я пойму, как его починит.

190: Или нет, мы можем вот здесь очень много потерять как говорится в анекдоте тут есть нюанс вопрос скорее не в легасе, а ещё в highload да, потому что, ну как бы на большую, на большую аудиторию не раскатишь то, что написал продакт, но проверку гипотезы.

191: Через работающий прототип можно использовать для того, чтобы получить нормальные прд, трассируемые требования и потом их уже реализовать в коде через сдд. Да, да, отлично. Я про это и говорю. Да, неплохо было бы дополнить цепочку. Спасибо. Согласен. Ну очень полезно.

192: Ну, в принципе, про это и говорил. Когда говорил про прототип, можно это дотащить до б. Тоже, в принципе, без проблем.

193: Угу, отлично. Был в 1 ряду вопроса.

194: Можно, пожалуйста, все-таки микрофон просто с задних рядов ребята показывают совсем не слышно. Коротко повторите. Ну и трансляцию тоже. Да, спасибо. Собственно, вопрос насчёт создания презентации был хороший пример по поводу агентской составляющей. А вопрос, насколько она нужна, просто вышел.

195: Сейчас клод дизайн, куда можно подвязать дизайн, систему и переключаться между ними. Зачем она в агенте? Да, это очень хороший вопрос. Спасибо с клод дизайном и в целом то, что я показывал, все, что было можно переносить между разными моделями. То есть я не привязан к

196: В Лондоне привязан к чат gpt. Завтра они заблокируют нас всех по паспорту. Мы переедем на китайские модели. Качество при этом меняется, но оно меняется не драматически. То есть я это тестировал, и вышло недавно исследование, что инвестиции в харнесс приводят к тому, что мы можем

197: Достигнуть результата на Узких задачах, сравнимого с фронтир моделями на очень простых опенсорс моделях и харнесс это то, что с нами остаётся, то, что у нас никто не отберёт. Вот. И соответственно, отвечая на вопрос про клод дизайн, он бы справился тоже с этой задачей, но

198: Вопрос в том, что этот агент, который делает презентацию со мной уже там полгода, и у него есть там, вы видели, в описании есть уроки, есть разные способы, как он запоминает, как я люблю делать. И эту презентацию делал сам. Несколько часов он её собирал, дёргая разные.

199: Модели, я в этом просто не участвовал с клод дизайном мне пришлось бы разбираться и объяснять ему подключать туда, в принципе можно клод дизайну, но мне кажется, с точки зрения потребления токенов. И там в целом клод дизайн может быть оверкилл для презентации чисто по гайдлайнам собрать как бы вот

200: Спасибо. Спасибо большое. Есть вопрос из онлайна. На самом деле звучит достаточно философски. Мне кажется, нативность и интентный. Разница для продакта.

201: Слишком философский. Ну, надо подумать. Философский. Да, да.

202: Не для формата кофе рейва. Это, наверное, для более вечернего, не для воскресенья утра, честно говоря. Угу. Друзья, есть ли ещё 1 какой-нибудь вопрос? Если нет, мы двигаемся дальше, потому что таймер мне показывает, что у нас осталось буквально 10 секунд. Видимо, двигаемся. Миша, большое спасибо. Спасибо большое. Спасибо.

203: Друзья, не забываем по той же самой ссылке прямо сейчас оценить выступление спикера важно. Нужно. Напоминаю. Большое спасибо заранее. Друзья, ну не будем тянуть. Приглашаю на эту, пока вы сканируете, пока вы сканируете.

204: Свою оценку. Я должен увидеть телефоны в зале. Я должен почувствовать, что в онлайне вы это тоже делаете. Приглашаю на эту сцену следующего спикера Елизавета Корнеева, старший менеджер продукта т банк.

205: Тут написано время вышло, но, думаю, оно только началось. Всем привет. Меня зовут Лиза, и я расскажу про то, как

206: Как будет и уже делает ллм discovery за нас кто продакт в этом зале вы все продакты, продакты и их друзья?

207: Для вас тоже расскажу. Я, Лиза, я занимаюсь автоматизацией поддержки в т банке. Когда вы пишите в жёлтое приложение, как сменить ПИН-код. Это делает моя команда. Сейчас мы делаем переход от классических Ботов в

208: Агентов и наша основная кайфовая задача делать качественную поддержку. А что такое качественная поддержка? Это тоже философский вопрос, над которым мы думаем не только по воскресеньям утром. Кроме этого, я люблю преподавать

209: Потому что, когда ты 10 раз что-то 1 объяснил, уже сам понял. Поэтому, надеюсь, будет что-нибудь понятно, о чем мы поговорим. Думали ли вы когда-нибудь, как ллм заберёт вашу работу? Какую из работ этот страшный ллм у вас за

210: Вперёд вот сейчас попытаемся разобраться, что можно сделать есть разные кусочки discovery, поиски проблем, интервью, конечные какие-то суждения вот про это поговорим, вернёмся куда-то очень давно.

211: Я хочу начать с такой интуиции. Как мне проще понимать, какую работу можно отдать и каким образом вот есть поддержка, есть чаты. Бот вам что-то отвечает, если бот ответил и сотрудник не подключился.

212: Называем это автоматизированный чат. И вот у нас была уже какая-то доля, предположим, 40 автоматизированных чатов. Бизнес говорит, а че не 100? Ну как-то надо отвечать на этот вопрос, ну просто сказать, ну модель не может справиться совсем, она же вероя.

213: Эта модель недостаточно хорошо. Хочется знать 15, потому что это плохо. 10, потому что-то плохо, а 15 ещё остатка. Ну, вообще не знаем, это сверхусилие какое-то. Поэтому надо, во первых, определить, какие проблемы вам надо решать, а во вторых,

214: Как, ну, классическая задача, просто как-то надо что-то приоритизировать, как подойти к этому, если ваши продукт это куча чатиков, кучу чатиков можно читать. Я обожаю читать лучшая часть моей работы, потому что, ну, ты когда

215: Прочитал 10 чатов, тебе все понятно. Потом прочитал 30, все изменилось. Прочитал 100. Ну там вообще уже числа какие-то начинают прорисовываться. И в целом ужасно интересно, как вы, и мы пишем в чат, общаемся как по разному задаём вопросы, но когда

216: Я сама читаю чаты, положа руку на сердце, я могу прочитать, ну, чатов 100 в 1 присест, максимум дальше. Мне тяжеловато уже впадлу, поэтому тогда, в 2024 году.

217: И в целом есть такой инструмент разметка краудсорсинг. Слышали, кто слышал, что такое разметка данных? Замечательно. Наверняка вы занимаетесь эмэль продуктами, где эмэль это часть вашей работы, но тут происходит интересный

218: Переход. Теперь про это нужно думать не только тем, кто создаёт продукты, в которых эмэль это ядро ценности. Ну и вообще, всем остальным придётся принять подходы, что базовый курс эмэль Ван о Ван, как бы что нужно понимать про то, как пользоваться

219: У вас должны быть данные, у которых есть типа строчечка и правильный ответ. Откуда можно получить правильные ответы, если у вас там хорошо, если ваша система предсказывает клики, если

220: Пользователь кликнул это единичка а если не кликнул нолик такие данные можно собрать из Логов все очень просто но если если ваши данные этто чатики, то непонятно как понять о чем там была речь надо понять хотел он сменить ПИН-код или

221: Выпустить или вообще, короче, разнообразие. Во первых, категорий огромная. Во вторых, кто должен по этому чатику что-то понять? Ваша голова, ваша голова это маленькая нейронная сеть может большая, и вы можете очень много разных классов понимать. Люди, люди, короче,

222: Могут такие задачи решать, если у них нет Логов. Поэтому есть процессы краудсорсинга, разметки, 1000 людей с улицы за небольшую плату, за 1 задание. Говорят вам правильные ответы, используя свою голову и свои глаза, чтобы давать вот

223: Чтобы подсказывать вам, какие у вас данные. Поэтому для этих людей вы пишите инструкцию. Если пользователь хотел сменить ПИН-код, отметь категорию, сменить ПИН-код. Дальше эти люди, их надо, ну то есть вот вы их чему-то научили, делали инструкцию, надо проверять, что

224: Они вам не врут, потому что в этой работе у вас как бы двусторонняя игра. Вы хотите научить получить правильные данные от этих размётчиков, а размётчик хочет денежку получить, поэтому его тактика там кликать все время на 1 ответ, невнимательно читать. В общем, все такое вы бы хотели полу.

225: Качественные данные, поэтому вы подкладываете ему контрольные задания ханипоты, такое штучку, на которую у вас есть правильный ответ. Если он ошибся, то он проиграл. Короче, выкидываете его, не платите деньги. Потом вы проверяете ещё согласованность, если много размётчиков на 1 пример сказал,

226: Что-то хорошее, наверное, это правда. И дальше логический переход. Если вы такое можете сделать с тысячей людей с улицы, вы можете также сделать с м. Реальный пример. Мы так сделали в вспом.

227: Размётчиков, когда у вас достаточно много чатов. То есть я могу прочитать 100 чатов, а с кучей людей из краудсорса я могу прочитать 1000 чатов, и мы получили реальную сортировку проблем продуктовых с оценками, там плюс минус полпроцента это

228: Замечательная штука, к которой мы регулярно возвращаемся, чтобы понимать, что делать в 1 и в последнюю очередь.

229: Это все была интуиция к тому, кто такой ллм ллм. Это ваш джун или размётчик, которому нужны инструкции и контекст, который вы хотите от них получить на самом деле. Вот.

230: Там 1 шаг. Обычно в разметке. Вы должны сделать 10 примеров самостоятельно или со своей командой согласоваться. Почему вы им доверяя, как бы это и есть доверие. Ваша команда делает, скорее всего, так, как вы хотите, потому что у вас огромный общий контекст в голове. Вот ваша задача.

231: Весь этот контекст переложить в ллм. И тогда любой человек и человек из разметки с улицы и ллма сможет размечать так же, как вам нравится. И вот важная мысль. Ваша задача сложить такой контекст, чтобы оно соответствовало вашей

232: Пониманием ценности. И элэм может делать разные анализы и качественные, подсказывать вам какие-то группки, но трудно замерить качество такое, качественного анализа, а потом количественные. Если у вас есть правильные ответы, вы их можете проверить.

233: Есть другие исследования, кроме чатиков, есть интервью, любимые продактами. Что же тут делать? Довольно понятные мысли, что вам могут помочь подготовить скрипт, интервью, расшифровки. На мой взгляд, это вообще лучшее, что произошло в

234: Работе продукта. Не уверена, что кто-то жалеет о том, что ллм забрала эту часть работы. Кластеризация. Если у вас достаточно много интервью, так повезло, что у вас есть целый штаб людей, которые могут опрашивать, у вас получится много интервью из них там много, но

235: Много, много разных тегов надо собрать. И также вы с этой базой знаний можете работать как с поиском, типа, как много людей сказали, что у них болит вот это, а как много людей ноют про вот это, но тут есть

236: Со.

237: Надо как бы тоже этим инструментом пользоваться. Умело вроде звучит просто, но легко поддаться. Опять же, представьте, что это самый там ленивый сотрудник, который пытается вас зафрочит как размётчик, поэтому

238: Чтобы модель вам не поддакивала, просите найти её противоречие, просите выдавать цитаты. И мне нравится класс спорно в разметке тоже, потому что если вы не даёте человеку или лмке возможность сказать, ну, типа вообще не справиться.

239: Этим заданием че то очень стрёмно не подходит ни 1 из вариантов. Тогда люди интуитивно начинают раскидывать это натягивать сову на глобус и тогда у вас грязь появляется в каждом из классов. Дайте легитимную возможность сказать, что вот есть какая-то мусорка, потом вы эту мусорку переберёте сами.

240: Используя своё ценное мнение и так, и после этого сделайте несколько операций. Что ещё может делать? М, вот простой кейс поддержки. Мы

241: Хотим понять, как часто из наших ответов клиенты негативят. То есть мы им че то сказали, они такие плохо хочется оценить долю, чтобы придумать, нужно ли что-то с этим делать обычно, да, как, какую проблему мы решаем, сколько это стоит.

242: Надо почитать чатики и найти места, где он негативит. Вот чатик бонус начислится, не получится, условия не выполнены. Ну, типа вы сами не прочитали бонус не начислили. Клиент говорит, да, я на вас в суд подам, наверняка он негативит, очень злой.

243: Вообще, расстроили его злой по этой фразе. Легко догадаться, что он негативит. Наверное, с ним что-то надо делать. По крайней мере, посчитаем этого человека. Мы, да, пишет нам клиент, ну, непонятно, он расстроился или че, а если

244: Пишет. Ну, спасибо. Это, ну, спасибо или, ну, спасибо, непонятно. В общем, есть какие-то корнер кейсы, которые трудно объяснить вообще, че это такое, потому что, ну, вам самим нужно

245: Ну, все варианты подходят. Может быть, вы хотите сделать очень мало негативщиков и там лоялить только тех, кто, ну, вообще, капец, в суд подаст. Может быть, вы, наоборот, такая замечательная компания, у которой огромные бюджеты, и вы хотите

246: Всех за лоялить, все будет замечательно. В общем, вот это та продуктовая работа, те решения, которые нужно принимать, даже если вот в разметке данных вы готовы довериться Лемке, чтобы она могла разметить так как вам нравится, вам нужно ей это объяснить.

247: Вопрос, зачем че то решать? Пусть данные нам все подскажут, все будем в аб тесты катать. Сначала заявим. Залаяли всех, кто говорит, да потом ещё кого-то. Нет времени. Ес.

248: Если бы мир был прекрасным и времени было бесконечно, мы бы все с вами находились в равных условиях по проверке гипотез можно было бы все проверить и найти лучшее, что всегда помогает. Обычно мы все находимся в условиях ограниченного времени и ресурсов, и поэтому есть какая-то приоритизация.

249: Которая делается экспертно. Иногда вы как продакт принимаете решение что-то тупо не делать, потому чтобы сэкономить время или делать что-то раньше, чем другое. Хотя у вас нет достаточно доказательств. И вот это и есть экспертность, это тот опыт, который

250: Вы закладываете в свои продукты, принимая решения относительно них, поэтому продакт всегда отвечает за решение, вкладывая в это свой вкус и мнение за это же и будет ответственным в конечном результате.

251: И последний кусочек, где лмки могут быть полезны в каком-то тестированном в тестировании. То есть у вас уже есть какая-то штука, которая работает. И вы хотите понять, а классно это работает или нет, что такое классно? У вас есть какие-то бизнес метрики, наверное, деньги Зара.

252: Рабатывает, но деньги зарабатывать можно по разному. Можно зарабатывать 1000000. А ты такой думаешь, а почему не 10? Можно ли было заработать 10 и опять же, чатики? Вот неплохой чат, да, где посмотреть мой кэшбэк? Посмотреть на

253: Кэшбэк можно здесь даёте ссылку вроде норм, но пользователю нужно перейти по ссылке. Можно сделать тоже самое. По другому. Можно сразу ответить. Вы накопили 1000 баллов. У этих вариантов есть плюсы и минусы.

254: В там 1, возможно вам делать проще. И ещё вы научите клиента в следующий раз самостоятельно исполнять какие-то действия. Может быть на перспективу вы сэкономите какие-то деньги, но в моменте кто-то может написать, а че я вам пишу?

255: А вы мне ссылки раздаёте? Ну, можно нормально делать, а кто-то не стриггерится на это, вы не знаете. И 2 вариант вы делаете какую-то медвежью услугу. Ничему клиента не учите, но в моменте создаёте ему, возможно, кто-то этого ожидал. Вы удовлетво.

256: Ожидания. Честно говоря, выбор из этих штук, ну, сложный. Можно было бы, опять же, это обтестировали того, как вы выкатили что-то в бест. Вам придётся принимать решение, какой из этих вариантов вам, какому из этих вариантов следовать вашей модели?

257: Более длинный пример не пришёл бонус за приглашение друга мы видим несколько заявок. Приведи друга, он привёл 3 друзей, и мы спрашиваем, а по какому, по какой заявке вы хотите бонус? И клиент пишет все 3

258: Тогда бот отвечает по всем 3. Непонятно, надо было спросить или ответить сразу по всем, или ответить по 1, а потом пусть он доспрашивает в общем, у вас вы всегда, это вот уже управление продуктом, который работает на эмейле вам

259: Вы вносите туда свои гипотезы, свою приоритизацию, что вам кажется важнее и более правильным. Мы рассмотрели какие-то кейсы, и все звучит эмэль, эмэль, эмэль. Но прелесть в том,

260: Что раньше, если, когда вы делаете эмэль продукты, скорее всего, за эмэль отвечает эмэль, инженер, отдельная профессия, которая как-то выверяет, отдаёт вам какие-то метрики, вы говорите. Ну вот это классная метрика, это плохая. Теперь, когда вы используете этот эмэль для своей работы,

261: За эти метрики отвечаете, в том числе вы. Валидация это продуктовый навык, и он стал ближе. Он последний в цепочке работы Мали инженера и самый 1 в вашей продуктовой работе, чему стоит научиться

262: Здорово, что продукты любят метрики. Поэтому метрика это то, что вы будете оптимизировать. Вы, вы попробовали 1 способом. У вас есть ваши 50 примеров с правильными ответами. У вас получилось там точно 60. Попробовали другим.

263: Здорово. У вас же есть датасет, вы можете на нём увидеть метрику, понимать, она растёт или падает. Ну и как в продукте. Вы понимаете, когда можно остановиться, когда нет?

264: Давайте что-нибудь попробуем запомнить. Голды нужны всем. Контрольные задания нужны и для того, чтобы проверять людей, и для того, чтобы проверять ллм, потому что если вы это не сделаете, то будут все понимать, все.

265: По разному. Крайние кейсы решает продакт. Продакт транслирует таким образом мнение через вот эти инструкции, через тесты все не проверить. Надо как-то приоритизировать эти проверки и не все.

266: Что теперь делает мле? Давайте каждый участник процесса будет думать про валидацию. Спасибо.

267: Лиза, спасибо тебе огромное ну что же, руки в зале, хочу их увидеть сразу 2, ну ближайшие к микрофону сразу очень удобно. Прошу привет, какой эффект на discovery. В итоге я так понял, что эффект на автоматизацию есть, но как?

268: Менялось то, что получает команда, ну, разобрали вы больше скоуп, обращения получили, не знаю, лучшую кластеризацию, не эмелевская, классическими методами, а эмкой, а инсайты, скорость, не знаю, поставки. Скорость решения как-то поменялась, конечно, у вас

269: Увеличилась скорость discovery, то, что бы раньше читала команда неделю, теперь можно сделать лмкой за день, соответственно, трудно провести честный аб эксперимент смогли ли бы мы без анализа от приоритизировать гипотезы на чуйке так же, как

270: Это мы сделали с учётом данных, но получение данных стало быстрее. А как вы находите инсайты? Не только, ну, о проблемах, но и о чем-то, о чем? Ну, люди хотят, чего-то пишут, не знаю, не хватает. Вот такой-то фичи.

271: Как вы их находите? Также вы можете брать из данных, из чата, можете общаться с пользователем, можете у них делать формы обратной связи. Продуктовая работа никуда не делась, она просто ускорилась. Нет, я имею ввиду, каналы уже есть, они пишут, как вы, именно вы.

272: То, что раньше не ложилось в обычную классификацию. Че у вас отдельный агент, который ищет то, что не легло в типичные тематики. Да, да, просто у нас всегда есть какой-то мониторинг обращения, они кластеризуются, если появляется новый большой

273: Cluster. Мы получаем из этого алерты какой-то регулярный процесс. Инсайт может быть не кластером, он может быть уникальным 1, но его важно именно выцепить. Вот как вы это делаете. Если делаете не все расслышала, можешь повторить. Ну, inside, это редкость, это Наход

274: Может 1 человек написать на 1000, но это будет вот, ну, самое ценное, как вы это вычленяете, кластер, это, ну, математика, а если 1 написал, но это реально крутая идея, как её вычленить и довести до той команды, которая может её на неё обратить внимание.

275: Мне кажется, тут мы 2 задачи спутали в 1. У нас есть базовая задача утоление боли пользователей, когда они пишут нам в поддержки со своими проблемами, и нам надо решать массовые проблемы, их автоматизировать, потому что основная ценность в этом экономия денег, бизнеса, и быстро

276: Ответ для пользователей, а есть 2 штука. Это в чат. Иногда пользователи пишут, типа ваш там продукт какой-то конкретный в накопительных счетах, чего-то там не хватает. Передайте команде ответственных, чтобы что-то это просто отдельная задача находить такие обраще.

277: Передавать их пользователям. Вы их ищите? Да, их в основном. Нам их передают сотрудники. Спасибо. Спасибо. Вижу сразу. Рука рядом. Ох, здесь много рук. Вот постараемся. Привет максимально спасибо за доклад.

278: Ты рассказала на слайде было про исследования. Расскажи, пожалуйста, какие исследования ты используешь? То есть это какой-то гибридный формат или это полностью синтетика? И, соответственно, какой эффект от таких исследований и какие риски и как их нивелируешь ты?

279: Pro интервью да ну я лично считаю, что подменять самих интервьюеров синтетикой как-то рановато задача вообще генерации синтетического юзера сложная. Типа нужно создать такой огромный контекст, чтобы этот юзер

280: Был похож на то, что у вас есть при этом такая же ловушка, когда вы занимаетесь какой-то там генерацией. Ну, какой-то эмэль штукой. Эмэль, это про то, чтобы находить закономерности. А вы воспроизведёте какого-нибудь среднего user?

281: Но опрашивать средних юзеров не очень интересно. Чаще всего вам интересно сделать так много интервью, чтобы найти какого-нибудь злобного уникального пользователя, которого вы бы не могли представить самостоятельно. И поэтому, ну, заменять юзеров на синтетических

282: Мне кажется, пока опасно. Я не представляю, как выйти из этого цикла. Ну, то есть сейчас вот твой пример в презентации используется какой-то гибридный, да, процесс или вообще не пользуешься. Я не говорила, что мы создаём юзеров.

283: Ты просто, ты говоришь с нормальным юзером, транскрибируешь его разговор и ищешь там инсайты. Ну окей. Ну я просто спросил. Вопрос был в том, что как бы есть 2 формата, когда мы проводим 2, 3 интервью и дальше это загоняем в ту же самую эмку, либо мы полностью синтезируем данные, и

284: И вопрос был в этом. Пользуетесь ли вы каким-то этим вариантом? И, соответственно, если пользуетесь, какой эффект, какие риски мы пользуемся вот там для ml моделей. Иногда мы хотим сгенерировать диалоги, которые будут в будущем. То есть, например, мы что-то поме.

285: Меняли ответы, и мы хотим проверить, как пользователи на это среагируют. Да, мы делаем такие тесты, но мы понимаем, что там оценка плюс минус километр. Часто бывает такое, что ты думаешь, что пользователи будут писать тебе 1, а они будут тебе ставить смайлики, про которые ты не подумал.

286: Угу. Большое спасибо. Я вижу на нашем подсмотров м экране, что время вышло, друзья, обязательно можно будет поймать Лизу после всех выступлений и задать ей все вопросы уже более кулуарно. Лиза, большое тебе спасибо за выступление.

287: И не тянем, не забываем про оценку. Напоминаю, у вас должно быть уже открыто прям же это окошечко, там сейчас появится предложение оценить доклад или уже появился. Обязательно это сделайте. Сейчас приглашаю к нам на сцену сразу следующего спикера. Дмитрий.

288: Michael дс. Продакт юнит, лит. Авито Дима, приглашаю тебя, очень ждём твоё выступление.

289: Кайф. Спасибо. Так, всем привет. Я Дима и я сегодня хочу поразгонять про то, как инженерный подход используется в продукте.

290: И почему профессия продукта эволюционирует в сторону собственно креатора и создателя от каких-то стадий, которые эта профессия прошла раньше? Скажите, а кто вообще здесь инженер?

291: Блин, кайф, я думал, что все инженеры на бауманской катаются в тазах.

292: Слышу смех людей из бауманки. Да, смотрите, я тоже своего рода инженер. Я правда, не из бауманки. Я закончил физтех, и в этом смысле мне очень близок инженерный подход к тому, что

293: Я создаю в своей обычной работе. Соответственно, если посмотреть на эволюцию профессии продукт менеджера, она трансформировалась от бренд менеджера, который придумали ребята из procter and gamble, и дошла до

294: Эти пиэмы, которые мы обсуждаем сейчас, соответственно, те стадии, которые были пройдены все больше и больше, приближали продакт менеджера к тем инструментам и тем профессиям, которыми создаются продуктов.

295: Ценность. Ну вот как в предыдущем докладе, сказала Лиза, что теперь разметка это не удел мле, что для меня вообще супер радостно и ребята могут решать что-то более сложное. И продукт менеджер все ближе.

296: И ближе становится к технологии, а соответственно искусственный интеллект все проще и проще делает возможность входа в эту технологию.

297: И можно посмотреть, собственно, на 3 стадии софтверной разработки, когда сначала люди буквально алгоритмически решали какие-то задачи и

298: И дата дривен. Подхода было довольно мало, после чего родился эджайл, продуктовая аналитика, и все выводы продукты начали делать на данных, соответственно, смотреть.

299: На какие-то инсайты, которые они получают от пользователей. А сейчас кажется, что все двигается в сторону того, чтобы не просто менять поведение продукта на данных с каждой следующей итерацией, а буквально проек.

300: Тировать продукты таким образом, чтобы контекст, который отдаёт в этот продукт, пользователь менял его поведение. И для того, чтобы проектировать такие системы, и нужен инженерный подход. Соответ

301: Соответственно, очень важно, что сейчас, с 1 стороны, стоимость каждой следующей операции упала ещё сильнее, и там продукты могут позволить себе очень много эксперимент.

302: Тировать и проверять. С другой стороны, у нас, я не написал этот кейс авито, но порассказываю больше, наверное, про нас. Соответственно, в западных компаниях, наверное, это началось чуть раньше у

303: Агент во всех чатах слака, общий на всю компанию, который держит единый контекст и позволяет всем работать в 1 инфополе. У нас вместо слака матермоста. Вот когда я работал в Сбере, там тоже был маттермостом.

304: Что он близок и у нас большой фокус как раз делается на общий продукта. Чуть дальше поговорим. Соответственно, в моей голове это означает, что

305: Роли не исчезают, а скорее вот эта мембрана, которая находится между ними, она пропускает все больше и уже недостаточно уважаема. Если, ну, то есть раньше от продукта требовали знания эскюэл, не знаю.

306: Спрашивали иногда на собесах. Сейчас не очень уважаемо. Если продукт не может создать кусочек кода. И 2 Дно в этой уважаемости на самом деле лежит в том, чтобы продукт мог ещё объяснить, что это за код, как он экз.

307: И почему он именно такой просто потому, что иначе кодовая база превращается в кодовую базу, разобраться в ней невозможно, и вся команда страдает.

308: Соответственно, в этом смысле не обязательно быть программистом, не знаю, проходить алгоритмические секции и все такое, но супер важно хотя бы крупноблочно понимать энту систему и понимать,

309: Те правила, по которым она работает, уметь эти правила задавать и фреймить её на тот результат, который нужен.

310: Соответственно, здесь, как мне кажется, наиболее важные качества, которые мы, в том числе, ищем в продуктах, которые работают в авито. Это понятно, что эти качества, они

311: Подкрепляются, в том числе использованием эая, и ты вряд ли будешь обладать всем этим на том же уровне, на котором это могут делать софтвер девелопмент.

312: И эмэль, но при этом очень важно, чтобы если искусственный интеллект тебе дал какой-то кусочек информации, ты мог объяснить, как он работает и почему он именно такой и в этом плане кажется,

313: Критическое мышление это там 6, ненаписанная, самая главная для меня мышца, которую развивает в себе продукт.

314: И здесь очень важно, что как раз про артефакты и умение с ними работать, что продукт менеджер для меня и там для моей команды сейчас это человек, который не просто

315: Даже не так. Вся команда, которая работает в продукте сейчас, это не просто люди, которые, типа, пишут какие-то кусочки кода, выдают итерационно какой-то велью. Это люди, которые создают на самом деле огромное количество артефактов и

316: И в эпоху иай эти артефакты только увеличиваются в цене просто потому, что они создают тот самый дополнительный контекст, и очень важно, чтобы продукт менеджер не просто мог рассказать какое-то своё видение.

317: И там оформить его в красивые слайды, а на самом деле создать вот этот набор артефактов, на основе которых дальше ведётся вся разработка и тестирование.

318: Вот, и на самом деле идея в том, что

319: Продакт, менеджер, это там не только стратег, который может сказать, куда уйдёт продукт, но и это человек, который непосредственно своими руками участвует в создании этого продукта и может

320: Закрывать какие-то, возможно не самые сложные задачи. Ну то есть вряд ли он там напишет хайлоуд поиск или рекомендательную систему, но как минимум он может задизайнить механизмы, посчитать аналитику.

321: И перепроверить сам себя и команду, внося вот тот самый креатив, потому что кажется, что просто написать продуктовые требования уже недостаточно. Это в целом может сделать.

322: От продукта нужно нечто большее, и здесь, как мне кажется, очень важно пользоваться теорией решения инженерных задач и уметь ставить

323: Продуктовую проблему как инженерную задачу, соответственно, смотреть на трейдоффы. И здесь очень важно, что смотреть на трейдоффы нужно не только с точки зрения размена 1 метрики.

324: На другую или 1 правила на другое. А так что когда тебе дают выбирать между 2 стульчиками, возможно выбирать не надо. И нужно подумать о том, как перестроить все механизмы и всю систему, чтобы этот выбор ушёл. И вот

325: Мы часто в команде спорим по поводу разных трейдофф в. И иногда мы приходим к мнению, что на самом деле мы все неправы, и тот механизм, который мы создаём, просто должен работать совсем по другому.

326: 2, наверное, очень важное свойство. Это что нужно в 1 очередь не пытаться встроить какую-то технологию или какой-то вот какую-то

327: Шестерёнку в механизм ради её наличия, а думать про конечный результат. И думая про конечный результат, ты скорее понимаешь, как выглядит фидбэк клуб в твоей системе, какие там есть ограничения и

328: Что нужно предусмотреть из механизмов, чтобы эту систему просто не сломать?

329: Соответственно, очень важно, что когда вот эта система спроектирована и набор механизмов более менее понятен, необходимо сформулировать какие-то правила, по которым мы понимаем, что система

330: Работает корректно. И здесь огромную роль играет тот самый пресловутый вал и фидбэк клуб. И это, наверное, то, о чем как раз говорили до меня, что продукт менеджер это архитектор, который в проекте

331: Метрик и правил, по которым работает система, принимает самое большое и важное участие.

332: И как раз за счёт этого происходит переход от фичи дизайна и feature ориентированной команды к механизм дизайну в целом дизайн механизмов это же экономическая, это часть теории игр, которая

333: Изучает, как правильно построить систему, где все агенты эгоистично себя ведут так, чтобы она вела себя рационально и приводила к нужному результату. И как раз идея в том, что продуктовые команды фичи тимы больше не создают какой-то

334: Отдельный экран, который отдельно можно катнуть в продакшн, и это было бы конечным результатом. Они скорее создают вот эту полноценную систему и набор правил, и именно это называется работающим продуктом.

335: Здесь че важно, что эта система и набор правил не состоит из 1 промта. То есть, типа, часто я вижу некоторые иллюзии, что продукты пытаются вложить все правило в

336: Но и думает, что система таким образом заработает это скорее не так. И система декомпозируется на кучу разных составляющих, они есть на слайде, и очень важно про них не забывать.

337: И вот здесь опять кусочек того самого механизма дизайна, что когда проектируется такой механизм, такая система, в которой есть лэлэка и другие агенты, нужно придумать.

338: И спроектировать такой набор правил, в котором ллм, как независимый агент, ведёт пользователя к конечному правильному результату, и там всякие Тулы, горды и все остальное как

339: Как раз нужны для того, чтобы очертить рамку для этого агента и постараться сделать так, чтобы результат был достижим.

340: Соответственно, продукты больше не проектируют интерфейс, они проектируют правила взаимодействия, эти правила взаимодействия.

341: Идеально начинать с каких-то простых механизмов. Мы начинаем это с классического эмэля и только потом идём в лмки. Но важно помнить, что, лм, как такая общепринятая технология будет

342: Фактически во всех продуктах. И поэтому каждый продукт эволюционирует в сторону дизайна механизмов. У меня все. Спасибо. Блин, моя главная задача сегодня постоять рядом красиво с каждым спикером. Вот.

343: Спасибо тебе большое. Да, давайте вопросы, если можно, побыстрее, чтобы мы успели тоже спросить остальных.

344: Так, сейчас нам там помогут совсем все. Супер.

345: Как дела? Пока небольшой small talk на сцене да а, нет, все равно, ну хочешь, давай я со своим подойду, только быстро оп да, спасибо за доклад. В авито всегда была высокая продуктовая культура, подскажи, пожалуйста.

346: У вас агенты сейчас уже на всех уровнях, и если да, то как вы оцифровываете именно стратегию, как часто её пересматриваете, или все-таки продуктовые комитеты, Ван пейджеры за людьми и оценка за людьми. Агенты, ну, может быть, как-то подсказывают, но все равно вижн он где-то

347: Не оцифрованная в головах Топов. Да, у нас в этом смысле действительно все оцифровано, и каждый продукт должен проходить через какие-то гейты, там, pr ди и все остальное, и

348: Агенты есть скорее на всех уровнях компании, то есть у нас есть и внутренние системы, которые по mcp подключены к разным источникам данных, и это очень сильно помогает, скорее.

349: При написании каждого следующего документа учитывать полный стратегический контекст компании скорее нет такого, что он там в голове у какого-то executive менеджмента, он за счёт распространения агентов и агентских

350: Сценариев становится доступен всем. Единственная большая проблема, с которой мы сталкиваемся. Это что, развитие вот этих агентов в командах, оно не общее для всех.

351: А скорее каждая команда делает какой-то набор инструментов для себя. Наверное, на 1 этапе мы думаем, что это неплохо, потому что такие инструменты начинают конкурировать, и ты начинаешь понимать там, что лучше работает, что хуже, но в какой-то момент это скорее должно прийти, как мне кажется, к

352: Почему-то более централизованному, чтобы просто лучшие практики вырабатывались.

353: Спасибо. Так, ещё вопросы в зале, друзья. Так, рук здесь нету. Есть в онлайне. Не волнуйся. Там даже такой комментарий. Мне кажется, он относительно халиварный, но прежде чем я его зачитаю, друзья, оценка доклада дело рук ваших прямо сейчас.

354: Сейчас сканируем QR-код, поднимаем телефончики вот смотри какой есть вопрос комментарий секунду он у меня подгрузится, я тебе озвучу ключевой скилл продакта это повышение бизнес ценности продукта, умение скреативить на основе метр.

355: И гипотез, дальнейшее развитие продукта для повышения. Не надо мешать продакта с аналитиком, там написано продукты, но я думаю, что мы понимаем, что продукты, вот я не думаю, что, ну, во первых, я думаю, что

356: Ключевая ценность аналитика тоже в том, чтобы качать бизнес. Наверное, ни 1 бизнес не скажет, что аналитик ему нужен для того, чтобы че то считать как калькулятор. Во вторых, из этого следует, что все Роли в команде внутри бизнеса, ну, направле,

357: Собственно, на повышение этого бизнес велью. И 3 утверждение, что в высокотехнологичных продуктах, там, в big техах, это бизнес велью от технологии неотделимо. Ну, собственно, в этом идея этих компаний.

358: И поэтому мне кажется, что здесь нет какого-то игнорирования бизнес ценности. Здесь скорее то, что я транслирую, это новый подход.

359: Тому, чтобы эту бизнес ценность получать. Угу. Спасибо. И завершающее вижу, у нас осталось буквально 20 секунд. С какими проблемами столкнулись в процессе раскатки подхода на всю организацию? У тебя есть 10 секунд на ответ с большими. Отлично. Спасибо большое.

360: Не, ну конечно, ну давай я раскрою. Ну, наверное, основное это.

361: Какие-то единые лучшие практики, вот их сейчас, скорее они, ну они только начинают зарождаться, и каждый использует инструменты по своему. Это может порождать

362: Там расхождение в выводах, даже несмотря на то, что они на каком-то общем контексте строятся. 2, это, наверное, ну я вижу иногда некоторый архаизм в использовании я инструментов и

363: И здесь люди могут 1 раз попробовать. Ну у меня на самом деле тоже такое было. Я попробовал чат gpt, посмотрел, че оно мне выдало, подумал, что типа какие, какие странные люди считаютчто?

364: Он меня заменит и пошёл заниматься своими делами. В какой-то момент через месяц вернулся, увидел, что модельки эволюционировали. Понял, что, наверное, отставать не стоит. Вот какой-то такой скепсис у людей, мне кажется, все равно сохраняется, и его нужно преодолевать, и такие

365: Мероприятия в этом помогают. Спасибо. Приятно слышать. Спасибо тебе большое за выступление. Опять же не будем тянуть, друзья, надеюсь, вы все поставили оценку. Приглашаю сюда нашего завершающего спикера. И вот он будет из Сбера. Леонид Шашков, CPO профтех.

366: Леонид, ждём тебя на сцене.

367: Вот, вот, продуктовый кофе, рейв, вот такие у нас же, у нас же рейв, правильно? Надо и потанцевать немного. Друзья, всех приветствую. Очень рад на самом деле, что вы в воскресенье пришли сюда.

368: Ага, да, давайте попробуем вот так, все, у меня 13 минут и примерно 30 слайдов. Я, честно, не знаю, как я буду это все рассказывать, но давайте попытаемся. Итак, тема, команда, работающая с искусственным интеллектом, друзья,

369: Про людей, несмотря на то, что в сфере проп теха, вот и хочу с вами поделиться в начале расскажу про себя, представлюсь, кто я такой, и поговорим немножко про людей. Я на самом деле уже больше 10 лет внедряю различные продуктовые сервисы и трансформирую сферы. Вот.

370: У меня большой опыт в айти айти бэкграунд и сейчас в продуктовке работаю как CPO на самом деле, помимо того, что я беру и что-то забираю от работы, от мира себе я стараюсь ещё и отдавать, поэтому преподаю в различных.

371: Университетах рассказываю коллегам и людям в сфере руководителям и различным продукт менеджерам про то, как ii может трансформировать ваше сознание и вас. Вот. И это на самом деле, ну моя такая отдача в мир. Мне кажется, что это супер важно делать, когда вы

372: Вы, ну, работаете в it сфере и, собственно, хотите поколение растить? Ну, давайте поговорим про команду. На самом деле, я вот буквально перед нашим выступлением прочитал 1 историю, говорят, что сейчас

373: Оценивают продуктов в кремниевой долине по тому, как они коммитят в гид, да, то есть сколько они пишут, кода, какие они там вкладывают решения и так далее. Это вот 1 история, которую я прочитал, a2 истории

374: Которую я прочитал. Это на самом деле то, что на собесах спрашивают, то, какие переписки вы ведёте с ассистентами, с ii ассистентами, с лэмками, с нейронками, да, клод открывают там, да, и говорят, покажи, че у тебя там в чатах, как ты с ним перепис.

375: Или кодекс вот это на самом деле какая-то новая история, и куда нас это ведёт, и как теперь оценивают. Ну вот предыдущий доклад Миши, мне кажется, как раз тоже продвигает нас к тому, что мы там идём в product engineering, и это точно меняет.

376: Сфер, но все это на самом деле заставляет нас, мне кажется, фрустрировать про то, куда меняется профессия и как мы должны в этой профессии меняться. Ну давайте так, кто переживает по поводу того, что их профессия, вот текущая там будет заменена искусственным

377: Интеллектом и что-то пойдёт не так, да, вот руки как небольшие руки есть, но вот сегодня, да, вот вижу коллег, на самом деле я тоже такой. То есть вполне себе че-нибудь может произойти и мне придётся идти бариста готовить кофе вместо того, чтобы

378: Чтоб заниматься развитием продуктов, я не исключаю, но я как-то философски к этому отношусь. Вот. В общем, мы имеем такие проблемы, у нас увеличивается скорость, у нас появляется большой страх того, что с нами будет, в том числе и

379: Собственно, разрыв между обучениями, которые нам предлагает рынок, и то, что есть на самом деле на рынке. Вот здесь важно тоже для себя это зафиксировать. Ну давайте разбираться, че нам говорит рынок, че нам говорят тренды, на самом деле, все, что у нас есть.

380: Это сейчас говорит о том, что обучение очень ускоряется, меняется. И, собственно, вот такие тренды от гугла тоже показывают, что обучение это уже непрерывный цикл, это не просто какие-то курсы, не просто там разовая история.

381: А это, в принципе, наше окружение, это наше, наш ландшафт. Вот. Поэтому с ним важно сейчас тоже правильно трансформироваться и правильно в эту струю как бы встроиться. Ну давайте разбираться. Вот я на своём примере расскажу 1 из девелоперов, застройщик.

382: В котором я тоже делал и трансформацию, они поступили следующим образом. Они взяли и встроили себе и ассистентов, и помощников в работу своих сотрудников. Ну просто кинули такие, типа, вот пользуйтесь, возьмите, берите.

383: Чтобы у вас там появилось теперь изменение в продуктовых процессах и в айтишке, и в каких-то там маркетинга и прочих сферах. И, собственно, что пошло не так, люди поняли, что решение не рабочее, они не понимают, как этим пользоваться. Они не знают, что с эти

384: Делать. И, собственно, вот получил ветку, да, и не знаешь, что с ней делать. Здесь как раз такая ситуация. Ну, на самом деле, чего не хватило. Трансформация культуры это на самом деле ещё и поиск тех людей, которые будут её

385: Top down двигать, да, то есть у нас нужны лидеры, у нас нужны такие эй, чемпионы или евангелисты, которые будут менять эту сферу, да, помогать трансформировать людей внутри коллектива, да, и это супер такая важная история. И как раз вот