0: Всем привет. Мы рады приветствовать вас на нашем 3 выпуске. Как вы помните, мы говорим про CPO и предыдущие 2 наших митапа с нашими гостями, которые вы можете посмотреть на нашем канале. На

1: RuTube были про то, кто такой CPO, какие бывают, наверное, модели управления, как у CPO, какие задачи он держит в голове, какие делегирует, как выстроить те самые системы и.

2: Мне кажется, таким эталонным примером, как работать с обратной связью, является сегодняшний наш митап, потому что мы слушали, слушали, слушали и читали ваши комментарии, вашу обратную связь. Мы слышали историю.

3: Ваши предложения по следующим темам митапа мы максимально откладывали, насколько мы могли эту тему, но мы рады приветствовать вас на 3 нашем митапе, который называется ai для CPO сегодня.

4: Проведу его вам его я. Меня зовут Максим Беляев. Я руковожу продуктовым офисом в Сбере. И сегодня со мной наши друзья, кто-то наши сотрудники, кто-то наши бывшие экс сотрудники, кто-то с нами работает. Но давайте начнём их представление.

5: 1 спикер наш гость сегодня Сергей Ершов, Серёжа x. CPO идют сейчас он сооснователь хаку ай, Серёж, привет, привет, привет всем привет. В принципе, ты мне.

6: Кажется, целиком практически меня представил да, сейчас действительно я сооснователь практики хако иай, мы по разному помогаем бизнесам внедрять искусственный интеллект до этого у меня был опыт почти 4 года CPO в Сбере развивали платформу.

7: Виктория может быть кто-то про неё помнит, это был образовательный маркетплейс для курсов класс, если кто-то про Серёжу узнал вспомнил передавайте ему привет в обратной связи QR-код как всегда будет появляться в трансляции там.

8: Вы можете задать вопросы, которые мы постараемся обязательно обсудить, и даже если не обсудим, то вернёмся с ответом после нашего митапа. Следующий наш гость сегодня это Андрей Потапов. Андрей, наш местный сберовец, да, свой

9: Да, division, маркетинга киб, исполнительный директор. Андрей, привет. Да, всем привет. Привет, Макс. Спасибо. То, что пригласил на митап. Я в Сбере управляю продуктами контент маркетинга. У нас есть несколько сайтов. Это Сбер точка про Сбер.

10: Бизнес точка live. Мы продвигаем различные продукты Сбера для аудитории b2b плюс choir продукт это бизнес контент платформа, на которой крутится весь наш контент. Ну и, собственно, внедряем различные механики для

11: Управление контентом класс. Интересно, есть ли у нас счётчик сегодня, чтобы засекать количество повторений? Эйай, но это было бы очень интересно. Потом мы обязательно транскрибируем и поделимся со всеми интере.

12: Со всеми заинтересованными этим количеством. Ну и 4 наш гость сегодня 3 гость, наверное, 4 участник Сергей Паращенко. Это управляющий партнёр продакт вижн. Серёжа, привет. Да, привет. Спасибо большое, что пригласили, да.

13: Меня зовут Сергей, и у меня больше 12 лет уже продуктового опыта. Я тут недавно только осознал, что 12 лет уже с лишним, уже 13 год пошёл такого прям осознанного и больше 4 лет уже в ii будем.

14: Рушить статистику, да, уже больше 3 лет в ii и в рамках там предиктивных разных моделей генерации контента и образовательной части, а дальше, естественно, все это перекладывалось на автоматизацию, автономизацию, агентные структуры, то забегаю.

15: Уже сразу то, про что мы сегодня будем говорить наверное все вводные даны. Давайте я напомню ещё раз. Если вы хотите задать свой вопрос, будет появляться периодически QR-код и наши каналы доступны. Любой способ коммуникации, где вы может

16: Дотянуться. Мы зададим этот вопрос. Обратную связь тоже будем вас запрашивать, чтобы обсудить следующую нашу тему. Митапа. Поехали я для CPO. Ребят, давайте начнём сначала. Вот знаете, мне кажется, сейчас очень, очень много контента выходит

17: Все говорят про i. Мне хочется, наверное, сегодня поговорить про ваш опыт в плане прям вот прикладной, ну то есть давайте постараемся быть без теории, вот больших там терминов, все, все видосы обучающие и так далее. Вот.

18: Был. Вот Серёжа был 4 года назад, был Серёжа Безай, стал сай. Вот расскажите, как в целом сейчас поменялся ваш, наверное, можно на примере 1 там дня рабочего, личного и так далее. Где сейчас

19: Вас саппортит какие, может быть задачи выполняет у нас открытый микрофон, поэтому вот кто как хочет начать, так и начинаем. Ну, я могу, наверное, начать. Ты знаешь, я в какой-то момент пришёл к такой

20: К некоторому выводу, что если ты начинаешь строить разного рода там процессы или продукты на базе иай, тебе на самом деле надо самому стать таким i native, человеком. И в какой-то момент знаешь такой вот

21: В мозге такой пришёл щелчок, в рамках которого ты, когда у тебя встаёт любая задача, ты сначала 1 сразу же думаешь так, а как я могу решить это с помощью ai? То есть то есть это такое мышление, то есть я пойду делать, я не думаю над за

22: Задачи, я такой, ну как бы понятно, на задачу. Думаешь, ты её декомпозируешь, но ты сразу её знаешь, декомпозируешь как архитектор последующего какого-то агента, который в дальнейшем будет эту задачу делать. И я вот не так давно, кстати, вот рефлексировал как раз-таки на эту тему, что вот мышление поменялось, то есть ты

23: Уже как бы очень мало что делаешь своими руками. У тебя роль проверяющего, у тебя роль постановщика задачи, и у тебя роль вот правильной вот этой вот декомпозиции, контроля декомпозиции, задачи и, ну, принятия результата. И это, знаешь, такая некоторая роль.

24: Архитектора внутреннего появляется и она как бы все жёстче и жёстче, как это начинает быть на 1 плане, нежели там роль исполнителя какого-то даже там роль руководи, ну как бы роль руководителя есть, она многогранна там и так далее. Но вот роль архитектора становится прям выхо.

25: На 1 план, да, мне кажется, знаешь, я бы тебя даже дополнил, как будто бы, если вот смотреть на эволюцию, если раньше нужно было какой-то материал, там, типа, изучить, нагуглить и так далее. Потом, кажется, появился такой паттерн, что

26: Про нетворкинг типа, а спроси, у кого это получается, как это работает то вот сейчас эта история типа ai, но в какой Роли он должен быть, чтобы тебе помочь и ты действительно проектируешь эти сервисы? Окей, ребят, как у вас? Да, слушай, у меня

27: Не было щелчка какого-то, мне кажется, очень плавно и нативно я вошёл в мою жизнь, и я вот сейчас задумался относительно твоего вопроса и понимаю то, что, а у меня в целом день начинается с, у меня, если раньше вот лук был открыт,

28: Да, то сейчас это queen дипси зияй, сейчас вышел другие какие-то инструменты, и уже даже не то, что ты думаешь, что сделать с помощью, а ты сразу идёшь.

29: Туда. Да, и здесь, мне кажется, паттерн, он эволюционирует. Если раньше я там, условно говоря, просто промт писал, да, потом я такой думаю, а может быть, обратный промт, чтобы иишка у тебя спрашивала наводящую

30: Вопросы. Потом я перешёл к метапром, там напиши мне промт для того, чтобы я сделал такую-то задачу, да, ну и все, я дальше отвлекаюсь на какую-то свою работу, прихожу, у меня промт готов, я вставляю свои параметры.

31: Он не отвечает и вот кажется, что d people ну диджитал да, они все постепенно становятся янет пипл и видимо, тут.

32: Ну вот как я сказал, нету такого, что щелчок какой-то перейдёт. Нам просто всем необходимо это знание. Необходим этот скилл, а те, у кого его не будет. Ну, к сожалению, наверное, они будут чем-то другим заниматься, да, а мы вот продолжим развивать эти навыки.

33: И в какой-то момент это как раньше, ну бухгалтер без знания экселя был. Ну, короче, чувак, если ты формулы не знаешь, то что-то не то. Вот. И также, когда пио аналитики си пио будут без знания ai, да.

34: Пром. Инжиниринга да, файнтюна модели, то, наверное, это будет какая-то другая градация. Окей, вот ты сказал, что у тебя был открыт аутлук, сейчас открыты, там несколь

35: Сколько разных, а инструментов? А зачем? Ну, типа, что, что упоминал, они тебе почту? Нет, смотри, аутлук, я как пример, сказал, он у меня на самом деле до сих пор открыт, и это моя

36: Мечта, чтобы был агент, который разбирал тее 1000 писем, которые ко мне приходят. Но, соответственно, рабочие письма, они сенситив, какую-то информацию содержат, поэтому я не могу их доверить, да, а в целом, если личная переписка, то

37: Ну, вполне, но, к сожалению, или к счастью, личной переписки у меня не так много, я её сам руками могу разбирать. Вот. Ну да, я понял. Да, это просто скорее, что сейчас день начинается не с кофе.

38: День начинается, да, что там происходит? Окей, Сергей, как у тебя? Ну, мы не совсем обременены тем, что у нас есть какие-то корпоративные данные или ещё что-то. Поэтому мы счастливчик, на всю катушку используем. Вот. И, наверное, чуть чуть пошли.

39: Дальше в плане того, что огромное количество там информации за предыдущий день, надо как-то сжать, дистиллировать в какой-то брифинг для тебя с утра и вот там построили для себя такую штуку, которая там в html верстает брифинг для

40: Сотрудника фокус дня. Основные задачи, на которые нужно обратить внимание. Основные, которые нужно сделать, просто подумать идеи, то есть там заструктурированная лы. И это все собирается прям из там, амсим, из почты, из телеграмма, из там

41: На google, то есть всех источников, где можно оставить какой-то след взаимодействия между собой, либо с клиентом и вот такую штуку там на себе обкатываем, она прям понятно, она не идеальная пока, но она в целом уже сильно снизила когнитивную нагрузку. Вот это с утра сесть. Так, а с чего?

42: Начать, да, как бы есть какие-то задачи в почте, в telegram, что-то ты сделал себе в таск трекере, ты пытаешься как-то вот пожонглировать этими всеми историями. Теперь не надо, у тебя есть как бы 1 страничка с утра за кофе её полистал, но из интересного, из каких-то вещей, которые

43: При этом кажутся смешными. Это вот там он анализирует теллеграм за предыдущий день. Это много переписки. Во первых, мне пришлось удалиться из всех домашних чатов, потому что когда я посмотрел анализ своего telegram, там было

44: 10% сетевых и 90%. Это сообщения, которые в домашнем чате происходили. Я написал всем, простите, я зайду с другого аккаунта, который не парсится, и агентом. Вот. И 2, это чтобы быстрее лмка находила вещи, на которые нужно

45: Обратить внимание в диалоге я теперь помечаю там это тз для и агента прям сообщением в telegram и сделал это на горячую клавишу в telegram есть горячая клавиша по слэшу, вот соответственно теперь в диалоге, когда я понимаю, что диалог надо точно про него.

46: Не забыть, и чтобы он оказался завтра прям 1 в моём фокусе дня прям ставишь слэш, энтер, человеку отправляется. Некоторые удивляются, что это такое. Я говорю, это как бы закладка под агента оон ночью пойдёт работать, чтобы он быстрее, как бы понял, что вот эту часть диалога надо как бы в 1 очередь, завтр.

47: Мне вынести вот это прям, ну, такие вещи, кажется, сильно ускоряющие, но насколько человек ленив, это, ну, то есть, вот я сейчас там, не знаю, в договор прислали договор, говорят, вставьте только свои реквизиты, больше ничего делать не надо, я не

48: Открываю его, чтобы поставить туда. Я кидаю в коворк тексте со своими реквизитами и договор, говорю, вставь, пожалуйста, реквизиты и там Иду, что-то делаю. Казалось бы, задача, наверное, быстрее сделать руками по времени, но насколько как бы привыкаешь к Такому

49: Уже формату действий, что ленишься даже ставить там 5 строчек текста в конце договора. То есть вот такая, наверное, трансформация, я её за собой замечаю, кайф, собрались или не выжили. Ну давай я поддержу, что когда, ну, у меня просто тоже

50: Настроено, что у меня каждое утро в 9 утра приходит прям список задач на сегодня. При этом для контекста список задач на неделю, чтобы я мог как-то управлять список встреч на сегодняшний день, какие-то там основные штуки, которые тянутся давно, их надо закрыть уже и так далее. И ты такой

51: С утра просыпаешься ты, если просто я помню реально, ты, рааньш, такой с утра смотришь в календарь, ты смотришь заметки, ты смотришь таск, трекеры, ещё что-то. Сейчас то у тебя все в 1 сразу же приходит. И такой, о, замечательно. Вот. А ещё самое главное, если не приходит такой о, сервак упал, надо поднять.

52: Смотри, у вас 2 очень похожих, но с другой стороны разных подхода, да, тебе в телегу приходит, да? Ну, в чат. А у тебя лендос собирается, да? То есть ты, он для тебя или для твоей команды сделан, вот этот

53: Лендинг, он у всех визуально по форме одинаковый, но содержание там, естественно, у каждого своё, в зависимости от того, у кого какие задачи, почему мы пошли в историю с лендингом. Просто не знаю, мы визуал, я лично визуал, у меня какой-то очень высокий уровень треб.

54: К визуалу. Я вот не люблю, когда в telegram длинное сообщение, там где-то единички, где-то длинные, тире, где-то короткие пытаются, как бы заструктурированная массив информации. Вот в формате телеграмма мне просто как бы, ну, не очень это нравится, поэтому там html, генери.

55: Это копейки по сравнению со всем остальным и по времени, и по деньгам. Окей, а если вот мы сейчас как-то это затронули, действительно там и личные, и какие-то рабочие вопросы, если говорить сейчас про типизацию задач,

56: То есть вот расскажите немного про логику, как вы понимаете, что вот это, эту штуку, кажется, надо отдать на откуп? Эй, а вот эту, кажется, что можно и вручную. Вот ты сказал, например, Серёж, про пример с заполнением реквизитов.

57: Окей, лениво. Но, может быть, есть типы задач, которые, типа, пока нет, пока, типа, не доверяем или какие-то наоборот, вот эти, если я вижу повторяемость, это должна быть какая-то, не знаю, там, типа регулярная, либо, может быть где-то нужна

58: Там точность и внимания может быть наоборот, где-то точность и внимание должна остаться за человеческим фактором. То есть вот сейчас у нас точно сидят слушатели, которые такие, ой, опять начали про свою вот эту вот полную автономизацию и автоматизацию. Про это мы тоже сегодня поговорим.

59: Рассказывать мне то, че делать? Ну вот у меня есть задачи, как я должен сейчас взглянуть? Ну то есть, окей, я записал список задач. И как я могу определить, какие вы отдаёте, какие нет на откуп. Смотри, ты уже отметил то, что повторяемость, да?

60: Я экспертно определяю, какое количество времени мне потребуется, чтобы самому сделать или если делегируешь задачу, то какое количество человек необходимо подключить, сколько времени. И вот я все чаще замечаю, что

61: Сейчас качество уходит на 2 план, а скорость она превосходит, как бы, и ты. Ну, по крайней мере, я готов получить какой-то результат здесь и сейчас, да, для того, чтобы на его основе что-то лучше, сде.

62: Чем получить вот супер качественный, ну, там, через неделю, условно говоря. Ну и, соответственно, 2 параметра, как часто повторяется и как долго это, ну, делать самому, или. Угу. Делать команде, я бы добавил сюда историю.

63: Какой риск при ошибке? Ну то есть, чем ты рискуешь, если придёт ошибка? Ну, например, у нас там есть процесс, там мы себе выстроили. Мы поняли, что у нас там процесс, например, генерации коммерческих предложений занимает какое-то количество часов. При этом есть предложения, где нужно думать.

64: Ну, прям вот продумывать и так далее. Они такие кастомные, а есть довольно типовые, когда нужно, по сути, из там текущего ассортимента, ну, как бы, что-то собрать под запрос. И, естественно, кажется, можно это переложить, там, сделать, там мультиагентную систему, собственно, там сборка запроса, собственно, проработка.

65: Решение прайсинг, подбор команды ну, в общем, все это можно при правильном построении, но base как бы все, все делается. Вот, но все равно мы, например, итоговую отправку клиенту туда не добавляем, то есть мы не отдаём это клиенту, потому что мы понимаем, что если вдруг там опечатка оши,

66: И так далее. Уровень как бы, риска репутационного, там, финансового и так далее. Он довольно высок. И вот в те моменты, которые, как бы есть частотность, есть действительно, там скорость исполнения той или иной задачи, то есть можно себе прям, как знаете, как это матрицу приватизации в каких-то процессов сделать таким образом, и

67: Риск, то есть какой уровень риска в случае того, если что-то пойдёт не так, вот, если риск высокий, то, ну, не передавать. Окей. Наверное, ещё есть параметр количества принятий собственных решений экспертных. Вот в процессе мне очень понравилось, как

68: Серёжа говорит, что каждый из нас становится архитектором решения, как бы, что можно отдавать лмки, что нет, в каком объёме, с каким уровнем там риска и ошибки. То есть вот эта вот визуализация, он когда говорил, я сразу представил, что примерно точно также, вот когда там есть задача, сразу на какие-то кубики раскладываешь и

69: И мне кажется что вот таким образом и становится понятно что можно отдавать что нет где как бы ты знаешь что не знаю твоя экспертиза не описанная в каком-то txt файлике она вот реально берётся из твоей головы и ты когда будешь читать будешь понимать что ты сейчас

70: Принимаешь решение на основе собственного опыта, который нигде у тебя не зафиксирован. Как бы попробуй зафиксировать, прогнать. 2 раз получится так, как ты хотел или нет. Значит, как бы можно автоматизировать иногда вот это сгрузить контекст сильно до

71: Больше, чем там сделать правку, да, но вопрос повторяемости. Если ты так делаешь часто, то проще 1 раз сгрузить. А если ты делаешь сейчас 1 раз и не уверен, что будет повторяться, может проще как бы и не описывать вот этот харнесс навсегда. А как бы 1 раз просто поправить, отправить.

72: И забыть. То есть тут очень, мне кажется, все мобильные эти сценарии каждый раз, да, и здесь просто в дополнение к тебе сразу хочу сказать, что именно поэтому очень важно начать собирать собственную базу знаний. Такой кнолидж Бейс контекста, куда, если что, потом

73: Агенты могут ходить и забирать этот контекст, потому что иногда у тебя больше всего времени может занять, задать правильный контекст. Даже задачу можешь сформулировать быстро, но ты понимаешь, что для того, чтобы агент решил ту или иную задачу, там правильно, с должным уровнем качества, тебе нужно там отсюда достать, отсюда достать там что-то найти и так далее.

74: И поэтому тебе важно выстроить вот именно саму, ну как, как и данные в основе любого, и как бы, лежит, как бы данные и качество данных. И вот, вот эту всю систему с данными построить, это может занять, мне кажется, 80% времени в целом при работе с аем, вот потом ещё другие.

75: 80% времени это планирование задачи и 20% уже исполнение, но зато все будет очень хорошо, как будто больше 100% получается. Ну ладно, это как обычно, у тебя как есть первые 80%, вторые 80%, да, это, это как раз немножко

76: Фантазировали. Ладно, я, в общем, тут вам немножко наврал. Про задавать вопросы. Задавать вопросы надо в комментариях, поэтому мы ждём ваших вопросов. А пока давайте попробуем плавно перейти к теме, все-таки связанной с

77: Продуктовой, раз уж у нас для CPO. И вот мне кажется, что здесь можно посмотреть в 2 разрезах эту историю 1, что можно поменять, наверное, в жизни CPO вот прям конкретно этой Роли, или

78: Может быть, что CPO должен поменять в жизни своих хэд пио и иже с ним вот этих вот ребят, как у вас, что вы видели? И вот хочется прям знаете, типа конкретные примеры типа от discovery отказались, потому

79: Потому что агенты уже там катим на надежду да верим мы от discovery отказались, но немного по другим причинам ладно, это шутка, смотри.

80: Вот сейчас почти все лмки, они в deep ресерч очень хорошо идут. И, ну, допустим, если мне что-то надо быстро очень проанализировать, мне даже агент не нужен. На самом деле, можно пойти в лмку, спросить, а ты знаешь, такой-то продукт или такой т.

81: Сайт, она пишет, да, знаю или нет, не знаю, если нет, не знаю, то, ну, давай, посмотри, че там есть. А потом можешь сказать, че мне надо сделать для того, чтобы, ну, в конкуренцию выйти, или там лучше сделать и относительно процесса диска.

82: Мне кажется, он сейчас очень сильно изменился. Если раньше, на proof of concept, уходило какое-то, ну просто неимоверное количество времени, то сейчас мы иногда за встречу этот пруф оф, концепт делаем, ну то есть мы собираемся там 4 человека и

83: Пока обсуждаем, 1 такой уже поворачивает ноутбук и говорит, вот смотрите, а если, ну там сайт будет выглядеть таким образом или приложение будет так, так работать. И понятно, что мы дальше это использовать как-то не можем. Ну, я имею ввиду, мы не можем из этого полноценный продукт.

84: Сделать сразу же, но вот та визуальная составляющая, про которую ты говорил, она очень хорошо работает. То есть пока ты команде объясняешь, что надо сделать, какого цвета кнопки, где это все должно быть расположено, какой там пользовательский путь за полчаса.

85: Времени клод код это делает или в геттере можно собрать. И в целом есть ещё 1 такой момент, когда, ну, часто говорят, слушай, да, невозможно. Да, и тут

86: У тебя есть аргумент, когда ты демонстрируешь, да, демонстрируешь, что это в целом возможно, понятно, что там качество достаточно низкое. Понятно, что надо очень много инвестировать ещё дополнительного времени для того, чтобы сделать хороший

87: Какой-то продукт, но тем не менее, это стирает вот ту грань, когда. Ой, мы поговорили, значит, надо идти там, в ресерч в discovery. Это займёт там несколько недель. Потом мы вернёмся, сядем вместе, опять вспомним, о чем мы говорили.

88: И вот это все схлапывается достаточно сильно. Класс у вас пример у меня есть. Я думал, с чего начать? С очень прикладного или с очень философского начну, с очень прикладного к нам 1

89: Компания приходила технологическая, оо ней точно все знают в России и говорят, хотим синтетических пользователей, чтобы они ходили как бы ux сценарий проходили. Вот, Вон там, смотрите, 1000000.

90: Статей и какие-то стартапы, которые получили на это деньги в западном мире. Можете повторить пожалуйста, вот на таком-то сценарии мы говорим, ну давайте попробуем разобраться в чем задача у вас как это выглядит и пришли к тому, что казалось

91: Задача достаточно понятная, детерминированная, как это оценивать? Но настолько как бы даже такая технологическая компания не готова к тому, чтобы это делать именно с точки зрения вот этого контекста, потому что у них написано, типа, есть 3 персоны, на которых нужно прогнат.

92: Этот ux сценарий, они там просто 20 лет, там айтишник, 20 лет, бабушка 55 лет, и там ещё кто-то 3. И вот если это просто загнать как бы в ллм, даже там с агентскими всякими сценариями получается, ну.

93: Откровенно, очень плохо, просто как бы там есть 2, 3 очевидных и 20 каких-то, ну просто ты на них смотришь, думаешь, как, как бы такое можно было сгенерировать и итеративно, итеративно стало понятно, что нужно очень чётко описывать, что

94: Что вот это за бабушка 55 лет. Какой у неё телефон? Как она пользуется там смартфоном, где она живёт? Насколько она там, digital native. Вот эти все вещи, они сильно влияют на то, как потом mk оценивает этот дизайн и становится постепенно лучше и

95: Вот, я просто очень много вижу, как сейчас генерируется там user старей или job старей. Просто вот с 1 промта сделай мне, пожалуйста, 10 джоб старей для этого продукта. Вот там весь инстаграм, простите, наверное, запрещено упоминать.

96: В общем, все соцсети пестрят вот этими сценариями и, ну как бы там это ужасная просто джоб стори и очень важно начать описывать, как вы их описывали до этого, вот попробовать как бы сделать какой-то свой шаблон там.

97: Что для вас в ней важно какие они должны быть, какие их не должно быть ни в коем случае, вот этот вот весь как бы контекст его нужно подготовить тогда да, как бы задача будет легко решаться а вот если вы просто там напишите сделать job stores для Сбербанк онлайна, для вот такой-то аудитории ну там будет скорее всег.

98: Либо супер очевидные вещи, либо, если ты попросишь, напиши неочевидных 10 джоб старей, будет отвратительные вещи. Но это очень близко к тому, что Серёжа говорил относительно того, что надо context всегда давать. Его должно быть достаточно много, чтобы

99: Ну, приемлемое качество какое-то получить, и он не всегда на старте очевиден, какой он должен быть. То есть ты вот этими итерациями понимаешь, чего тебе не хватает в системе, чтобы она выдавала то качество, которое ты ожидаешь. Слушай, я как человек с, у меня есть 1 из образований, это когнитивное

100: Психология. И мы очень много времени тратили на исследования, на интервью. И вот всю эту подноготную, когда я слышу про то, что будет симуляция синтетических пользователей, я, ну, у меня волос уже нет, в принципе, да, я уже не удивляюсь каким-то вещам, но

101: Тут же проблема в том, что сейчас мы немножко как бы в сторону уйдём, но просто здесь почему я неравнодушен к этому? Потому что у тебя, у каждого человека есть мало того, что как бы своя парадигма, свой взгляд на мир, свои паттерны поведенческие, своя нервная система, которая как-то устроена.

102: Там у тебя на самом деле, если ты берёшь как бы любое исследование, у тебя там 150 параметров, и они все индивидуальны каждому человеку, ты не можешь синтетически их сгенерировать, и у тебя пока что ни 1, ну ни 1 искусственный интеллект не может все это как бы правдоподобно сделать, чтобы он как бы исполь

103: Вот это все, у тебя нужен собственный мозг, мощный собственный мозг, чтобы, как бы это сделать. Понятное дело, что с точки зрения железа это возможно, но с точки зрения количества параметров, одновременно обрабатываемых в рамках контекстного окна, пока машины такого не умеют, потому что слишком много вещей влияют на принятие

104: Притом даже неосознанных 150 параметров. Это я минимум. Ну, в смысле, их больше, их больше, там же ещё комбинации. Да, конечно, конечно, комбинация у тебя, у тебя там какой-нибудь механизм защиты свой, ну, то есть у тебя уровень энергии в данный момент исследования свой

105: Там и так далее, там очень много всего. Я все, я прекращаю эту тему. Если возвращаться к вопросу, все-таки смотри, слоёв очень много применения. И тут можно долго говорить, что в целом у тебя как бы идёт построение такого

106: First продукт девелопмент, лайк лайф, сайкла и там солюшен девелопмент тоже сколько у тебя в целом все сколько же нам придётся переводить все англицизмы а, ну в общем, на любом этапе разработка продукта в.

107: Его жизненного цикла сейчас уже присутствуют i подходы, и как бы это глобальный тренд, притом он как на стороне продукта происходит со стороны бизнеса и продукта, и подходов, которые там так и на стороне девелопмента, да, то есть самой разработки.

108: Тестирование скорости, поставки интеграции в решение и так далее. То есть все меняется. То есть оно уже все другое. И ты, как, допустим, как CPO, ты должен понимать, как тебе вообще мало того, что, ну, на уровне

109: Стратегии, как тебе контекстно помогает собирать там и l эту историю, как оно тебе процессно помогает собирать в рамках работы всех команд, которые перед тобой, ну или там под тобой, рядом с тобой и так далее, как тебе быстрее, эффективнее собирать данные, на основании которых ты принимаешь те или иные решении.

110: И как тебе в целом выстраивать сами типы и Роли команд, которые у тебя работают, потому что у тебя сами команды становятся такие как бы human плюс и i. И это уже совершенно другие требования и к людям, и к компетенциям, по сути.

111: Давай, давай, яркий кейс, потому что здесь мы проговорили про discovery и конкретную часть типа мы можем пруф оф концепт быстро тестировать. Вот покажите, покажите, давай, давай в конкретику. Вот у вас есть рад.

112: Там как этот совещаний митингов, которые у вас происходят в рамках команды, собственно, какое-то время. И, ну, какие-то всегда есть потери от того, что кто то что-то не записал, кто то что-то не так понял, неправильно задачу услышал и так далее. Собственно как только туда приходит агент, там минимизируется количество поттер.

113: Автоматом назначаются правильные задачи, они начинают автоматом трёкаться, суммаризировать еобходимые договорённости, ставятся правильные договорённости на правильных людей и так далее, да, то есть никто больше про это особо не думает. Ну то есть это уже как бы в рамках процессной части, например, да, такой операционный уровень какой-то

114: Если мы говорим про там, там, то, что нам помогает стратегически, да, то есть есть агенты, которые там каждые 3, там, 6 часов, например, делают апдейт по новостям, по тому, что делают конкуренты, смотрят за изменением цен.

115: За изменением каких-то, у кого есть релизы, как бы на уровне там нашей страны, на уровне там западных аналогов или восточных аналогов и так далее. То есть, да, для того, чтобы как бы смотреть, а куда тренд в принципе идёт. И таким образом понимать, как мы быстро можем на те или иные изменения реагировать, потому что

116: Сейчас скорость поставки новых, как бы, знаете, вот раньше было раньше, было стыдно выводить продукты, если в нём нет багов, да, как был старый принцип. А сейчас, в целом, в тот момент, когда ты выпустил продукт, он уже устарел. Вот в момент релиза.

117: Он уже устарел, потому что скорость копирования тех или иных фичей становится колоссально быстрым и поэтому тебе нужно бежать как бы этот марафон и тебе поэтому нужно супер быстро реагировать, потому что ты можешь в какой-то момент, если ты вовремя не успел отреагировать.

118: Ты как бы можешь безбожно отстать и поэтому вот эта скорость реакции, которая опирается на данные, на насмотренность, там анализ конкурентов, анализ рынка, она тоже очень важна, потому что в какой-то момент ты знаешь, когда стратегическую волну пропустил, вовремя не отреагировал конкуренты. Супер.

119: Быстро убежали вперёд. И тебе либо очень дорого туда уже идти, потому что они там долю рынка начали отхватывать. У тебя там твои процессы не позволяют тебе быстро перестроить что-то. Ну, в общем, это становится супер важно. И, ну, это вот как раз вот история про, вот там мониторинг происходящего вокруг тоже, вот.

120: На уровне там стратегического влияния. Сергей, это хорошо. Мне кажется, это показатель успеха, когда ты вывел продукт, и он уже устарел. Иногда бывает так, когда ты ещё только проектируешь, а он уже устарел, да, а потом ты такой, нет, я все равно

121: Я говорю, я все равно доделаю и выпущу его. Я говорю про краевой случай, да, когда, даже когда мы выпустили продукт, как бы, и он ещё не устарел. Вот в момент выпуска он уже устарел. То есть даже в этом случае у меня есть прикладной кейсик.

122: Про синтетических респондентов, только про реальных. То есть я с обратной стороны могу рассказать на уровне экспериментов. Мы че сделали? Взяли лок айпиай, это апишка яндекс метрики, там сырые данные есть.

123: В целом, можно дашборды строить с помощью каких-то систем, которые сейчас есть с помощью той же яндекс метрики, да, но я выгрузил данные пользователей, ну там порядка 500 сессий. И вот про индивидуальность, они

124: Там обезличенная, закидываю лмку и прошу паттерны какие-то вытащить и она вытаскивает сотни просто паттернов по сравнению с тем, что мы можем определить допустим, по графику ну допустим, у нас тренд какой-то есть мы на него смо

125: Такие, о, хорошо. Ну, люди заходят, наверное, классно. И дальше можно до уровня прям решений каких-то, ну, гипотез там и так далее. Проработать эту штуку. И у меня ограниченное

126: Сейчас эксперименты, но тем не менее, я понимаю, что следующий, видимо, этап, это будет уход от аналитических инструментов в том виде, в котором они сейчас есть, да, и приход в ту среду, где за тебя

127: Какой-то консенсус прогноз делает. Вот я система или я агент, да, и дальше тебе надо будет просто отвалидировать следующие действия или там подтвердить гипотезы. Да, мне кажется, что если пойти ещё дальше, то следующие

128: Действия, которые тебе надо будет сделать, просто принять или отказаться, потому что если ты примешь, он сразу начнёт делать уже за тебя. И ты такой, ну что дальше наблюдаем? Типа следующая история. Можно не успеть вовремя отключить сервер, как говорится, и твой open кло уже что-то накодит, скайнет, да, скайнет.

129: К нам всем. Ну да, поэтому я и говорю, что валидация это 1 из обязательных этапов. А вот окей, понятно, все, все ускоряется, все упрощается. На что тогда вот сейчас в этом мире?

130: Фокус остаётся у CPO то есть это про людей, это про что, про валидацию этих решений, ну то есть, кажется, что задача то, смотри, мы уже тут затрагивали про людей, про команду, мне кажется, что нам необходимо трансформировать.

131: И Роли все, да, и структуру команды сейчас очень модно. Хитс, да, это humans in the loop специалисты, которые находятся вот в цепочке, в которой работает агент, да, и они принимают решение, либо

132: Отклонить или или переделать там и так далее. И в какой-то момент времени, видимо эта функция должна появиться у каждой Роли, кто у нас есть в команде. На самом деле. Сейчас большинство разработчиков уже пользуются

133: Инструментами различными. Недаром такой flow уже падает посещаемость да, очень сильно все они функции пишут с помощью иишки необязательно это полностью агент какой-то да, это может быть кусок какого-то кода и так далее.

134: Но, тем не менее, они либо провят его, либо реджект. Я бы хотел здесь сказать, что именно с точки зрения CPO, как человека, который управляет каким-то количеством людей. И, ну, то есть можно представить это в виде системы, которая поставляет

135: Определённую ценность, что до этого мы говорили скорее про какие-то инструменты, которые, в принципе, и, ну там просто продактом можно использовать, то задача CPO, на мой взгляд, это этих всех людей в 1, опять же, в 1 рамку поставить. И здесь конкретный пример, если сейчас попро,

136: Каждому там, не знаю, 10 человек в команде, 10 продуктов. Каждому попросить написать, там, не знаю, 10 джоб, стоби дан, или там, не знаю, 10 гипотез по росту продукта 1 и того же. Они там, даже если пойдут в 1 и ту же нейросеть.

137: У них будет разный ответ даже с точки зрения своей сравнимости между собой и то, как он выглядит по форме, и как их сравнить между собой, и, соответственно, задача CPO это задать там те рамки, те правила.

138: По которым вот должна отвечать, там должен отвечать агент у продакта, чтобы потом на уровне, когда это нужно, там собрать в 1 систему и принять решение по всем, можно было делать это как бы на общих основаниях. А так это надо будет ещё ему приводить к

139: 1 какому-то общему на это надо будет потратить время, так как эти люди, которые там продукты внизу будут генерить в 10 раз больше всего теперь, да, потому что есть яишка, то узким горлышком становится человек, который принимает окончательное решение. Соответственно, чтобы

140: Ему не быть этим узким горлышком, нужно заранее эту всю систему продумывать с точки зрения вот этих единых там стандартов шаблонов, обращения к ллм. А какие есть субагенты у каждого, да, что, не знаю, есть субагент там, который делает там анализ рынка, есть субагент, который там делает

141: Гипотезы по росту. Давайте там, не знаю, едиными скиллами опишем этих субагентов, чтобы они у всех выдавали плюс минус одинаковый результат. Или там зафиксируем, что вот это обязательно должно быть. А дальше как бы каждый сам уже волен придумывать, в каком формате это выдавать иначе.

142: Это все в очень короткий промежуток времени, это прям в этом году случится, превратится в огромную, достаточно неуправляемую систему, потому что каждая теперь генерирует там в 10 раз больше артефактов. А мы же спорим, да, нормально, давай такое провока.

143: Вопрос, ты не думаешь то что если мы придумаем какие-то гайды, правила для валидации, да, то, ну вот всю магию потеряем. То есть мы же сейчас пытаемся что сделать? Распремить, я дать возможность сгенерить там большое количество

144: Какой-то информации или там решений, гипотез и так далее. И, ну все мы знаем, чем больше ты гипотез проверяешь, да, тем качественнее продукт на выходе получаешь. А так, когда и кажется, что это очень круто и классно.

145: Когда у разных продуктов появляются разные какие-то гипотезы, когда мы делаем определённые рамки фрейм, да, и стандартизируем, то мы сужаем вот эту воронку, нам легче, да, нам про

146: С этим работать. Но с точки зрения финальной цели, если она в том, чтобы минимизировать н да, Комар, Комар, вот, то отвлёк, да.

147: Если минимизировать нашу работу, да, и наши инвестиции времени в этот процесс, то кажется, что да, если с точки зрения продукта, вот какие у тебя мысли, ну, мне кажется, здесь важно не скатиться ни в 1 из 2 сторон.

148: То есть я сейчас скорее говорю про то, что когда вообще нет никаких таких стандартов, когда я говорю, что их нужно вводить, это не то, что там мы делаем, там, не знаю, инициативы по росту, только содержащие вот такие-то слова с длительностью букв там

149: Не более 30. Нет, понятно, что это скорее набор каких-то обязательных атрибутов. Что если там мы делаем гипотезу роста, у неё должно быть там, не знаю, 3 атрибута на выходе обязательно все остальные, как бы, окей, как она звучит, тоже можно сгенерировать любую, но просто чтоб пото

150: В 1 табличку экселя банально все могло собраться. Это можно было как бы сквозным образом поскорить. В любом случае нужно какое-то, ну, общий базис для того, чтобы даже если потом с помощью ллм это скорить, в любом случае нужен, нужно какое-то базовое пра,

151: Правило, на основе которого это создавалось как definition of ready definition of done, которые в рамках там какой-то группы команд в целом синхронизированы, они обязательно должны быть одинковыми, но как бы суть его должны быть синхронизированы. Ну как бы это, ну это действительно полезно с точки зрения того, когда ты

152: Большую систему, структуру, и тебе приходится, как бы, ну, сквозно на что-то смотреть. Если, ну, возвращаться к вопросу, как бы, чем должен, соответственно, получается, заниматься сейчас CPO, ну, тот, который уже выстроил вокруг себя систему, по факту, там, что остает.

153: Решение стратегических вопросов, решение политических вопросов, решение карьерных вопросов и решение о приоритизации, потому что на эти 4 вещи нужно обладать очень большим пониманием.

154: Контекста, который пока что, ну, то есть политический контекст, ты в машинку не занесёшь человеческие факторы и все, что происходит тоже в оффлайн мире, ты тоже сейчас занести не можешь отдавать стратегические решения, ну, тоже такое себе.

155: И, ну, отдать приватизацию тоже нет. Ну, в смысле, ты делаешь бизнес, а не машину. Поэтому вот, наверное, я бы, я бы сказал, что вот, вот 4 вещи, которые вот в приоритете должны оставаться у CPO, а дай чуть больше примеров. Ну, то есть, вот стратегически это в каком

156: Какое направление мы идём? Да? Ну, то есть, да, да, куда, куда мы идём, что мы делаем, как мы делаем, когда мы делаем, а приоритизация, ну, приоритизации какие у нас на уровне эпиков, да, в какой последовательности? Потому что, ну, это же бизнес решение по факту, это твоё понимание рынка, как мы

157: На что реагируем? Ну, где деньги лежат и так далее. Да, вот мне интересно, знаешь, если объединить то, про что мы поговорили эти 40 минут, то как будто бы я вот здесь согласен, наверное, с термином Андрея, что сначала мы

158: Начали говорить, что мы собираем такое, знаешь, типа доменные знания, мы собираем много контекста, много всего. А с другой стороны, вот эту шарм иишки, типа на волшебство, типа она подумает о том, о чем я никогда не думал.

159: А тут у тебя, типа, гора контента контекста, который ты сам, да, и правил ограничений. Да, да, да. И она такая, типа, я тебе могу подсказать, ты такой, нет, контекст не сегодня. Да, да, да. И вот как будто бы, знаешь, ведь всегда говорили же.

160: Про что, что продуктовое управление и в целом продуктовые управленцы это про, да, про состояние неопределённости и все. А сейчас мы как будто говорим, ребята, выстраивайте систему, выстраивайте процессы, грамотно делайте

161: Много контекста, то есть собираете его, собираете, и потом у вас как это по рельсам, вот вам 4 типа задач, которые делают, не убивает ли это. Вот, знаете, продуктовую романтику? Вообще нет, потому что у тебя как раз-таки в том, что происходит, уровень неопределённости только возрастает, потому чт

162: У тебя количество событий в секунду становится настолько большим, что ты не успеваешь за всем вообще следить, за всем, что происходит. И тут у тебя уровень неопределённости как бы летит. Ну, ещё дальше, потому что никто не понимает, че через месяц выйдет, я тебе объясню, потому что у тебя сейчас будет новый релиз какой-нибудь мифоса. Выйде.

163: Все, ну то есть у тебя полрынка может лечь просто вот тебе неопределённость, а ты должен реагировать, ты должен как бы дальше деньги продолжать зарабатывать и так далее. Ну то есть вот у тебя другого плана просто задачи становятся, они видоизменяются и раньше.

164: Если ты тратил время на какой-то микроменеджмент там и так далее, ты можешь это как бы переложить на там что-то в рамках там агентской системы здесь же что во многом важно, что вот ты говоришь, типа зачем типа строить эту систему, это же наоборот убивает, не убивает у тебя сама по себе

165: Если её не стабилизировать, она тоже приносит огромнейшее количество неопределённости, галлюцинаций, и поэтому тебе нужно выстроить правила и системы работы для неё, чтобы она выдавала тебе, ну то того качества результат, который тебе в работе помогает и который ведёт тебя к цел.

166: И потому что иначе, ллм, без всего, это, знаешь, как это попробовать папе подключиться к чистой модели, где у тебя просто развесовка, значит, где у тебя как куча данных и развесовка вероятностей. Все, вот сколько денег ты сожжёшь, если у тебя не будет там системного пронта и так далее, и так далее, и тому подобное. То есть, ну,

167: Вот, и тебе нужно сначала это все выстроить. Понятно. Мне кажется, знаете, вот сейчас тебя слушаю, увеличивается количество каких-то итераций, количество получаемой информации там в единицу времени.

168: И как будто эта вся история начинает выглядеть как некоторая зависимость. Знаешь, когда ты, типа, я хочу ещё быстрее, мне нужно больше неопределённости. Дай ещё, дай ещё. И мы как будто вот ускоряемся. И знаете, интересно, а есть ли вот такая

169: История, если ты сейчас работаешь, не знаю, там вот Сергей нам сказал в начале, что типа, а мы вот не обременены, и нам вообще все разрешено. Вот если бы ты сейчас пришёл в корпорацию, в которой все

170: Запрещено. Как бы, ты думаешь, тебя бы вот внутри как бы ты себя чувствовал? Ну то есть 2 компьютер и такой, типа, я все-таки хочу немного. Или я бы, наверное, тогда пошёл на должность, где компьютер не надо открывать.

171: Такие до сих пор остаются в компаниях. Ну, наверняка в любом случае и ввёл бы под проекты, и вёл бы параллельно подпроекты через телефон, через клод код. Вот это интересный вопрос.

172: На самом деле, как на него достаточно ёмко и быстро ответить, в любом случае есть в доступе ллм, которые разрешены и даже если там не разрешены какие-то определённые ллм, которые там являются по 1 из бенчмарков, сейчас лучше ты в любом случае

173: Можешь задачу свою. Просто, значит, ещё на большее количество атомарности разбить и посмотреть, какие из этих атомов уже решаются текущим доступной твоей эллко, да, наверное, какие-то просто частично задачи останутся на тебе, которые можно было бы решить эллко более

174: Сильный. Вот, но в любом случае это там-то движение, которое в любом случае надо брать и делать, даже если, не знаю, каким-то образом достать, открыть и развернуть себе сейчас GPT-3. И вот попробовать какую-нибудь задачу на ней решить.

175: Я уверен, что с текущим знанием, как может работать передовая модель, можно решить какие-то задачи, которые нам там, в, когда она в 22 году, да, вышла, казалось, ну что это, в принципе, невозможно сделать. Я уверен, что это можно сделать сейчас, понимая, как надо проектировать вот эти системы, поэтому

176: Ну, как бы сел, открыл листочек, пошёл рисовать, и как бы в какой-то момент, я думаю, можно прийти к тому, что часть задач, которые решаются условным клод кодом, можно решить. И таким образом, да, это будет дороже, дольше, может не так как бы классно, но

177: Решаться оно будет не, ну если ты решаешь за счёт локальной модели. Не факт, что дороже у тебя в этом плане. Если у тебя хорошее железо, то ты можешь хорошие локальные модели уже установить, не тратиться на токены, и оно у тебя за год может окупиться прям с лихвой. Ну это

178: Скорее, количество операций, да, то есть там, скорее всего, появится какой-нибудь валидейшен лер эвиденс Леер дополнительный, которого раньше можно было не делать в более умной модели, потому что она там у себя уже это сделала. Тебе просто там надо будет прогонять дополнительно, чтобы получать этот ответ. И на это ты потратишь просто ещё там.

179: Сколько-то рублей на электроэнергию ты говоришь, у тебя ограничений нет. Все классно, классно, но, видимо где-то в душе стремишься к тому, чтобы немного барьерчиков поставить. Ну вот с точки зрения управляемо.

180: Модели. Так что, Макс, я думаю, ну ты когда спрашивал у сергея, как ему будет перейти в какую-то корпорацию, где очень много ограничений, то он в целом, наверное, и строит такую корпорацию просто у себя

181: В компании так и есть. Да, мне кажется, Сергей, когда начал размышлять про локальный локальную лмку, он такой начал задумываться. Я видел цифры в его глазах, которые, да, можно сэкономить тут заработать. Мы к этому ещё вернёмся.

182: Это резонный вопрос, потому что, ну, то есть у нас там есть тоже там 1 из решений, значит, мы реализовали у себя автогенерацию статей, потом автономную, она работает без человека вообще, да, то есть

183: Есть редакция, которая смотрит основные, там трендовые новости, собирает их. Есть разные агенты, которые выполняют задачи, там по отбору, приоритизации, убирают дубли, смотрят за трендами и так далее, так далее, и тому подобное. Есть редактор, у него там есть своя политика и

184: Весь процесс запущен уже там за месяц, там каждый день выходит, там, по, там, 3, 4, там статьи и все ещё важно, что они должны быть на разные темы. Ну, в смысле, чтобы не было то, что ты всю неделю пишешь одно и то же, ну там плюс минус в 1 векторе. И естественно, для того, чтобы тебя такую

185: Построить. Ты допустишь огромнейшее количество ошибок, потому что ты сначала такой думаешь так, а всем ли агентам там внутри нужна своя память, а вот, ну и так далее и так далее. То есть ты строишь очень много экспериментов и если ты это подключаешь по api сразу,

186: К модельке, то ты пока эту штуку даже просто научишься делать, ты сожжёшь очень много ресурсов, но в чем прикол? Если ты начинаешь в целом строить подобного рода системы с подключением к локальной модели, которая, ну, сильно отстаёт от современных и на

187: Учишься как бы на ней, пройдя там все ошибки, получить хороший результат, то ты потом, подключая по api к более совершенным моделям, получишь супер дешёвый, но офигенный результат, потому что они умнее, но ты уже как бы обточил все системные пронты, все правила.

188: Все там заскриптовал как надо и у тебя поэтому как бы там 1 статья стоит, ну типа там.

189: Цент 2, 3. Ну то есть целевому решению вопросы, вопросы. Я призываю вас задавать. Вопросы, вопросы в комментариях под трансляцией. Где вы нас смотрите? В каждом источнике есть комментарии, все комментарии.

190: Сейчас наши искусственные естественные интеллекты парсят, и они окажутся у меня в телефоне. Я, знаете, хочу ещё, наверное, про что спросить. Вот сейчас все-таки мне кажется, что уже многие

191: Пробовали яишку, там, пробовали её, наверное, большинство в режиме там какого-то диалога и типа вопросительной системе ответ на вопросы а вот все-таки вот мы сегодня говорим там облегчить процесс discovery, облегчить рутинную жизнь.

192: Вот, давайте попробуем прям не знаю, на ваших примерах или чтобы вы сейчас посоветовали, с чего начать. Ну, то есть какой инструмент может быть. Ну, я думаю, что там локально рассказывать лмку, наверное, не самая 1 история, но, может быть, можно

193: Как-то дёшево протестировать вот эту, почувствовать магию на кончиках пальцев, то есть с чего начинать сейчас а ты имеешь ввиду вообще самый Лёгкий вход, да, вот нулевое трение просто, ну да, 1 эффект, когда ты почувствуешь, что

194: Он тебе не просто, не знаю, там типа оживил картинку или текст написал и ответ на твой вопрос. А вот ты почувствовал магию оптимизации какого-либо своего там процесса или какого-то действия? Ну вот смотри на примере с discovery, да, мне кажется, сейчас любая модель

195: Вот последняя, которая выходит, у которых есть функция депрессе, да, или исследования, то они уже дают вот эту магию. То есть тебе не надо идти исследовать весь рынок, да, тебе нужно 1 пром сделать.

196: И итогом работы будет, ну там достаточно широкая выкладка какая-то. А дальше ты можешь и landing собрать, и это тоже магия. В принципе, ты следующим этапом можешь сказать. Ну сделай мне, пожалуйста, в этой же модельке, да, в этой же модельке, наприме.

197: Модельку. Ну, дипси кимми может это сделать гига, чат ультра GigaChat, ультра, да, у него есть режим исследования, который тоже очень хорошо делает, но вот

198: Чтобы следующий этап получить, то там уже нужно либо танцевать с бубнами, да, либо догружать контекста какого-то или ещё что-то такое. Но вот убрать белый лист, сделать очень быстро исследование, получить информацию.

199: Которую, ну, раньше бы ты получил, за, там, день, 2, 3, может, неделю исследований, ты можешь буквально за несколько минут. Угу. И в том числе, GigaChat ультра это может делать, да, причём он классно делает, если его попросить в этом анализе,

200: Сравнение фичей, то он прям такую достаточно широкую табличку делает с там галочками, крестиками, параметрами и там за пару итераций. Вот этот ваш prompt в deep ресерч, он становится прям таким, ну как бы

201: Не базовым, а очень расширенным. Но я хотел на самом деле рассказать про пример, что можно делать прототипы. Мы уже про это говорили, но прототипы можно делать в своём дизайне. Опять же, у нас там был кейс. Заказчику нужен прототип быстро показать. Я говорю, у вас есть

202: Вашего вообще, в принципе, предприятия сайта. Ну, они точно где-то есть. Сейчас мы пойдём узнавать. Я такой окей, просто захожу на их сайт, выгружаешь его html, делаешь ещё скрины кидаешь, говоришь, сделай мне цсс стиль вот этого с

203: Это точь в точь это важно добавлять в промте. Это, это ты в чем? В коде? Да, да. Вот соответственно, получил цсс стиль. Дальше как бы показал фичу, накинул этот цсс стиль и выглядит как будто бы это там копия их сайта, да, или там

204: Копия их приложения просто теперь с новой фичей, их шрифты, их цвета, их там скругления на кнопках, то есть ну, там понятно, наверное, не pixel perfect, но это занимает час, да, то есть как бы понятно, что ко мне люди вернулись с гайдами через несколько дней, когда мы уже провели несколько операций на это.

205: Стиле. И вот это, ну пример, что просто там закинул реально пдфку со скринами и html и сказал сделать цсс, и потом на основе этого делал прототипы, которые там кликабельные быстро отражают то, что мы хотим сделать. Но здесь я правильно понимаю?

206: Здесь уже, наверное, история про вау эффект, да, когда он тебе приносит гайды, а ты такой, да, все готово. Ну, типа, забирайте, давайте, ребят, мы уже гипотезу проверили. Не надо было. Да, да, да, да. Не полетит. Вот смотрите, на вашем нужны опруте. Это, да, то, что мы сделали.

207: Да, мы уже все проверили, уже стазначимость собрали нормально. Слушай, я бы рекомендовал, ну, ты знаешь, очень сильно зависит от того, все-таки, на какой ступени вы сейчас находитесь в том плане, что если вы просто пишите, как бы, короче, как вы сейчас уже используете, ии, да.

208: Если вы это используете как поисковик, это

209: Ну, такой самый 0 1 уровень. Назовём это так, потому что любое и это не поисковик, это симулятор. И по факту вы должны научиться управлять этим симулятором, который может вам симулировать все, что угодно. И вот это

210: Это, наверное, 1, что надо понять. И здесь даже не обязательно идти вайб кодить. Вы очень много вещей, много задач даже можете решать даже с теми же самыми чатами. Просто если вы начнёте выстраивать систему Пронтов для достижения какого-то долгосрочного результата, ну то есть не вам.

211: Шотом все пробовать решить, потому что очень мало задач решается ваншотом с точки зрения качества. А попробовать взять задачку её декомпозировать и её прям попробовать сделать и понять, что на самом деле ллм может очень много для вам дать в плане решения

212: Задач, а вся агентская история это уже автоматизация там каких-то процессов, которые и так уже в принципе есть. И в том числе есть в вашем, в вашей голове. Они просто помогают вам это ускорить и реализовать, да? Ну то есть вы можете даже начать с банальных вещей, типа, как это начать

213: Допустим, вы не разработчик. Вот, вот, кстати, хороший пример. Вы не разработчик, вы ни разу не писали код, и вы такие вот начните чат с чатом gpt. Скажи, слушай, я не разработчик. Давай, покажи мне вообще, как верстается любая страничка. Пришли мне код, говорит, че?

214: Делать, что такое терминал? Куда мне, что мне сохранять, куда отправлять и так далее. И просто вот повторять за тем всем, что происходит. Вы поймёте принцип в целом какого-то взаимодействия. И вы там, не будучи в какой-то Роли, сможете че то собрать. Потом вы сможете уже зайти в какой-нибудь там аля курсор, клод код, кодекс.

215: Там ещё куда-нибудь и сказать типа так сверстай мне вот эту страничку, но вы уже будете понимать, какой за этим стоит принцип и вы сможете потом верифицировать результат. Ну хоть как-то уже и вы будете понимать, как это все собирается и вы сможете таким образом смотреть а где как бы моделька там не дорабатывает, где она собственно

216: Как это халявит там и так далее. Они же все любят халявить. Н, как и любые джи, новые сотрудники. Мне хочется тут, когда Серёжа рассказывает про цикл вот этого 1 знакомства, обычно себя люди находят дальше в 5 утра, которые ходят уже 3 экрана.

217: Особо ещё ничего не понимаешь, но у тебя уже есть какие-то сайты, оно работает, у тебя уже, может быть даже какая-нибудь регистрация подключена, и ты такой просто не можешь себя в этом найти и остановиться. Не знаю как, но работает. Да? Ну тогда, мне кажется, 1 замирание сердца.

218: Происходит, когда ты либо на кнопку build нажимаешь, либо на deploy, ну то есть, когда ты такой, типа, все, что-то там происходило, что-то ты делал, делал, делал, и потом деплой, и открывается какой-нибудь, не знаю, там, типа, лендос на нетфликсе. И ты такой, это что я, ну, типа,

219: И даже вот это вот могу, да, могу так, я теперь, ну, вообще, я сам, да, да, да. И никому не скажу, что это иишка, потому что, ну, это круто. Ты начал говорить про автоматизацию процессов. Вот.

220: Автоматизация и автономизация, то опять же, приводил пример, что у вас работает история без человека, пишет статьи и, в общем, настроили. А вот если сейчас мы

221: Поднимаемся на уровень с того, что типа, вот как ты сказал, там 0 1, я бы сказал, что это 0 целых, 1 10 уровень там типа диалога. А вот все-таки автономизация и автоматизация, когда, что и в чем разница? Слушай, ну

222: Автоматизация это когда есть какой-то процесс, есть участие человека, просто у тебя что-то ускоряется и у тебя как бы есть там постановка задач, есть принятие результата, это как бы, ну и у тебя дальше ты не участвуешь в самом процессе, там, не знаю, производства или чего-то ещё, ну

223: Это вот какой-то ценности, когда мы говорим про автономизацию, это когда ты спроектировал систему, где ты туда вообще больше не заглядываешь. И она, как бы, я бы знаешь, как сказал, автоматизация это такая больше про решение задач, а

224: Атомизация это проделываемая работа, притом без тебя. То есть там человека нет. И это как раз история, что ты вот собрал её, всю, запустил и просто, ну, пожинаешь результат. То есть мы сами с удовольствием читаем стать

225: И которые сейчас эта редакция приносит. То есть мы таким образом сейчас сами смотрим за тем, как бы, что в мире происходит, чтобы пытаться за всем уследить, потому что там, там, чтобы нужно было, понимаешь, чтобы выпускать эти статьи, там же нужно прочитать их штук 20, 30, 40, 50, а ты, естественно, не можеш.

226: Столько времени на это тратить. Вот, ну и так далее. Вот. Но фишка в том, что там люди ничего не правят, там только правят саму систему, чтобы там где-то че то более ёмкое было, другой стиль был, как бы увеличить там, ну, какие-то тренды, там подсобрать ещё.

227: И так далее. Мне кажется, что на этом примере ты меня, может, поправишь. Но автономизация этой системы была бы, если б вы ей поручили, что как бы дальше саморазвивайся, эволюционируй, не знаю, стань топ 2 media.

228: Да, в теме продуктовки, да, это, это следующая тема, когда мы говорим про смотри, есть автономное исполнение, а есть автономное, как бы дальнейшее развитие и саморазвитие. Это как бы следующая ступень, когда ты ставишь как бы оркестратора, который, в том числе и как бы, ну, подстраивается под все это, ну, это

229: Слушайте, мы эту штуку сделали месяц назад. Ну подожди, как бы следующий шаг рано развивать. Есть как бы тут ещё фишка в том, что ты всякий раз, когда создаёшь там кого-то агента, что-то ещё, у тебя же постоянно приходят какие-то идеи классные, как его развивать. И у тебя, по сути, каждый твой аген.

230: Каждая твоя система это отдельный такой некоторый продукт, и ты такой, о, можно ж, типа, вот до автономизации уйти, можно это ещё улучшить, можно это упростить, можно это ускорить. И знаешь, ты в какой-то момент становишься, знаешь, как это, если даже для жизни, для работы делаешь ты, каждый человек становится CPO со своё.

231: Где у них куча агентов и каждый агент это собственны продукт, который решает какую-то конкретную задачу, проблему. И ты такой владелец портфеля, а у тебя временной ресурс ограниченный, потому что ты уже ложишься спать в 4 утра, а у тебя ещё и встреча там с 9, вот, и ты как бы, ну, начинаешь при

232: Уже ты такой думаешь, так какая фича в каком агенте тебе нужна? У тебя устраивает собственная там система приватизации уже, как это, и личная, рабочая, там, и так далее. Ну да, следующий уровень, это, типа, делать им таск трекера. Да, да, да. Делать.

233: Со свои, с приоритетами делать агента, который тебя постепенно начинает копайлот в принятии вот этих решений, потому что я все тоже самое ловишь себя на мысли, что в какой-то момент так много окон. И ты не понимаешь, где, в каком, как приоритизировать, начинаешь это все записывать. Думаешь, да?

234: Как этот шаг уже сделать так, чтобы он был с каким-то копай атом, да, потому что и ты на самом деле начинаешь думать, типа как тебе прописать стратегию развития этих агентов, построить родмэп с декомпозированными какими-то эпиками и чтобы у тебя был какой-нибудь агент проджект.

235: Который следил за исполнением и поднимал Нужных агентов, и принимал статусы исполнения. И ты начинаешь такую систему уже строить, потому что тебя на все, вот эту всю штуку не хватает, но это лудомания мы, да, а поговорить это нейродон, я уже слушаю, мне

236: Что в какой-то момент тебе становится скучно, потому что все работает идеально. Ты добавляешь туда какого-нибудь типа специального агента, который будет этим мешать, типа, ну а че вы так хорошо делаете, пускай он там, там, типа, держит у себя агент стек холдер, да, называется? Да, да, да.

237: Ты начинаешь просто выстраивать какие-то корпоративные агент с двадцатилетним опытом, с травмирующим в этой организации, не в себя, как агент с травмирующим опытом. Не, мне кажется, там наступает другая штука, там выходит какая-нибудь новая модель, и ты такой, а пере,

238: Тройка, я все с нуля, и все, и по новой. Так, вопрос у нас есть. Как раз здесь прям нас, видимо, чувствуют зрители, нет ли у вас, нет ли у вас зависимости? Не замечали ли?

239: Вы что, хочется уже просто поболтать с нейронкой, а не с продактами.

240: Видимо, поэтому мы тут кружком собрались, да, и болтаем о нейронках, да, мы уже говорили про нейроном нию. Да, вот выходит новая моделька, и я прямо вижу, это не у меня было у друга.

241: Как он такой, блин, надо попробовать. Потом выходит новая ещё моделька, и её надо попробовать и то попробовать. И вот вроде как бы ещё 1 то не распробовал. Нормально, да, а они выходят и выходят. Качество все лучшее.

242: И улучшается, и мне кажется, вот относительно других лудомания, ну, нейро лудомания, она даже полезна, да, когда ты, мне кажется, все лудоманы, говорят, своей лудомании, типа, ну, вот это полезно, да.

243: Да это же не так вредно, как вот это, а вот это такая, как у вас. Ну то есть больше ли вы, перестали ли вы общаться, не знаю, с друзьями, семьёй и заменяете ли вы нейронку? Ты знаешь, когда

244: Все мои друзья уже знаешь, как это, как действительно клуб анонимных лудоманов уже такой, ну, на самом деле, в чем суть? Ты на самом деле сначала кайфуешь от того, что происходит. У тебя очень много дофамина, от того, что ты можешь, по сути, сделать все и так далее, и так далее, и тому подобно.

245: Ну, ну, практически все, что, о чем ты как бы думаешь, ты можешь там, за день, за 2, за 3, ну, какие-то более сложные проекты, понятное дело, там за неделю реализовать какие-то супер большие, но как бы, все равно это там не года, не кварталы. И здесь в какой-то момент ты начинаешь действительно пони.

246: Понимаешь, что так? А че то я не высыпаюсь, что-то у меня энергии мало, а ещё я стал, как это че то грязно вокруг становится. Ну то есть ты как бы становишься, как это в какой-то момент понимаешь, что что-то пойдёт не так в этой жизни. Ну то есть, типа ты раньше всегда был чистюлей, там, убирал посуду все время, а тут такой смотриш.

247: Так, почему тарелка стоит? А потому что ты вот, собственно, сидел за этим, быстро поставил тарелку и пошёл дальше, собственно, продолжать этим всем заниматься. И ты такой, ну как бы, 5 раз смотришь, так, че то не убрано, ну и так далее. Ну, в общем, ты начинаешь замечать такие вещи, и у тебя идёт откат назад. Ты такой, так, погоди, это виртуальный мир, ну,

248: Слон нереальный, да, он как бы кайфовый, да, ты быстрее развиваешься, быстрее что-то делаешь, но тут ещё возникает вопрос, как бы, а жизнь, что это такое? И ты начинаешь там и про друзей вспоминать, и про семью, и про какие-то другие хобби, которые тоже

249: Очень важны, потому что, ну, я по себе заметил, что чем дольше ты этим занимаешься, тем больше ты сидишь, тем меньше ты двигаешься и так далее. Я стал только стоя работать. Сейчас уже лайфхак. Серёг, как у тебя

250: Да, я согласен, что начинаешь ловить себя на мысли, что как будто бы не ты управляешь нейронкой, а нейронка ждёт от тебя, когда ты нажмёшь в курсоре ес эллоу. Вот это действие. И что на самом деле?

251: Чего ты это все как бы делаешь? Это ж не для того, чтобы было вокруг 1000000 агентов, не знаю, каких-то там продуктов сделанных. И автоматизация. Это же все как бы изначально то придумывалось ради чего-то более там философского, чтобы там, не знаю, жить лучше.

252: И было время, собственно, наслаждаться жизнью, да, и поэтому этот баланс с каким-либо инструментом, я уверен, про такое же был диалог, только его нельзя было снять, когда там, не знаю, электричество появилось, да, что сейчас мы не будем ничего делать, но потом почему-то стали работать.

253: Больше наверняка как бы тогда также было. Поэтому за вот этим балансом с любой технологией нужно просто, мне кажется, следить как дисциплина своей собственной жизни. Я хочу твой тейк поддержать про то, что, ну, мы что-то автоматизир.

254: Автономизирует, а потом понимаем, что работать то надо больше, потому что скорость увеличивается, да, и ты за единицу времени уже должен сделать чуть чуть больше. И вот этот парадокс я

255: Забыл, кто его сформулировал ещё в восьмидесятых годах. Он нобелевский лауреат. Я потом как-нибудь вспомню, расскажу вам фамилию, когда ты автоматизируешь что-то это видно только, ну как бы

256: Везде, кроме отчётности. Ну то есть в финансовых показателях, в каких-то не видно, что ты автоматизировал. А почему? Потому что очень большая эластичность. То есть, если тогда эластичность была там 3, 5, 7 лет,

257: То есть ты приходишь в компанию, говоришь, мы там сап внедряем, да, и сейчас будет все классно, но не уточняешь, что классно то будет лет через 7, когда вы перестроите все процессы, и после этого все начнёт хорошо работать. И люди, которые

258: Подвергаются не плохое слово, которым приносится автоматизация, да, по факту то не они оптимизируются, да, а процессы, а на них возлагается ещё чуть больше ответственности за то,

259: Тот результат, который происходит во время автоматизации. Ну, если мы говорим про внедрение агентов, ну, все тоже самое. Просто надо слова поменять, да, автоматизацию на автономизацию тебе в любом случае придётся либо валидировать, либо

260: Jacket править промты там и так далее, то есть выполнять более сложную работу, чем ты делал раньше, а на неё, к сожалению, надо время. Класс, у нас есть ещё пара вопросов, но я сейчас должен напомнить зрителям про

261: То, что прямо сейчас появится QR-код с обратной связью, на который вы можете повлиять на следующую тему нашего митапа, что мы обсудим по теме CPO мы возвращаемся к лудомании.

262: Я, знаешь, хотел ещё какой тебя зацепила тема. Да не, не, мне тоже это интересно. И вот мы, кажется, тоже тут за кулисами обсуждали историю, ведь есть не только лудомания в плане потраченного времени, но есть.

263: Ещё и потраченные средства. Ну то есть ты подсаживаешься на эту историю, когда ты покупаешь 1 подписку за 20 баксов, потом за 60, потом уже 200, а потом такой, а что там вот, вот там? И вот, знаете, мне хочется понять, как вы

264: Ну, типа, подходите к выбору вот этой истории. Ну, то есть, нужна ли вам сейчас, не знаю, там подписка за 60 баксов. Нужно ли вам 10 подписок за 20 баксов и так далее. Ну, то есть, есть ли сейчас какой-то в вашей истории личной или продуктовой расчет?

265: Экономики, средств, потраченных на вот эту вот вашу трансформацию или трансформацию ваших продуктов и бизнеса и велью, которую это приносит. Ну то есть мы много говорим про скорость, да, но мы знаем, что скорость довольно там

266: Сложно потом вот так же. Ты как, Андрей, говоришь, что, возможно, мы увидим это в финансовых отчётах через 3 года. А деньги то тратим сейчас, а тем более, когда они личные, ты такой, да, блин, вот, вот как вы подходите к этому выбору того, какую модельку сейчас купить, или типа, а стоит ли

267: Мне ещё потратить и докинуть соточку на несколько токенов сотен миллионов, но это сложный вопрос, да, особенно когда у тебя есть семья, да и ты.

268: Чуть чуть отщипываешь оттуда. Не, это шутка на самом деле нет, семья есть, я имею ввиду, у всех семейная подписка, да, но сейчас мне кажется, важен результат, а не то.

269: Количество подписок, которые у тебя есть. И я, ну, Иду в сторону агрегаторов. То есть я сознательно плачу чуть больше, но получаю достаточно широкий набор лмок под

270: Потом, с которыми я могу работать, ну или там сота модели и так далее. Давай пример сразу агрегатора репликейт опен роутер. Ну вот сейчас мы используем репликейт, но, соответственно, я как бы немного инвестирую для того, чтобы там

271: Какие-то свои концепции проверять или там гипотезы и так далее. И, ну да, вот иногда, знаешь, печально там под капотом создал какой-нибудь пайплайн, да, и в рамках его работы хоп там 100 баксов и нету.

272: Ладно, надо оптимизировать. И тут оптимизация происходит методом проб и ошибок, да, потому что, ну, к сожалению, ты не можешь предсказать, каким образом утилизация токенов произойдёт.

273: Можно попробовать на бесплатных моделях. Получишь плохой результат и такой, думаешь, ну окей, я потратил там, не знаю, 0 ₽, да, 0 $. Попробую сейчас с нано банано тоже самое сделать. Хоп, результат лучше, но утилизация

274: Очень большая там произошла. Ну то есть тут такой, мне кажется, больше в плоскости экспериментов. Ну, по крайней мере, у меня, то есть, видимо, у меня самая низкая уровень, самый низкий уровень осознанности.

275: Осознанности относительно затрат. Но, с другой стороны, я не так и много инвестирую для того, чтобы получить какой-то результат. Поэтому мне ок. Так, ребят, как у вас. Слушай, здесь, ну, лично я воспринимаю эту историю в 2

276: Плоскостях, плоскость 1 это действительно какие-то рабочие задачи и оптимизация и у тебя там, ну внутри есть там внутренний калькулятор как бы возврата всех этих инвестиций но 2 вектор это вектор, на мой взгляд, образова

277: Потому что ты все равно продолжаешь учиться этим управлять. И там выходит что-то новое. Ты сначала пробуешь это делать, получается фигня, ну как бы ты потом переделываешь и так далее. Ты, ты как бы, ты всегда

278: Когда делаешь первые разы, там что-то ты жжёшь много токенов, это нормально, у тебя это образовательный процесс все время происходит. Потом ты такой думаешь, а оказывается, типа можно сделать по другому и там где-то с оптимизировать и, ну то есть лично у меня подписки есть как бы там, там 100 $ там

279: 20 плюс api там, ну ultra я взял, кстати, подешевле, потому что я семейный старик, взял вот ну в общем хиксвилл на год, там и так далее есть 1000000 токенов бесплатно можно взять на кого? На ультру.

280: Чат ультра, там не, я про google ультра даёт, я зря ты про другую ultra не, ну просто у меня просто ещё есть хобби. Я начал генерировать видео, и меня прям увлекло. Ну, то есть я в детстве хотел этим заниматься, и тут такой, знаешь как?

281: Ребёнок проснулся, и я начал генерировать красивые многоминутные видео с сюжетом, с персонажами, с историей и так далее. Вео 3. Хорошо, если, да, вео 3, но там прямо улетают. Вот я тоже в зависимости

282: Почему, почему, кстати, важно разные модели оплачивать, разными моделями пользоваться, потому что у всех свои супер силы. Ну то есть на самом деле джимин ай крут в своём, клод, в своём кодекс, с gpt, в своём, Сбер GigaChat в своём и так далее.

283: В зависимости от задач, как бы ты начинаешь понимать, а какой моделью ты эту задачу решаешь. То есть, почему, например, у меня там сразу несколько подписок на разные, как бы, сервисы. И я понимаю, что я, например, проектирую решение, там с клодом разработка у меня идёт с gpt, например,

284: Да, генери, если я генерирую какое-то видео, у меня есть, как бы, там основной, наверное, инструмент на 60% задач, это вео, но я понимаю, что вео плох в экшен сценах, и там нужен либо сиден, либо Клинк. Вот, а это, соответственно, тебе, ну, тебе в этом нужно, там

285: Агрегатор другой ещё, поэтому у меня там подписка google ультра плюс хиксвилл и там через хиксвилл у меня доступ как бы к остальным моделям и так далее. То есть ты понимаешь, какая модель v chem круче, и ты, у тебя нет такого, что у тебя есть какая-то универсальная модель, тебе приходится все равно собирать, ну как бы из нескольких

286: Историю тут я бы тоже, наверное, разделил как личный вот этот вот любознательность, да, какая-то попробовать пощупать есть в голове какие-то задачи, которые хочется решать. И вот только таким методом проб и ошибок становится понятно, что вот это для этого, это для этог

287: И, на мой взгляд, тут очень хорошая аналогия, это с пиратством, на самом деле, когда оно начиналось, то есть посчитать, как бы рой проекта по пиратству в начале было тяжело, скорее, как бы давали деньги на корабли, чтобы пошли пиратить. Просто, типа, ну, вроде нормальная тема, давайте.

288: Пробуем. И это похоже в этом плане, да, что как бы очень непонятно куда причалишь, непонятно, что оттуда получишь фин эффект от этого посчитать тяжело, но это скорее вот эта личная любознательность на каком-то таком прям переднем краю каждой из там

289: Технологии, там, текстовой кодинга, видео, фото и так далее. А вот если говорить про, ну там, бизнес проекты, то мне кажется, они достаточно понятно, как бы оцифровываются, даже если задача непонятная, там 100 раз прогнали эту задачу, поняли, сколько стоит 1 раз.

290: Не знаю, попробовали переключиться на модель похуже, которая подешевле, то тоже качество или нет, как бы, ну, там определённое количество действий. И там, естественно, есть задача максимально дёшево делать результат и не гонять просто так, там по кругу этих агентов.

291: Если стоимость прогона стоит, там, не знаю, 100 ₽, а потенциальный эффект 80, ну, как бы, наверное, либо надо попробовать упростить, либо не делать этого вообще. Тут, тут, знаешь, что важно. Я просто сразу так вклинюсь, что тебе для того, чтобы придумать оптимизацию в рамках бизнес процесса.

292: Надо в целом неплохо. Ну как надо хорошо понимать, как в целом это все работает, а ты учишься понимать, как это все работает на своих каких-то личных кейсах. Именно поэтому, как бы, и то, и то ты делаешь, потому что ты когда делаешь свои личные кейсы, такой, думаешь, о, прикольно, классно. А это ещё можно использовать там, там, там, там и там, ну вот.

293: Да, а ещё можно просить ту же нейронку для того, чтобы она оптимизировала. Ну то есть, ты говоришь, у меня утилизация токенов зашкаливает, да, вот код, с помощью которого я это все делаю. Пожалуйста, оптимизируй. Там есть сейчас какие-то скилы для кодекса?

294: Для клод кода, который там чуть ли не в 10 раз потребление снижают они кнуты. Кнуты там появились ещё у антропка, по моему, и у Серёжи любимый промто, какой там, проведи аудит. Да, да, проведи аудит плана, да, и потом декомпозируй.

295: Мой любимый, добавлять Бо структуру в конце, если мне надо что-то скопировать, добавлять, сделать точь в точь капсом, да, с восклицательными знаками. Или я тебя там отключу, не потом ещё проведи аудит исполнения плана тоже. То есть он план реализова.

296: Все, комплит т, а потом такой, а проведи аудит, насколько на самом деле ты все комплит, это как уже другим там, в другом чате, да, если вы, мне кажется, не можете посчитать стоимость вот от этого эффекта, который Серёжа говорил, типа, 100 ₽ тратится, там 60 ₽ вэлью. Можно и агента сделать, да?

297: Который экономику считает пока каждому эту историю, он типа, но важен контекст. У нас есть вопрос из студии, точнее из за студии. Кажется, мы на него немного отвечали. Но давайте ещё раз с учётом того, что аишки иногда филонят, насколько

298: Вы им доверяете серьёзные выводы, сколько времени на проверку уходит интересный, кстати, вопрос, потому что я все чаще слышу такой тезис, что раньше мы в 10 раз больше писали, а теперь мы в 10 раз больше читаем, потому что

299: Написал немножко все. Итак, филонят аишки, перепроверяете какие-то выводы. Вот всегда, ну то есть вот он тебе план написал, его надо прочитать и в 8 случаях.

300: 10 там есть что как бы изменить. Ну то есть там всегда что-то вылезает. Почему, например, вот ты понял, почему любимая история, сделай аудит, потому что он план написал, и ты как бы просишь его сделать аудит, он там что-то находит, всегда что-то находит, вот обязательно что-то находит и

301: И ты дальше потом как бы ещё раз перечитываешь, и ты сам уже тоже что-то находишь, потому что у него, как бы, может быть разные головы внимания, они могут куда-нибудь не туда уйти, и тебе надо его как-то возвращать как бы в нужный вектор, и поэтому всегда читаешь. То есть нет такого, что

302: Слепое доверие какое-то, то есть это всегда нужно перепроверять вот, вот эту вот часть. Смотри, я считаю, что это же тоже ещё 1 задача просто которую также можно делегировать мке. Ну и соответственно, если ты что-то сделал,

303: Даже неважно, сомневаешься ты в результате или нет, можно попросить её проверить и дать там, не знаю, понятные критерии, по которым ты оценишь и примешь решение. Тебе надо читать вообще это все, либо пойти и перегенерить.

304: А можно также попросить, ну, если там исправления какие-то нужно внести, ну, внести исправления в prompt, в первоначальный, и потом, ну, провести эту итерацию. Несколько итераций таких, да, и только после этого идти читать просто.

305: Я сейчас очень часто замечаю, что, ну, у меня сидит разработчик, у которого там на фоне пишется код, строчка за строчкой, но он же не успеет проревьювить. Ну, то есть он там потратит очень много времени, он смотрит результат.

306: Он ставит брейкпоинты какие-то, а после этого, если ему что-то не нравится, он даже не читает, переделывает просто и все. И вот тут, наверное, экзистенциальный тоже вопрос. А стоит ли нам, ну допустим, если мы про

307: Качество кода говорим, да, стоит ли нам вообще туда лезть, если срок жизни продукта может быть несколько месяцев. И потом нам надо будет новый продукт делать, или редизайн, или перезагружать. Ну вот он проработает, главное, чтобы там, ну, ту аудиторию.

308: Которые у нас есть, он выдерживал, да, и все хорошо было бы. А вот с точки зрения тех прикладных кейсов, которые у меня есть, да, я решаю вот таким образом, как я сказал, относительно дополнительной Зада.

309: Для ci, а в целом можно даже 2 критиков. Ну то есть ты оппонент, ты защищаешь, да, решения, которые были, ну и покритикуй класс. Ну тут, да, во первых, точная

310: Они ленятся, причём у них это зашито в настройках, которые мы просто не можем к ним иметь доступа, но они зашиты, и они, кстати, эволюционируют эти настройки в зависимости от нагрузки. То есть, если поначалу они не так сильно ленились, то сейчас они ленятся сильнее, прост.

311: Чтобы экономить запросы, потому что если там посмотреть, я не помню, кто давал это интервью, но это, в общем, из как бы, большой троицы американских моделей, кто-то рассказывал, когда они поняли, что надо вводить историю, когда там, не знаю, напиши мне 100 идей там, не знаю.

312: Путешествии и но при этом развёрнутые эти идеи путешествия. И он рассказывал, что они просто провели аналитику, что там какое-то огромное количество процентов этих запросов к ним просто даже не возвращались. То есть его поставили, закрыли окно, он там писал и к нему

313: Человек не вспомнил, чтобы к нему вернуться. А лмка генерила эти 100 вариантов до конца. Соответственно, они как бы ввели историю, что там, не знаю, 5 сгенерилось, типа, мне продолжать или нет, чтобы как раз вот не тратить электроэнергию на то, чтобы человеку, который уже забыл, что он это сделал.

314: Результат, поэтому да, действительно они ленятся, но в целом они ленятся по понятным причинам, если ему задавать в самом начале как бы в промте, там, какой ты ожидаешь результат, и потом делать, вот аудит, как бы соответствует он результату или нет в целом it.

315: Как бы решается плюс 2 агента делаешь цензора, который очень специально делаешь его достаточно глупым с точки зрения отклонения вправо, влево, что есть вот форма, в которой надо сдать результат не подходит чуть чуть все как бы отклоняешь.

316: И просто проверяешь, ну, работу 1, ну, это понятно. Надо делать, если это там повторяющаяся какая-то задача с определённой степенью риска и стоимостью этого риска. Сергей, мне кажется, вот очень экологично, когда нейронка тебе говорит, мне продолжать или нет? Что?

317: Если она тебя не предупреждает, а сама ленится там под капотом где-то, ну и либо контент какой-то плохой создаёт или там выполняет, как спустя рукава свою работу. Вот ты бы как поступил.

318: Ну, во первых, всегда в изначальном проте, делать последним шагом проверь, выполнил ли ты эту работу в этом же контекстном окне, если и так не получается эту задачу решить, по, не знаю, причинам того, что там забивается все контекстное окно или задача там достаточно большая.

319: То просто делать 2, который проверяет, у которого есть критерии, не знаю, достаточно формальные и простые, которые если ты не выполнил, то как бы, иди, иди, переделывай. Так сейчас в кодинге делают. То есть практически работу каждого, кто производит, проверяет.

320: Следующий, кто, у кого очень простая инструкция, как проверить работу предыдущего, ну, лень модели, это на самом деле даже не самое страшное. Там же есть история, ну, мало того, что про галлюцинации, но там есть, например, такая штука, которая называется

321: Алаймент модели, когда она приукрашивает просто потому, что она так научена. Ну то есть её же, там же есть цикл как бы, обучения людей, да, в рамках модели. И люди же как бы, как бы делают свой перенос в рамках проставления.

322: На что-то, что вот эта модель и поэтому, например, модель, она очень плохо критикует. Ну потому что она обучена не критиковать, потому что люди не видят критику, и те, кто проставили баллы на какие-то критические соображения, модели, ставили ей низкий балл, и поэтому оно низко, вероятно, появляетс

323: И потом разные там, ну, культурные всякие истории, а иногда для ряда задач это бывает важно. Ну, вот, например, вот, вот, если вы строите какой-нибудь сервис, не знаю, там разбора обратной связи, и вы такие пишите, так, слушай, а вот Выдай мне все, пожалуйста, негативные отзывы на

324: Продукт.

325: И вот тут прикол, что сама по себе модель, она не знает, что такое негативные для вас. У неё есть своё представление о негативности, и она вам как бы, ну, распределит отзывы совершенно не так, как вам надо, потому что у неё включится вот этот вот элаймент и для неё как бы

326: Ну какие-то вещи будут, типа супер, как бы там что-то некритичное, что-то она сама для себя сгладит, что-то она улучшит там и так далее. И она, собственно, будет говорить как все прекрасно и хорошо. А на самом деле там пипец. Вот. И вот, вот эти штуки страшнее.

327: Вот, как бы, и это тоже нужно как бы уметь обходить. Есть ещё, ну, скажем так, не то, что задокументированный способ заставить модель лучше работать, а прям методология фреймворки.

328: Это ланчей Ланграф, то есть ты можешь выстроить некий pipeline действий, в которых там будут, ну и системные пользовательские промты, и она уже будет вынуждена идти по вот этой цепочке, выполняя все действия, которые

329: Ты заложил, ну, соответственно, либо ты это программируешь, либо делаешь интерфейс какой-то внешний для того, чтобы можно было этим управлять. Ну вот у себя в продукте мы как раз подняли эти все цепочки, мы делаем пайплайны.

330: Есть разные сервисы типа мейки, нейтон и так далее. Это нодовые структуры, где ты можешь последовательно, либо там безусловные какие-то блоки поставить, блоки прерывания и так далее. Ну и соответственно, мы с помощью таких пайплайнов собираем

331: Кастомные ей механики, которые позволяют какую-то конкретную прикладную задачу решить, но она вот именно формализована. Это вот как раз Сергей к тем ограничениям, про которые ты говорил. То есть мы зажимаем модель в те,

332: Рамки, но повышаем качество генерации. То есть тот результат, который мы получаем на выходе, он лучше становится. Ну, в целом это можно самим делать. Либо, как я сказал, можно использовать тот же нейтон, который тоже самое позволяет сделать. Окей.

333: У нас появился снова QR-код с обратной связью и это мне кажется 1 из последних возможностей ваших оценить сегодняшний митап и подумать о теме на следующий митап знаете какой у меня последний наверное будет вопрос, мне хочется.

334: Немножко посмотреть в будущее на базе прошлого. И вот, кажется, вот сегодня там Сергей сказал, например, GPT-3 в 22 году, типа, какие задачи он решает, а какие сейчас там 5 и 4 делают и так далее. Вот как вы

335: Думайте, то есть там было, не знаю, там нейтон н open кло вышел, говорит, типа, да не надо вам агентов строить, я сам все за вас построю. Тут вообще все сейчас делают. Я даже не, я боюсь брать горизонт. На самом деле, я сначала думал, давайте 15 лет, потом, думаю, 10 лет, может быть, 5. Ну, то ест.

336: Месяцев, 5 месяцев. Да, да, да. Какой, какой будет вот это вот будущее, как вы думаете? Ну то есть какой шаг вот сейчас уже там, типа, можно построить, не знаю, там мультиагентную систему уже практически по запросу там, где-то её дотюнить и так далее. Что

337: Дальше. Ну то есть куда мы придём к построению вообще в 1 предложение, типа задачи и все сразу будет. Ну то есть вот где это будущее или все-таки сейчас немножко все замедлится, потому что мы дошли до какого-то уже сценария и каждый последующий

338: Действие будет сильно дольше, дороже и так далее. Ваше мнение субъективное.

339: Ну давай я могу начать, мне кажется, для того, чтобы произошли какие-то глобальные изменения, нужен триггер, да, и, соответственно, вот мы про трансформеры, те лмки там диффузионные.

340: Модели, которыми сейчас пользуемся, они известны там с 17 года. Ну и вот они эволюционируют. А для того, чтобы, так скажем, тектонический сдвиг произошёл, который глобально поменял что-то, нужны триггеры и

341: 1 из триггеров, это то, как используют лмки и сото модели компании. И условно я для себя вот 4 стадии придумал, скажем так, да, 1, это когда ты

342: Ситуативно пользуешься лмками. Ну, это для любой компании. Вот сотрудник приходит, он там какую-то задачу локально решил. Все 2, это когда лм, встроено в процессы. То есть ты уже можешь осознанно сказать,

343: То у нас, Вася есть и Вася, он работает только с лмками, то есть это базис его работы внутри какого-то процесса. 3 это когда ты начинаешь вот мультиагентную систему строить. То есть у тебя есть не только Вася, который с агентом работает, но

344: Много автономных агентов, и они все приносят какое-то ввели. И 4, когда у тебя компания уже имеет мультиагентные платформы и продаёт эти решения на рынок со

345: Соответственно, тогда ты получаешь большое количество обратной связи для того, чтобы принять какие-то решения относительно трансформации тех процессов, которые происходят внутри вот этих мультиагентных платформ. И, скорее всего, вот это вот станет триггером.

346: Это я так предполагаю, да, это моё субъективное мнение станет триггером для того, чтобы принципы работы модели изменить. Ну то есть, если были просто запросы, потом мы перешли к агенти ации.

347: Да, потом к мультиагентным платформам, то следующее будет что-то совершенно иное. Возможно мы будем называть это там супер интеллект или ещё как-то, да, но эта штука, видимо, будет с очень высокой степенью.

348: Автономности, выполнять те задачи, которые мы сейчас вот когда обсуждали и говорили, мы их никогда не делегируем, да, потому что есть нестандартные задачи какие-то, которые решаются нестандартными методами. Это наше

349: Это человеческое, да, а вот для лмки мы дадим что-то конкретное, сделаем какие-то правила, валидацию и так далее. И вот когда мы перейдём на этот уровень, вот это мне кажется, следующий будет виток, следующий прорыв и там дальше он уже будет

350: Масштабироваться ты, да, 5 лет, да, да. Ну, ну, ну, я думаю, на горизонте на уровне 5 лет появляется 5 уровень. Это автономные организации, которые и создаются, и поддерживаются, и развиваются без людей.

351: Да, смотри, создай мне банк. Не вопрос. Да, примерно так. Нет. Ну, ну, может, пром будет сложнее. Создай мне банк для такой-то целевой аудитории, который войдёт в топ номер 1 через 3 года. Д.

352: Все, я понял. Да, и после этого что-то произойдёт. Ну там же, смотри, кроме программной инфраструктуры, надо же, ещё железки, там, ктс и все остальное, да, с этим, к сожалению, пока не справиться. Ну, видимо, либо надо

353: Роботы, да, роботы, облачный сервер. Окей. Слушай, у меня, наверное, противопо, ну, не то что противоположное, но прям супер другое мнение, как оно все будет на самом деле, мы действительно сейчас с вами пользуемся.

354: Самыми простыми и глупыми моделями, которые в целом будут доступны в нашей жизни дальше. Но здесь прикол в том, что сейчас они для нас супер дёшево и это ненадолго. Ну то есть сейчас по факту есть

355: Классных товарищей, которые во главе компании находятся, и они визионерством, как бы, ну, меняют мир. Но там есть инвесторы, инвесторы в какой-то момент, естественно, запросят возврат вложенных средств, и я думаю, что

356: На горизонте, там нескольких лет. Не думаю, что год 2, скорее всего, подольше. Значит, че, че же сейчас происходит в этом смысле? Как бы, они, ну, они, естественно, затребуют возврат инвестиций. Стоимость токена возрастёт кратно больше, понятное дело, на вот этот срок, когда это произойдёт?

357: Сильно будет влиять там проблемы с железом, ограничение уровня связи, там, каналов, там, передачи данных и так далее, и так далее, и тому подобное. Вот. Но есть другое ограничение, ограничение в, ну, как бы, почему это тоже не произойдёт в ближайшее время сейчас для развития моделей, они же

358: Уже скачали весь интернет. Единственное, на чем они сейчас могут дообучаться, это на том контенте, который генерируем. Мы с вами взаимодействуем, взаимодействуя с этими же моделями. И для того, чтобы модели стали ещё умнее. Собственно, нужно накопить вот эту вот всю базу, и это, ну, с какой-то скоростью происходит. И поэтому

359: Порог входа для всех делают, ну, довольно минимальный. А так, в целом, я, ну, примерно понимаю, как бы, некоторую коммерческую логику назовём это так. Я уверен, что, скорее всего, у них в стратегии заложена история, что у них разработчик, например,

360: Тратят не 200 $ на подписку, а половину зарплаты это 1 история, 2 история, уже же был звоночек, в том числе от open и ая, что они хотят претендовать на долю заработка с того, что было разработано на базе.

361: Их систем и как бы в этом плане, как бы, ну, как бы тренд интересный. И поэтому я думаю, что с точки зрения эджая, вот эджай будет доступен вопрос его стоимости и даже

362: Кажется, там тот же самый, как бы там аля мифос в полноценном доступе, который он там может быть, скорее всего, он там будет стоить не 200 $, и просто начнутся выпускаться более мощные модели, которые физическим лицам будут особо недоступны, но будут доступны компаниям, где

363: У тебя подписка будет там не 200 $, а там 10 000 $, например, и так далее. Ну, то есть, я думаю, что там вот в эту сторону оно все пойдёт, потому что, как бы, ну, ребята, как и многие, пытаются заработать денег. Получается, мы сейчас на такой

364: Премиум модели сидим, нам дадут попользоваться, а потом скажут, так и есть. Мы сейчас по факту подсаживаемся на, пользуйтесь прямо сейчас. Понятная стратегия, как бы, ну, мы вкладываем свой интеллект, обучение. Да, да, да, мы вкладываем сами, чтобы потом как бы платить за это больше, и притом, м,

365: Там в каком-то смысле, как бы, ну не тупеем, но как бы мы подсаживаемся на это, и потом без этого жить уже не сможем. Понятно? Отлично. Ну, в смысле, с точки зрения коммерческой капиталистической логики.

366: Что ты считаешь, Серёж? Ну я считаю, что роль точно, сильно, до конца, до трансформируется, и это даже есть график, я не помню, кто-то показывал его из российских руководителей. Я направлений какой-то компании, график.

367: Через сколько там, условно, ситио заменится просто банально, сколько сейчас автономность агентов в часах, вот насколько она будет прирастать. И там сколько точек принятия решения в день делает ситио. И вот там просто график, там, по моему, 28 го.

368: Пересечение как бы количества функций с мощностью модели. И вот сколько она может выполнять автономных задач. Но здесь ещё интересно, что вся эта парадигма и даже про стоимость, она до того момента, пока участники экономии

369: Деятельности, только мы с вами как живые люди, homo sapiens, как только как бы агент станет участником экономической деятельности с какими-то правами. Вот тогда это как бы ещё, мне кажется, след

370: Этап эволюции вообще в принципе экономического какого-то взаимодействия, потому что сейчас платим мы мы решаем там будь то ты человек который платишь 100 $ за подписку или ты инвестор который вкладываешь в openai это все делает человек это его капитал, он понимает что это моё личное.

371: Да, оно там, может быть, на счёту, но оно моё, оно не моего агента. Я, прости, я прям представляю себе, как этот Сбер выпустил 1 банк для агентов. 1 страна, 1 город на самом деле. Ну ведь этот протокол, agents. Or agents это

372: Уже там в екомерсе уже как бы он сейчас появляется, но он опять же это про то, что потратить деньги какого-то человека просто за счёт взаимодействия агента с агентом. Вот когда у агента появится свой счёт, да, или или у эмки появится свой счёт как у openai и она

373: Не, я хочу теперь долю. Вот ты там кодил, сегодня всю ночь я хочу в этом долю, иначе я не дам тебе задеплоить вот это как бы уже про это я даже боюсь думать, как вообще должен быть устроен мир. Поэтому будущее за локальными моделями и контекстом.

374: Да, да, да, да. Смотри, мы сейчас обсуждали, да, и у меня мысль такая пришла, то, что я вас на самом деле полностью, целиком поддерживаю. То есть, мне кажется, мы

375: Дополнили своими мнениями, да, а вот относительно бизнес модели, они же тоже между собой конкурируют. И у них есть понятные ограничения, которые сейчас можно даже обсчитать, это количество электроэнергии, которое

376: Производится и они ну, open яй там грок и так далее x y. Они могут масштабироваться только до того момента, пока им хватает этого электричества и у маска есть.

377: Очень такая прорывная идея. Он говорит, оно сейчас закончится очень быстро, и мы, ну вот мы сидим с вами, да, утилизируем токены, нагреваем нашу планету, да, расходуя электричество, и

378: У Китая больше электричества, поэтому у них очень сильно прогрессируют модели, они просто могут тратить больше на дообучение и так далее. Ну то есть они крутят гпушки чаще и его прорывная идея.

379: Заключается в том, что он говорит, а давайте построим дата центры на орбите, там нету влияния дня, ночи, да, там погодных условий, мы развернём там солнечные батареи и будем запиты.

380: Гпушки от энергии солнца. И, что удивительно, у него есть компания, которая выпускает солнечные батарейки. У него есть компания, которая запускает спутники. У него есть компания, которая производит спутники, и есть компания.

381: Которая может утилизировать токены. Вот грок, да, моделька, которую он использует. Ну и соответственно, если произойдёт вот это, то это очень сильно дисконтирует стоимость токена.

382: В какой-то момент я полностью согласен то, что она сейчас будет расти, может быть даже экспоненциально относительно увеличения качества, но в какой-то момент вот дизрапт, идея, может быть не эта, но какая-то аналогичная, да.

383: Идёт к тому, что стоимость либо нормализуется, либо опять упадёт. И сейчас последняя мысль для интерпрайз, там выйдут совершенно другие модели. Ну то есть они не нужны будут нам как людям, как профессии.

384: Профессионалам, там, да, они будут решать совершенно другого уровня задачи и другого масштаба. Поэтому там оправдана, скорее всего, будет стоимость, которая будет там в десятки, в сотни раз дороже, чем подписка там за 200 баксов, да, если вас спасибо.

385: Если если вас зацепил рассказ Андрея про то, как илон маск строит экосистему, что он на самом деле все знал наперёд, то мы как-то на нашем канале на RuTube есть подкаст, который мы записывали с Костей куликовы.

386: Который рассказывал предметно, типа, почему даже кибертрак появился, потому что он может там ездить по определённым, ну, типа, там, планетам и, соответственно, там добывать эту историю. И на самом деле маск строит всю экосистему, потому что мы даже об этом не думаем. Но, в общем, он там в

387: Рассказал. Дашь ссылочку? Да, да, да. Ссылочку. Вот сейчас зрители видят, а тебе её отправим тоже. Ребят, спасибо вам огромное. Спасибо всем зрителям. Кто были с нами, задавали вопросы, подключались. Было круто. Увидимся.

388: В следующих сериях да. Max спасибо то, что собрал нас, мне кажется, очень классно да, спасибо ну что ж, ждём 2 луну и пойдём на 2 спутник возле нашей планеты все, пока пока да. Всем пока, всем пока.