0: Ну что ж, у нас Ровно минута до старта, поэтому мы можем с вами потихонечку уже начинать втягиваться. Сегодня тема достаточно интересная. Интересна она тем, что есть небольшое противоречие, рак и
1: Когнитивные системы, ну просто потому, что рак, он за семантику отвечает, а уровень когниции, он находится чуть выше. И вот как его дотягивать в реальных системах именно до уровня мышления. Как раз сегодня об этом будем говорить с точки зрения математики.
2: Рефлексии и прочих вещей и где границы на самом деле этому дотягивания. Вот. Итак, ну а пока я давал маленькую вводную, как раз наступили те самые 8 часов. Сегодня у нас будет
3: Открытый урок курса больших языковых моделей. То есть сейчас это достаточно такая интересная тема в плане экспертности. Почему? Потому что все мы уже очень хорошо умеем применять
4: Личные интересные инструменты рабу в этом году исполняется уже 3 года, он у нас достаточно взрослый, созревший. И вот сегодня мы разберём, как перейти от написания хрупких
5: Пронтов к проектированию управляемых распределённых систем. И прежде чем погрузимся, в том числе и в математику, и в архитектурные паттерны. Сегодня давайте проверим качество связи. Вижу, что вы ставите плюсики, но попрошу ещё раз
6: Плюсануть все ли видно, слышно?
7: Да.
8: Так, ну жирный плюс от ивана. Отлично. Вот кто сегодня перед вами, возможно, вы уже кто-то знаете меня и знаете, чем я занимаюсь. Я архитектор.
9: Компания рафт меня зовут Андрей Носов, в том числе я и руководитель ещё школы, я архитекторов отус параллельно с курсом как раз нлпи и advance нлпи веду.
10: Различные проекты уже спроектировал десятки различных коммерческих систем от классических классификаторов до распределённых агентных грантов. И если после лекции у вас останутся какие-то хардкорные такие вопросы по стеку, по
11: Архитектурному н можете мне спокойно написать по моим контактам. Ну а справа как раз ссылка на мой канал, в котором я регулярно публикую те стеки, которые
12: Мы в командах внутренних рассматриваем и экспериментируем, делюсь при этом как раз экспертизой что получается, а что нет.
13: Как я и сказал, наш сегодняшний вебинар, он ориентирован на то, чтобы познать чуть глубже историю, связанную с поиском. Соответственно, я надеюсь, что все мы здесь, кто собрались, топим за практику.
14: Поэтому приветствуются все вопросы, связанные с по типу а как, а почему? А зачем вообще это делать? Задавайте их прямо в чат. По ходу демонстрации слайдов буду делать паузы после каждого сетевого блока, чтобы детально разобрать ваши кейсы.
15: Ага, уже пошло представление. Девелопер с опытом коммерческой разработки. Сейчас активно развивается направление внедрения. Бизнес пришёл на вебинар, чтобы узнать подробнее про, ну, супер именно.
16: Этим и займёмся.
17: Есть ли возможность переключиться на другой микрофон? Звук какой-то гулкий и с реверберацией. Так, ну я не знаю, я сейчас в микрофонный массив на самом деле, говорю у всех.
18: Дребезжит вот у ivan вроде как ок. Попробуйте так. Я попробую делать это громче, меньше дребезжать.
19: Принцип работы нейросетей тоже сегодня будет немножко о компании Коротик, где с помощью компьютерного зрения определяют сборники, но компьютерное зрение сегодня не будет cd инженер, расширяю кругозор да good, пойдём.
20: В сторону как раз от cv немножко в nlp, хотя у них сейчас много общего, особенно на мультимодальном поле и на поле диффузионных моделей.
21: Ага, не прибежит, но как будто далеко от микрофона. Ага. Так, ну давайте вот так вот, чтобы я.
22: Был всем слышен. Я буду чуть громче просто это делать.
23: Будем пробовать, если совсем тяжко станет, то пу пу пу, то не знаю пока че поделать. Попробую в настройках ещё покрутить этого софта. 1 раз сегодня на самом софте диджитал. До этого у нас
24: Был МТС. Вот. Возможно, с этим тоже связаны небольшие нюансы. Сейчас попробуем включить все шумодавилка. Поненты какие у меня есть на компьютере, и, возможно, станет постепенно лучше.
25: Так, ну на.
26: Ловится посторонние, ага, отражение от стен. Ага. Ну, с этим я буду бороться в следующий раз, потому что у меня нет мохнатого микрофона, который гасит как раз вот эти вещи, которые вы сейчас упомянули.
27: Итак, давайте попробуем представиться. Часть уже началась для того, чтобы можно было сориентироваться, в какую сторону сегодня поворачиваем.
28: Внедряю и бизнес кожа на питоне. Ага н 8 н реакт супа супер бм. 25 преподаватель. Отлично.
29: Так, архитектор, слушайте, ну у нас сегодня такой неплохой форум подобрался. Все, все top, в основном, и все из практики, как ни крути, даже в преподавании.
30: В общем то, отталкиваться от практики это, наверное, хороший тон.
31: Так, ну что ж.
32: Тогда двинемся дальше.
33: Не могу не сделать небольшой такой вброс, да, так как мы с вами сейчас как раз на платформе отус, то есть смысл немножко сказать об самой платформе, что же она из себя представляет? То есть вебинар именно на ней
34: Готовится и что вообще даёт платформа отус для таких как мы, в 1 очередь это, конечно, it обучение, но уже на продвинутом уровне. То есть речь идёт не о том, что сесть, допустим, и
35: Взять что-то из учебника или из код кода, да, допустим, а именно показать, а как же это крутится на практике то без галлюцинаций, без додумываний и без таких генеральных.
36: Практик, о которых и так все знают, но никто не использует практически в чистом виде.
37: Мы не учим здесь промт инженирингу для Новичков, хотя, наверное, стоило бы, но здесь именно этот курс будет больше на синьор и видов, которые хотят немножко подкачать экспертизу.
38: Том, что же такое вот этот shift в. И что он даёт на самом деле по отношению к детерминированным системам, которые мы привыкли программировать.
39: Вкратце весь на самом деле пайплайн, он строится обучение на том, что создаются реальные запросы рынка и они максимально мониторятся.
40: Каждый день, и на их основе проектируются курсы, чтобы как раз закрывать более коммерческой разработки, ну или вашего практического ядра, которое вы хотите использовать. Но полученные знания, конечно же, ещё и подтверждаются. Во
41: Прохождения самого курса, то есть вы получаете вот такие сертификатики, дипломы и и на самом деле сертификаты, которые у нас находятся именно
42: Как официальное удостоверение, то есть это диплом профессиональной переподготовки, весомое подтверждение, по сути вашей квалификации не только на российском рынке, но и международном, то есть по запросу компания otus, когда вам необходимо
43: Международный рынок, соответственно, даёт удостоверение международного образца. Все зависит от того, какому работодателю вы хотите их потом показать. Вот сама линейка лотуса, она достаточно большая, я уже говорил.
44: Что я веду всего лишь 3 курса, их 130, и никогда, наверное, меня не хватит копасть, чтобы все 130 попробовать. Поэтому. Но такой рынок, на самом деле, на текущий момент он пробует, экспериментирует и
45: Очень гибкий, очень быстрый на проверку гипотез. Отсюда и слишком много направлений, которые необходимо брать просто как гипотезу, осваивать и пробовать. То есть сейчас буквально все находятся на уровне апробации гипотез и
46: И работодатели, да, получается, и те, кто хотят работать, те, кто хотят найти работу, отчаиваться здесь не нужно. Такая ситуация, она повторяется раз от раза и будет, наверное,
47: Ещё чаще. Поэтому просто стандартным методом проверки гипотез вы, соответственно, находите своё направление и спокойно в нём двигаетесь.
48: Ну, от вводной части. Давайте, собственно, двинемся в когнитивные архитектуры. В чем здесь вообще суть когнитивные архитектуры? Они основаны ещё на правиле, которая
49: Да, в 46 году, который опубликовал как раз 1 свою работу по снижению именно энтропии пространства, состояния генерации.
50: И который как раз заложил целый фундамент. Я сейчас сказал много умных слов, давайте по-русски скажу. То есть буквально такой великий учёный, который создал теорию информации и сказал, что, ребята, теория информации.
51: Будет передаваться и соответствовать во всем, во всех вычислениях, законам энтропии. Энтропия это, собственно, распределение информации на прямой, да и к чему это, собственно, привело нас в 2000
52: В 26 году это нас приводит к тому, что в 1 очередь необходимо отказываться от монолитных Пронтов. Если вы видели, как устроен клод мди, там ничего монолитного не существует. Вернее, в самом начальном состоянии он такой и был в 25 году.
53: Но сейчас это полноценная распределённая система понтов строго в сторону как раз строгих ограничений графа. Именно следующий шаг, когда создаётся правильная вот эта вещь, да, создаётся граф, именно поиск по ней и
54: И за счёт этого дисперсия ответа монолита она будет возрастать экспоненциально, с длинной контекста, приводя к Такому выраженному эффекту деградации внимания.
55: Практически часть сегодня будет, ну, в смысле, вся практическая часть будет с моих слов, как это было в продакшене. То есть сегодня же у нас вебинар ознакомительный, а на практику требуется все-таки целевая аудитория, поэтому сегодня не будет. Вот, но все
56: Не уходите, будет нам интересно как минимум, хотя бы в виде лайфхаков, которые можно взять с собой в практику. Вот, и на будущее. Да, и чтобы сильно не расфокусировать всех остальных, я буду все-таки
57: Накапливать ваши вопросы и паузы них отвечать. Давайте вернёмся. Вот на чем остановился, остановился на том, что вся эта история когнитивная, она все-таки начинается с промта. Как спроектировать
58: Правильный запрос и в нём не потеряться. То есть здесь есть несколько законов, которые позволяют обязательно в этом потеряться. Это вот как раз 1, это законы, связанные с энтропией клода шеннона, которые говорят нам о том, что система должна быть
59: Распределённый, это она будет максимально устойчива. A2, это как раз закон, который к нам приходят Ровно от нейросеток, а именно эффект деградации внимания от который
60: Выявил лю, такой он был учёный в 23 году. Он опубликовал как раз статью, где сказал, ребята, трансформеры это сильно, в общем то, забывают прям посередине. И так как сейчас мы живём в трансформерной парадигме, в основном
61: Конечно, диффузион и ещё нескольких различных нюансов, которые являются гибридами, скорее с трансформерами. Мы всю эту историю с прямо сильно наследуем во всех продуктовых.
62: Решениях и вынуждены с ней мириться. Поэтому, формализуя каждый узел, как частично наблюдаемый, допустим, процесс Маркова, это цепочные правил, что такое вообще процесс Маркова? Это процесс принятия решений.
63: То есть процесс переноса бизнес логики из вероятностных весов модели в детерминированный граф вызовов буквально на практике в бэкэндах финтеха там екоммерса это будет предотвращать галлюцина.
64: Когда вы захотите, допустим, какие-нибудь скидки рассчитать, или прямые обращения к базам сделать, или джейсоны кривые, да, чтобы не приходилось их валидировать, потом думать, как их выправлять. И вот главное ограничение.
65: Подхода это накладные расходы. В 1 очередь самым главным накладным расходом здесь будет задержка, то есть за счёт несколько последовательных вызовов н для обработки 1 последовательного интента у нас будет накапливаться вот это время
66: Обработки, как на практике это обычно преодолевает. Ну, 1, конечно же, кэширует. Если у вас система высоконагруженная и по запросы повторяются, то этот лайфхак работает на все 100, то есть буквально
67: Терминированный графа через redis и по хэшу входных его для снижения таймер токен все это приводит в состояние где-то до 50 миллисекунд работает быстро, хорошо, весело. К чему я?
68: Вообще, на самом деле такую такую вводную дал подробную именно о когнитивных системах к тому, что все это rock точно не сможет покрыть. Вот мы сегодня с вами придём к тому, в каких
69: Границах он остановится. Какие кейсы он будет решать, а какие не будет.
70: И пройдём к этому, к этому именно по маршруту таких 1, как обычно, нельзя начинать никакое дело, не собрав бэкграунд а вдруг кто-то его уже поделал и подделал лучше, чем мы, поэтому мы его попробуем подсобрать.
71: Здесь мы, соответственно, пройдём от эволюции архитектурных концепций к изоляции компонентов, к методам, к методам масштабирования. То есть понятно, что мало построить систему, нужно её
72: Сделать ещё полезный многим и полезный на больших данных. Последовательно разберём ключевые паттерны и, наверное, их суть применения в продакшн ограничениях. Ну и в конце получим
73: Такой практический чек лист для аудита собственных агентных систем. Главная цель, которую сегодня попробуем достигнуть. Я уже её, наверное, сказал несколько раз такие абстракции, как
74: Научить нас научиться выстраивать именно архитектуру, устойчивую к непредсказуемости генеративных моделей, дальше научиться правильно изолировать контексты это важно, важно не только с его длинной
75: Работать, но и корректно его изолировать, дальше строить петельки, такие самокоррекции, внедрять автоматический контроль качества и за счёт этого. Ну то есть видите,
76: Да что от поиска. Собственно, среди того, что я перечислил, там, наверное, маленькое ядро, только осталось все остальное. Это харнесс и отвязка. Харнесс. Это как раз отвязка. Вот.
77: Все именно это только и позволяет создавать ai сервисы и те кто пришёл сегодня из бэкэнда скажут так я это делаю каждый день ну совершенно верно, вы это делаете каждый день видимо продолжите, потому что сам по себе a он требует вот этой.
78: Бруй переводится. Слово, кстати, сбрую неспроста, да, видимо, лошадью надо как-то управлять.
79: Ну да, да, да, все, все так. Ну я так перевожу, мне так, по крайней мере, как минимум понятно, что если на лошадь сдую не накинуть, то она никуда.
80: Не поедете никуда.
81: Итак, ну и, собственно, сделать при этом классный поиск, как и обещал, давайте пробежимся немножко с бэкграунда. То есть сама эволюция стека, она проходит достаточно, ну,
82: Такой простой путь от условной вероятности, которая была, да, до сложного асинхронного графа агентов. Сразу же вам подскажу, что асинхронный граф агентов это на сегодняшний день такая далёкая звезда. Ни разу.
83: Её не видел в продакшене. Ну, честную, настоящую. Но, как говорится, звезда должна быть высокой. Да, мы её тем не менее, тоже затронем. Вообще история с агентами неоднозначна в продакшене на сегодняшний день все, что угодно называют агентами.
84: На самом деле их там не живёт ещё. То есть буквально наш продакшн. Ну, назовём российский продакшн ееще доэволюционировал до продакшн методов только на уровне, наверное.
85: На уровне Скилов, что ли, на уровне Скилов и Пулов. Вот. Но чтобы именно проектировать самих агентов и их взаимодействие это только пока на уровне экспериментов, поэтому сразу же давайте разделимся
86: Здесь, то есть что есть продакшн, а что есть ресерч? Вот в ресерче вполне себе парадигма живёт и чувствует себя комфортно, и скоро вырастет во что-то действительно устойчивое, наверное.
87: А в продакшене её там не бывало никогда. Попробуйте её туда засунуть, и вы не сдадите проект прямо процентов 80 даю, не сдадите.
88: Вот поэтому всегда будьте осторожны, не путайте ресепшн с продакшеном.
89: Следующее, куда это все дело эволюционировало, то есть именно идём с вами от условной вероятности. Дальше. Асинхронный граф агентов. Вот посмотрите на stage three такой мегапром какая здесь проб?
90: Заключается вот как раз она и заключается в том, что у нас есть у аттеншена квадратичная сложность и размытие внимания декодр по словарному распределению. Мы же с языковыми моделями работаем и
91: Обязательно вот этот эффект на себе ощутим. Если брать на лингвистическом уровне, то мега промт, он создаёт такой большой семантический шум. Ну то есть буквально куча Смыслов ни о чем, из за чего модель начинает игнорировать критические
92: Инструкции в середине контекстного окна в продакшене такой перенос логики на микросервисных агентов, он сокращает расходы на токены. Конечно, на 40% мы этому сильно радуемся за счёт исключения как раз дублирования системных инструкций.
93: Но все равно понадобится распределённая система, которая будет управлять, ну, если из команда, то есть мы создаём глобальные переменные и локальные переменные, которые, по сути, являются тем самым мегароном. А все, что
94: Под самими переменными уже хранится отдельно.
95: Ну и стейч 4 немножко о звезде, да.
96: Здесь почему до сих пор нет такого, такой штуки в продакшене, хотя все они громко говорят и маркетинг особо громче всех здесь сложность отладки, просто сложность отладки распределённых, рейс кондишнов и синхронизации состояния между независимыми.
97: Сегодня нерешённая задача ни математически, ни логически, ну, ни продуктово, соответственно. Вот. Поэтому это до сих пор ресерч, чтобы хоть как-то упрощать вот эти вещи, да.
98: Контролировать. Также рекомендую обратить внимание на пайдантик джон схемы 7 уже как раз вышла, которая вот в 7 в себе содержит ещё и принудительную валидацию норме клиентских библиотек типа instructor и
99: И outlines так ну мы ещё 1 маленький блок, сейчас посмотрим с вами и вопросы, потому что уверен, что они у вас потихоньку начинают в голове созревать.
100: Что видим на данном слайде, да и о чем он нам нужен должен
101: Какое послание он нам должен дать, чтоб задуматься? И как мы вообще можем это порешать? Кстати, я самое главное то не сказал. Сегодня же у нас такой овервью большой. То есть мы такой helicopter view с вами накидываем, а все плюшки практики. Вот вы.
102: Уже спросили залезть в метод, раскрутить, сделать экстеншн. Это все вас ждёт как раз на самом курсе. То есть буквально когда сидим на занятии и раскручиваем это все по винтикам. Смотрим, какие винтики действительно.
103: Толстые это какие? Ну просто так, для красоты прикрутили.
104: Что здесь у нас на самом деле в фундаментальной парадигме вот этой энтропии, которую мы с вами рассмотрели.
105: Как я и сказал, это такой пу пу пум, как бы сказать то такая минимизация вариативности модели.
106: За счёт выноса как раз логики в жёсткие внешние условия.
107: Здесь первые вот такие вещи, которые позволяют разносить все это по различным условиям. Это температура семплирования, сужение токенов словаря, который как раз нам влияет на семантический шум.
108: За счёт логи Байса и лексический фартинг весь смысл здесь заключается в том, что подход заключается в переводе такой задачи из открытой генерации в закрытую классификацию.
109: То есть, вы, ну, тем самым, как бы, немножко систему обманываете. То есть, все говорят, ну, вот свободная генерация, свободная генерация, ну, она не совсем свободная, она реально стремится к тому, чтобы стать несвободной классификацией. Вот, продакш.
110: Эта маршрутизация запросов, она реализуется через базовые такие вещи. Да, может, кстати, вот здесь такой подход. Обычно начинающие эсники, они приходят и говорят, так, давайте, г.
111: Все поставим, он нам порешает, это вовсе не обязательно google, если что, до 2002 года жил вообще на и весь google.
112: Вот это super Лёгкий алгоритм, который вполне себе можно поставить вместо Белла, и он будет работать и решать большую часть вопросов, которые вам необходимы без привлечения гпо. Вот поэтому всегда необходимо
113: Как раз то, с чего я начал собирать бэкграунд и понимать. Ага, есть вот такие подходы в этом мире, кто-то их уже порешал, ну, с разными ограничениями. А вдруг мне подойдёт? Если не подойдёт, то как минимум я начну скрещивать крокодила.
114: И получу своё, то, что мне нужно. Вот здесь, конечно же, без ошибок не обойдётся. То есть есть и ошибочные классификации на верхнем уровне роутера. Допустим, если она совершена, то у вас и дальш
115: Все пойдёт тоже именно по кривой, поэтому на верхнем уровне, как правило, устанавливается самый жёсткий порог, самый жёсткий конфиденс стрессо для того, чтобы у нас сомнительный
116: Запросы, сразу улетает в ну и
117: Пока мы с вами не перешли как раз дальше именно к самим паттернам, давайте попробуем разобрать вопросы этой вводной части. Какие возникли, пишите, звоните, говорите, или если их не будет, то
118: Можем двинуться дальше, вот тем самым накопим их.
119: Говорить о галлюцинациях. Можно ли сказать, что использование рак и построение системы является защитой? Нет, нельзя сразу же смотрите, рак сам по себе это
120: Как сказать, ну, можно сказать, что это поиск по семантическим фактам. То есть это даже не поиск по фактам всем в этом мире. То есть мы буквально не можем числовые факты на ради искать, потому что цифры это семантически немотивированные.
121: Единицы. И они, ну что, 1, что 10 семантически одинаковые. Вот. А мы можем использовать рак только по именно по семантическим единицам. Причём здесь есть ограничения по 1 семантической единице, не более
122: Потому что если мы начинаем делать распределённый рак, то с каждым добавлением, допустим, сложных запросов, типа найди мне ручку и свари кофе. Вот эта
123: И, соответственно, добавлять бас на поиск. Такое нам не очень хорошо использовать, гораздо легче поставить здесь, масштабироваться именно горизонтально и на каждый случай именно выявлять каскадом все эти вещи.
124: Тогда это будет борьба за точность, да, борьбу за скорость. Мы немножко проиграем, но точность в этом случае каскадом решается. Вот что такое human in the loop это ещё большая вакансия, это буквально мы человека не уби.
125: Из цикла работы поиска, что не всегда возможно, согласитесь, потому что порой
126: Ну, хотя все зависит, на самом деле, от бизнес процессов, которые поставлены в компании, ну, человек, сидящий, допустим, и банальные вещи, проверяющий там, за, за поиском, типа, дайте мне Клопов 15.
127: Штук, а клопы это гвоздики. Вот, и проверяющий именно это, это сопоставление, конечно же, в векторном поиске это раз от раза будет съезжать, порешать это можно именно до обучение, но
128: Смысл лучше каскад поставить на тех же Попов и все.
129: Вот human и the loop стоит точно применять, когда у нас системы критичные, то есть не чистый рак, поиск, а именно уже полноценная большая система, например, система, там, не знаю, помощника оператору, когда у нас возникает эскалация.
130: То тот человек, который оказывается в лупе, он решает параллельно несколько задач, он не 1 кнопку нажимает, а несколько сразу. И да, это тогда имеет смысл. Но если он сидит на такой атомарной маленькой задаче, то будет выглядеть как человек.
131: Как вот я когда-то смотрел документалку немецкую ночью, когда бизнес процесс построен так что 1 человек через Шрёдер бумажку пропускает, a2 потом.
132: Эти бумажки склеивает. Возможно, так работает фсб, кстати, до сих пор, но шутки шутками. Сильно большая томанть она приводит, ну, как сказать, к очень большой убыточности бизнеса, мне кажется, здесь тоже стоит
133: Наверное, вот эти нереально. То есть всегда есть треугольник такой, деньги, скорость, качество. И вот нужно, чтобы они были как минимум в балансе.
134: Так, пользователь заходит давайте я все-таки вопрос до конца дочитаю, а то здесь разглагольствовал до середины вопроса, заходит в telegram, бот задаёт вопрос если уровень модели в ответе низкий, она отвечает минуточку, д.
135: Да, после этого пользователь отвечает службу поддержки. Ну, собственно, все, что вы описали, оно так и работает до сих пор в телефонии именно, то есть, буквально так и работает, потому что сломать телефонного робота, ну, до сих
136: Очень легко, и именно поэтому там будет всегда оператор. Другого ничего лучшего не придумали.
137: Смотрите, последний ваш вопрос. Можно ли говорить, что при таком подходе вероятность стремится к нулю? Нет. Вероятность упаковки бизнес процесса стремится к успеху. Вот так, наверное, можно будет сказать, но
138: Если выявляете галлюцинации на системе, а при этом садите человека, который будет, по сути, ну, как бы обманывать эту систему, то здесь, наверное, чуть чуть разные метрики должны быть применимы. Поэтому, если вы хотите
139: Действительно, какие-то бизнес метрики нет, то human хорошо там играет. Если вы все-таки хотите потюнить именно как поиск, то human здесь не про то, чтобы эти метрики увеличить.
140: Так, ну что ж, давайте двигаться дальше, непосредственно к паттернам. Какие паттерны будут помогать? Да, про бизнес, несомненно, так и работает. Здесь вы описали подход, который более
141: В бизнесе. Если вы проектируете систему, если она не содержит хьюман делу, это огромный риск, огромный риск. Именно финансовый, даже если она у вас супер идеальная, то human in the loop там заложен. Ну,
142: В какой-то доле эта доля может снижаться со временем, но в базовом проектировании он там должен быть всегда, на мой взгляд, опять же только на мой. Ну давайте к паттерн.
143: Который на самом деле как раз определяет именно качество поиска. И самый распространённый, самый известный из них в рагах. Это подход реакт ризони энд акти был предложен Яо. Сегодня будет много китайцев.
144: Они очень плодовитые ребята, и концепций у них было много. Так вот, и это тоже предложил китаец в 2022 году Яо. После этого действительно появились полноценные рак системы, кото
145: Стали 1 рассуждать. Ну давайте попробуем расшифровать, что такое react да, р это рассуждение ризни акт это действие сервилии, это наблюдение, ну и модель, по сути,
146: Делает следующее. То есть она её заставляет именно генерировать каждый раз явную такую цепочку мыслей. Кстати, подход к цепочке мыслей может быть тоже разным. То есть мы можем
147: С различными расширениями использовать. И вот ещё 1 китаец. И тоже в 22 году вей. Он показал, что сама цепочка мысли, она вполне себе самостоятельный такой паттерн, который
148: Не обязательно конвертируется в граф по итогу. Ну, то есть, если мы вспомним, да, как эволюционировал ланчей Ланграф, да, Ланграф, это, по сути, фо, и постараемся на этом не зацикливаться, потому что chain, она не всегда
149: Переходит именно в графовую структуру, а имеет кучу различных экстеншенов, что даёт поле для того, чтобы, допустим, необязательно использовать тяжёлые графовые системы, тяжёлые графовые оркестраторы для того,
150: Чтобы составлять агентству агентную сеть, и более того, скажу вам проще, у нас нет таких процессов, пока отрепетированных в компаниях в счёт того, что эволюционно они развивались в robo процесс.
151: Процесс это всегда линейные цепочки, вот с небольшими экстеншенами, да, которые как раз может покрывать. То есть можно не выходить за рамки ланчен от слова совсем. Ну то есть
152: Вот буквально, Ланграф, если вы поставите, то это может стать просто пушкой по воробьям в какой-то момент. Поэтому всегда смотрите, отслеживайте, откуда пришёл процесс, где его границы, если вам хватает лето.
153: Нет никакого смысла ходить в графовое представление. Ну, я ещё немножко скажу позже, где графы именно пригодятся. Это точно. Вот. Но в большинстве робо процессов, автоматизированных и на следующем уровне именно агента
154: Графы не пригодятся.
155: Да, да, да, очень, очень подозрительно. Похоже на эль. Да, об этом я тоже сейчас скажу. Кстати, да. Вот, ну, или можем пола.
156: Этот счёт буквально в паузу. Вот что ещё хочется здесь сказать, что если совершаются какие-то во время как раз обработки на реакте, синтаксические ошибки аргументов, то они очень быстро
157: Устраняется и для этого были специально разработаны такие механизмы, как constant корень сейчас этот метод он является 1 из основных на это движок или outline, тоже движок инференс, менее известный.
158: Делается там это все на уровне синтаксиса, который как раз разрабатывал ееще холмский на в 75 году. Это так называемые бнф. И вот в продакшене до сих пор реакт все-таки применяется.
159: Ему уже, вот смотрите, 4 года он начал входить в продакшн. Я помню, мы его 1 раз в 23 году попробовали, вот. И до сих пор он находится в продакшене, то есть применяется именно для построения, например, таких систем, как текст.
160: Если вы когда-нибудь сталкивались с системами, где нужно дешборды отрисовывать текстом, да, то есть говоришь, допустим, отрисуй мне, пожалуйста или покажи мне, пожалуйста, статистику в графиках.
161: По продажам. Вот в этих системах реакт маст хэв. То есть где здесь action получается, это выполнение селектов, да, в побер мы обычно делаем, нам его хватает, потому что
162: Нагруженных, сильно больших систем, если будет в клик, спокойненько их просто мигрируем, переводим и все. Вот. Ну так вот, то есть на action, соответственно, вы закладываете его под селекты, в, а вот именно обсервейшн.
163: Результат выборки, он как раз распределён, то самое. О да, и в 1 базовый уровень, где нужен
164: Недостаток у паттерна тоже есть наверное не главный, а просто недостаток это риск попадания в инфант клуб, то есть бесконечное вот это зацикливание если инструмент постоянно возвращает ошибку исполнения runtime чтобы.
165: Это покрыть опять небольшой костылик. Это Макс Стёпы. Обычно их выставляю 2, 3, чтобы систему сильно не глушить, но некоторые ставят и по 5.
166: Или же можно ещё проще сделать, сгенерировать системный такой стоп токен при повторении одинакового экшена пару раз. То есть и сразу какой-нибудь стоп токен срабатывает.
167: Запомните вопрос про дискуссию с релем. Мы к нему ещё вернёмся. Следующий паттерн их будет 6. Пока 6. Не пройдём, не остановимся. Потом все вопросы. Паттерн 2 это координатор. Маршрутизатор по другому.
168: Его особенность в том, что он должен вычислять сходства как правило, сейчас он может вычислять эти сходства любыми доступными способами, алгоритмами, но сейчас парадигма легла в то, что косинусное сходство есть ли у кого-то понимание почему?
169: Именно косинусное. Ну или, по крайней мере, такой вопрос. Если есть, напишите, мы его разберём. Вот косинусное сходство здесь обычно рассматривается между вектором запроса и центроидами доменов.
170: У нас вектор интент здесь сопоставляется с узким системным протом и изолирует весь лишний словарь и инструменты.
171: Что мы решаем с помощью этого подхода? Ну вот ту самую проблему с нидл. Итак, кстати, вот это Средина, забывание нидл Инета хате, оно тоже где-то в 23 году возникло, то есть
172: Когда буквально да, да, да, точно, com камрат был такой учёный, он в 23 году статью сделал, и он так и называется нидл, имя хайста, то есть Средина забывания.
173: И в это же время как раз и появился подход с координатором, который позволяет это забывание устранить, то есть устранить загрязнение контекста нерелевантными схемами ипиай и
174: В продакшене обычно это паттерн, семантик роутера, семантик роутер можно реализовать как на основе лмки, но это будет дорого. Если вы богатый человек, то да, и качественно, ну относительно. Либо же натравить на это.
175: Легковесную какую-нибудь модельку берто, подобную дебету, например, которая будет классифицировать у вас интент за 15 миллисекунд до обращения к генеративной модели и спокойненько идти дальше. Что такое?
176: 15 миллисекунд человек моргает за 250 миллисекунд. Ну то есть вот буквально сейчас попробуйте моргнуть это 250 миллисекунд, 15 миллисекунд это вы моргнуть не успели. Вот.
177: Какие здесь есть ограничения? Ограничения здесь это неспособность корректно обрабатывать вот те самые мульти интенты. Помните, в самом начале я вам сказал, что у рагга есть такое ограничение, но вообще на самом деле
178: С ним пойдёт навсегда. То есть это реально базовое ограничение, которое может решиться только хармсом. Вот обвязкой сверху и больше ничем. Поэтому мульти на мульти интенты, рак изначально не был рассчитан.
179: Содержание именно одновременно вопросов по поддержке там какой-нибудь и по биллингу одновременно. И ещё кофе принеси. Нет, так так будет работать с каждым разом, понижая качество. Вот обы.
180: Используют очень много костылей на этот счёт. Там, например, ставят мультилейбл классификацию с расщеплением запросов по, по кьюри, через какой-нибудь лексический анализатор. Ну, базовый мы вот делали ещё в 23 году, конечно, спайс сейчас все, чере.
181: Он даже через маленькие вот это работало, но это костыль, то есть базово. Рак на это не рассчитан от слова совсем. И костыли, конечно же, совершенствуются, но
182: Как и любой костыль добавляет 2 таких неприятных вещи. Это поддерживаемость вашего слона на стрекозиных ножках. И 2, это, ну, анбординг в этого слона.
183: С лета ты не заедешь, чтобы его не поломать, если вдруг вы решите передать его кому-то. Ну и я не говорю уже, конечно же, о латенси, которая точно же накапливается с каждым дополнительным костылём.
184: 3 паттерн, который мы с вами посмотрим сегодня. Напоминаю, что у нас сегодня обзор, поэтому мы сильно не буримся прямо вглубь вещей. Вся глубь вещей будет на курсе. Вот этот паттерн 3, да?
185: Он чуть чуть позже всех возник. Практически в 24 году. Его банк предложил, сегодня будет много китайцев, я уже говорил, да, он экспериментировал с ламой и открыл для себя такой прикольный эффект. Назвал его
186: План энсо. Проми. Что такое план со промли? Это такое представление плана в виде направленного циклического графа. Циклический граф это drug. Да, модель. При этом.
187: Генерирует такую формальную последовательность Шагов. Это, это математический алгоритм, если что, зашитый прямо напрямую, тоже как костыль, который декомпозирует глобальную цель, и каждый шаг он исполняется изолированным таким легковесным
188: Боркером я сказал, что он с ламой экспериментировал. Вот легковесный боркер, который он использовал, был как раз на lana 3 восьмимиллиардный, и делается это все параллельно с независимыми ветками графа.
189: Где это сейчас, например, можно встретить под капотом, например, если бы вы хотели создавать автоматические аналитические отчёты. Вот там, где мы, помните, брали тексту Эскель, можно создавать не только графы, но
190: В смысле, вот отрисовывать эти графики, да? Ну и параллельно формировать отчёт, то есть, где Плано как раз разбивается на разбивает всю задачу на сбор данных, расчет метрик и отрисовку графиков.
191: Есть ограничения у этой штуки, но они как будто бы не мешают ей выйти в продакшен, и она там живёт. Если 1 шаг у вас генерации плана здесь будет содержать сразу какую-нибудь критичную такую галлюцинацию неболь.
192: Если небольшую, то вообще не страшно. Он её пропустит, потому что дальше семантический шум порешает. Вот. Но если прямо совсем кардинально, то есть где дрифт идёт, там на 50% и больше, то вся последующая параллельная ветка.
193: У вас сходит и выполнит бесполезную работу.
194: Поэтому тот же вам он говорит, ребята, я знаю, что вы с этим столкнётесь, и поэтому предлагаю вам ееще реплайни степ, то есть буквально когда получаешь ответ, после, 1 результат, после
195: Каждого ключевого узла. Далее ты запускаешь этот алгоритм при планинга, он медленней, но при этом действительно порешивается вопросы с тем, что не по той ветке графа улетел ваш запрос. Вот.
196: Я сегодня очень много буду ссылаться на tex, потому как обратите внимание, что задачка текст, она решается как раз запросом единого факта единого интента, если что-то случае еди.
197: Selecta да, если и делается это как бы, ну, последовательностью запросов.
198: И если вы будете проектировать дальше продакшн систему, то рак это именно про как раз последовательные запросы. То есть, если вы буквально не можете порешать 1 запросом систему, да?
199: Вернее, вам, вам регулярно ваши пользователи не задают вопросы простого порядка, типа, который, ну вот в лоб, да, спрашиваешь, что написано в 15 строке. О тебе сразу говорю. В 15 строке написано то,
200: Идеально справляется. Или скажи мне, как звали там майкла джексона по настоящему? Вот. И он такой, майкл джексон, по настоящему такой то такой-то был вот в этом случае.
201: Да, будет работать не на сложных запросах, поэтому каждый раз впендюривать сценарий, когда он, допустим, опускается какая-нибудь постановка по типу. А давайте сделаем поиск себя, и вы такие, ну,
202: Давайте и вам ещё сверху прилетает. Ну, рак то вы поставьте, вот вы всегда можете это возражение отработать, сказать. Ну, я поставлю, конечно, рак, но он не порешает, если у вас такие вот сценарии.
203: Или вообще их отсутствие и они, возможно, ещё только появятся.
204: Pattern номер 4. Здесь все интересней. Паттерн разработал другой китаец. Его звали шин вообще в 23.
205: Году был бум, на самом деле на все паттерны, и после этого новых не возникло, как ни странно.
206: Все просто, все, все методы взяли и использовали правильно, на самом деле заметили в самом начале про эрелль. А вот здесь вот этот паттерн, если кто-то видит в нём сходство, напишите с чем.
207: Это более базовый ли алгоритм?
208: Не, не, конечно же, не такая пушка, это по сути, замена градиентного бустинга, градиентного спуска. Пардон, то есть замена здесь градиентного спуска накоплением прост.
209: Текстовых рефлексий, кратковременной памяти при получении ошибки от среды у нас
210: Вот этот наш эвалюатор, да, компиллер, он генерирует функцию потерь в виде текста, и что происходит у нас происходит как бы итерирование за счёт фидбэка, всего промта.
211: И изменяется распределение вероятности генерации всего кода именно на уровне как раз вот этих итерирований.
212: Если мы сейчас посмотрим, да, допустим, где бы это могло быть применимо, то это генератор эскуэль. Либо, если вы хотите поставить рак на сторону девопса, тоже будет работать. Прикольно на самом деле и хорошо это
213: Генерация терраформ скриптов, ну то есть буквально поиск по terraform скриптов, где рефлекшн будет поднимать метрику любую, да, которая вам необходима по запросу за всего лишь 1 2 операции самопроверки есть.
214: Экспоненциальный рост расходов на токены, да, это loop кодинг, все так, то есть, ну, буквально пару Лупов и все готово.
215: Вот так. А че я сбился то немножко?
216: Да, здесь за счёт вот этого луп кодинга будет расти рост расходов на токены. То есть будете чем больше Лупов будете ставить, тем больше стейк рейсов будете ловить в контекстное окно. Ну и
217: Соответственно, 2 здесь проблемы. 1, если деньги не проблема, то кончится контекст. Когда-нибудь 2. Если деньги проблема, то, то вы уже сразу теряете буквально с каждым запросом, с каждым
218: Все больше и больше.
219: Обычно эти стектрейс, стектрейс, да и гуп вот этот просто за счёт регулярок сжимают, оставляют только тип ошибки или тип запроса, номер строки, номер сообщения, то есть буквально ставят сверху.
220: Чтобы подавать дальше в prompt, да, в контекстное окно только заготовленные регулярки этого, как правило, хватает, потому что все остальное содержится в системном проте как контекст вот так вот обычно стараются.
221: Экономит деньги, но лук никуда не девается.
222: 5 паттерн это уже история, та, которая из будущего.
223: Я о ней рассказывал ещё в сентябре, наверное, 25 года, ну, уже полноценно. И мне тогда говорили, ну, и где ты это внедришь? В итоге, как бы, за год я внедрил только 1 раз эту штуку. Вот.
224: Мультиагентный консенсус классная вещь, очень сильно когнитивную часть прокачивает, но чтобы её доставить в продакшн, очень проблематично с точки зрения денег. То есть паттерн здесь опирается на такую теорему.
225: Теорема называется кондорсе. Это вам обязательно дома посмотреть. Должны же быть домашнее задание. Сегодня, вот вам сегодня посмотреть теорему кондорсе. На самом деле теорема кондорсе, как и, наверное, вот этот паттерн.
226: 80 на 20, да, парета это по сути, эвристика, полученная с жизни. Вот она про вероятность. И если применить её на агентах, то она говорит о том, что вероятность правильного решения группы
227: Зависимых агентов стремится к единице, и чем больше их число растёт, тем ближе решение принято к единице. Примем, что единица у нас это абсолютная правда, и это очень легко доказывается. То есть такой экспери,
228: Есть дебаты мультиагентные, берут несколько агентов, генерируют гипотезы, критикуют аргументы оппонентов и через дальше, как это математически то на самом деле связать? Берут кросс, аттеншен, дискуссию и связывают. Вот
229: А если с точки зрения человеческого языка объяснить, то есть такой критик, который ищет логические неувязки, нарушения фактологии, несоответствие стиля, там ещё какие-то шрифты, отклонения и об этом сообщает где?
230: Эта штука должна была бы классно работать. На мой взгляд, работает на самом деле в медицинском кейсе. В 1, который, кстати, сейчас опубликован в форбс. Он получил свою премию, поэтому посмотрите буквально
231: Июле месяце. Вот, но вообще может работать и в юриспруденции, в медицине, и во всех тех вещах, где необходим консилиум, то есть буквально когда какие-то
232: Ну вот, допустим, вам нужно принять лекарство. Да, естественно, вы на себя будучи, ну, умным человеком, такую ответственность не возьмёте. Представьте, что там начнут люди от этого лекарства умирать, как мухи, и такие все придут и на вас пальцем покажут. Не, не так будет.
233: В природе, наверное, не можете. Вы как умный человек скажете, ну давайте мы соберём несколько этических комитетов, там, локальные, глобальные, региональные. Ну, в общем, соберём Ровно столько народу, чтобы вызвался консилиум, в который пальцем не
234: Тыкаешь слишком уж много вот в реальности это приводит к тому, что согласование
235: Ну да, теорема то классная, да, вот, в общем, в реальности к чему эта история приводит к тому, что если вы собираетесь с кучей консилиумов, то у вас вопрос не решится никогда, ну или близко к никогда.
236: То есть обычно посмотрите, сколько лекарств заходит на российский рынок. Ну, года по 3.
237: Да, презентацию, презентацию. На самом деле, к организаторам. Я здесь, к сожалению, связан по рукам и ногам. Если они выложат её, то да, потому что принадлежит она полностью организаторам. Вот.
238: Ну так вот, остановился я как раз на кейсах, где важен консилиум. И вот этот подход с мультиагентным консенсусом там работает и заменяет на самом деле реальные консенсусы, которые необходимы и на него тоже особо пальцем не потыкаешь.
239: Кроме как вероятность принятия решения, поэтому на 1 кейсе он все-таки прижился и keith работает прекрасно вот паттерн номер 6 надо.
240: Собственно, вопросы.
241: Логично, что от консенсуса очень важно перейти к тому, чтобы не стопорить линейно всех агентов, как это можно сделать. Базово. Да, конечно же, нужны распределённые системы. На сегодняшний день такой системой вполне себе справляется темпоро.
242: То есть буквально мультиагентная система, сложно настраиваемая, которая абсолютно может натравливать на viking до 50 различных агентов, и они вам будут ваходить 50 разных проектов, пока не кончится там, допустим, у вас бюджет или пока вас
243: Не забанят. Вот, но с определёнными паузами вы это можете делать бесконечно. То есть, по сути, вы такую мультиагентную систему заводите в событийно ориентированной такой шине базово в сентябре прошлого года, я рассказывал,
244: Именно про подход с кафкой и нам. То есть агент здесь внедряется как бессерверные подписчик в поток, который обрабатывает джейсон, пакеты событий без прямого участия человека. Дальше идёт преобразование входного.
245: Подхода векторное представление почему по байтов потому что скорость нужно сохранять дальше происходит все в режиме реального времени с триггером по порогу аномалий. И че здесь вообще? Зачем здесь языковая модель тогда?
246: Все и так случилось, да, но языковая модель здесь все-таки нужна она извлекает сущности паттерна, неро да какой-нибудь легковесной модели или все-таки большой языковой, и намерения из асинхронных Логов и генерирует?
247: Структурированный такой реактивный пилот, где это можно применить? На самом деле, я в продакшене эту штуку ещё ни разу не применил. Ну вот, кроме того, что как бы, да, рассказал
248: Сейчас, но вообще можно было бы её применить на реагирование аварий в Кубах. То есть у вас если крутится весь production кубернет, то есть агент здесь будет читать логи Подов и формировать пиары исправлением манифесто сразу очень
249: Удобно, девопс в этом случае ещё больше чая успевает выпить.
250: Опасно. Здесь есть это сетевые ретраи, то есть вы буквально можете задублировать выполнение сайд эффектов, например, повторной отправки транзакции, и тогда у вас вы хакните свою собственную сетку, поэтому
251: Формируйте вот, чтобы это порешать. Просто терминированный ключ импотентности и который проверяется через редис. В редисе. Есть такой блок дистрибьютив, в котором он будет лежать. Ну то есть буквально проблема создаёт
252: Проблема решается. Вот. А теперь давайте перейдём, собственно, к вопросам, которые я успел пропустить.
253: Так па па па пам па па пам.
254: Схема реакт как-то подозрительно похожа на схему эрен да, похоже, но не хватает ей функции наград и политик на самом деле типа pp вообще в целом да, то есть есть.
255: Такие переходы и есть смысл в эту сторону посмотреть по кодингу, вроде как подискутировали Иван сенкью вери мач, что вы всех просвещаете. Вот я надеюсь, что все
256: Поглубже закопается теорема прикольная на самом деле, как и теорема капа. Кстати, вот на 3 теоремах все держится. Если вы их будете держать у себя в голове, то на самом деле к вам когда будут приходить, допустим, и говорить
257: А как мы перераспределим бюджет разработки, говорите, парето раньше, допустим, было 80 на 20, 80. Было какое-нибудь разработка, 20 тестирования. Сейчас все наоборот, будет такие. Спасибо.
258: Следующий вопрос.
259: Так, по презентации Василий, к сожалению, здесь у нас Камила должна быть, наверное, и она может, наверное, какой-то ответ дать. Если она даст зелёный флаг, то прям ноу проблем.
260: Так давайте двигаться дальше. Ух, как время то быстро бежит.
261: Немножко уже посмотрим в ту историю, что находится за
262: А, ну что, у легко легко, как парета и
263: Полное, если её название сейчас.
264: И. R.
265: Вот как-то так.
266: Так, двигаемся дальше.
267: Если с врагом разобраться, все хорошо, он работает линейно и прекрасно, но его нужно как-то на самом деле проверять, и методов проверки существует множество. Я вам расскажу об 1 и
268: Вскользь упомяну ещё несколько вот самый, наверное, такой, который жил до сегодняшних дней, и который потихонечку будет уходить, потому что, дорогой, ну, деньги никому не охота тратить. Это метод основан на море.
269: Он ещё в 23 году возник, но популярным стал только в 26. Он использует до прокинг и форматированный скоринг по шкале леккер. Что это значит? У нас оценка буквально формулируется как вероятность.
270: Где модель судья считает, классифицирует семантические такие критерии прям в джейсоне и заставляет модель выписывать цепочку аргументов перед тем, как выставлять финальную оценку. Почему
271: Именно таким способом, а не классическими там мерить accuracy ещё какими-нибудь методами, да, потому что
272: Как правило, есть очень много сайд эффектов. Например, эффекты, завязанные на дата бриках, на токсичности, на контекстуальности. Ну, вообще, не говоря о том, что ещё и метрика галлюцин
273: Галлюцинирование как-то тоже должна формально формализоваться, да, и вот эти все метрики, они, естественно, больше идут от сравнительных методов, которые как раз и реализуются с помощью
274: Наличие системы смещений, моделей, в данном случае предпочтение какого-то типа ответа, да, и вот чем оперирует подход же, там есть 2 основных таких концепт позишн.
275: Это предпочтение 1 ответа и вербозити Баяс это Любовь к длинным текстам, и вот он всегда на самом деле принимает решение базово, как раз просто ориентируясь на длину или краткость, а только потом уже.
276: Рассчитывать все остальные метрики. И здесь это нужно держать в голове. Это ещё, кстати, 2, наверное, 2 гвоздь в гроб этого подхода, помимо денег. Но помимо денег, конечно, начали делать
277: Более такие модельки специализированные, типа прометея, которые позволяют малыми силами без привлечения большой модели за счёт доменной прокаченности пореши ать вопросы. Но есть подходы гораздо более нативные. Это, например,
278: Проверять семантический поиск графовым поиском. То есть вы буквально заводите двухполый проход, имеется ввиду графы, они же деревья бывают, но вы заводите там, допустим, от точки к точке проход и за счёт
279: Это прорешиваете связанность связанности как метрики вполне достаточно для того, чтобы сказать, что факт состоятельный. Если этой связанности нет, значит, вы факт просто рандомно пальцем тыкнули куда-то, и он дешевле, чем м подход быстрее.
280: Не факт, но вот точно дешевле. Вот, ну или совсем, если дёшево хотите повешивать, решайте регуляркой.
281: Вот, но это, конечно же, на очень Узких доменных кейсах, где супер, супер, наверное, заточенные сценарии, которые не будут никогда расширяться. Ну и, а да, ещё, конечно же,
282: Среди нас есть продукты. Я сегодня услышал эти замечания. Не слышу, почему атесты? Не говорите тесты вполне себе. Здесь все порешивается есть никаких. Просто берете тест.
283: И спокойненько дорешивать эту историю проводите оценку со сменой порядка вариантов a, b, b a. Усредняете полученное значение и вуаля готово.
284: Подходит ли? Да, Григорий, смотрите, рак системы вам подходит до тех пор, пока у вас фак является точкой однозначности. Вот с точки зрения
285: Сбора данных. Вы всегда можете ответить на этот вопрос. А вот с точки зрения, с другого конца, если взять пользовательского
286: То вам на это должен ответить продакт. Он должен сказать, что, ребята, я точно знаю, что здесь пользователь себя будет вести Ровно так. Вот, в таких ограничениях всегда и у них всегда будет только
287: Ну, как бы не мультиклассовый запрос одноклассовых, и тогда вы говорите, да, рак будет успешен. Ну, то есть вы буквально себе не вешайте дополнительную петлю на шею, что вам принесли непонятный сценарий. Говорите все, ра.
288: В этом случае доля неуспешности, вероятность неуспешности всего проекта у вас очень высока.
289: Противоречие, с 1 стороны, факт предполагает поиск 1 наиболее подходящего ответа, типа того, с другой для м. Обычно рекомендуют передавать несколько. Нет, здесь нет противоречий вообще 0. То есть смотрите,
290: Путайте топ k когда вы передаёте да, вы передаёте его целиком, но на его основе все равно генерируется 1 тип ответа, то есть сфокусированный на основной интент и если у вас в топ k пришли 10 интентов разных.
291: Ну понятно, что у вас ответ будет максимально размытый. Устроит ли вас это в ответе?
292: То есть он не будет перечисление вам передавать. То есть у вас буквально будет усреднение. То есть у вас был жираф и бегемот, а на выходе придёт, ну там бегемот, ну тот же, либо больше бегемот, либо больше.
293: Жираф, но все равно с артефактами от другого товарища, которые были вот
294: На практике, при построении фак систем смотрите на базе рак приведёте мне, если успешную фак систему, вот она и будет, наверное, самой простой.
295: Ну, Ровно этот подход, Артём, я и говорил в самом начале. То есть вы буквально будете делать харнесс, то есть буквально будете делать перед рагом все вязки, которые ему позволят работать однозначно хорошо, если
296: Отвечать на вопрос григория, то здесь история в том, что вам все равно придётся привести систему в надлежащее состояние, чтобы она работала именно так, как алгоритм того позволяет и
297: Артём, вот вам как раз даёт эту 1 подсказку. Она не единственная, если что, то есть мультиинтенциональным, ограничение у ран.
298: А зачем? Ну то есть вы буквально смотрите, если топ 1 используете, то вероятность вашего гибкого поиска семантического, она бесполезна. Вам нет смысла. Ну, вернее так, чтобы получить топ 1.
299: Именно точный вам необходимо условно конфиденс завернуть в максимальную близость к единице, чтобы у вас ну этот топ 1 случался максимально верно чем больше вы распускаете топ k, тем больше.
300: У вас вероятности, что да хоть какой-то 1 верный ответ то попадёт.
301: Вот, то есть это буквально, это прямое отличие от фасетного поиска. То есть поисков бывает много разных. Если вы встречали, то rock тот же гибридный, да, он обычно ещё с бм 25 в паре идёт.
302: Чтобы можно было как минимум хотя бы полнотекстовый поиск по алгоритму рф как раз
303: У меня система вопрос. Ответ. Ну, вопрос. Ответ. Пробуйте. Все зависит от того, какой вопрос. Если у вас ответ однозначный, да, а вопрос неоднозначный, то, соответственно, здесь небольшое нарушении.
304: В смысле будет и вам нужно будет вопрос приводить в соответствие. Как вам Артём написал, например, разбить на несколько интентов?
305: Вот как-то так, надеюсь, ответил на ваш вопрос.
306: Ух, там че то много пришло всего.
307: Бм, 25 спасает. Ну, Иван, вам тогда сразу на закуску обратите внимание, как он работает на разных длинах. Реально есть разные бм, 20 пятые. Ну, то есть вот здесь ещё несколько некст, несколько.
308: Шагов вперёд можно сделать в эту сторону, то есть не брать его из коробки, допустим, удрать, он сразу из коробки идёт, а пытаться смотреть, какие есть там, бм, 20/5, если мне не изменяет память.
309: Штук 20 разных, поэтому тоже стоит подбирать каждый раз под свой кейс.
310: Так, ну что ж, давайте двигаться дальше, чтобы дойти все-таки до финала. Тема, понимаю, дискуссионная, поэтому и взял.
311: И мы с вами добираемся как раз до тех вещей, которые сейчас ещё только в продакшн стучатся. Это распределённый агентный граф сегодня теорему эту уже упоминал, да?
312: Теорема cap. И как раз агентный граф именно по этой теореме и будет работать. То есть мы вынуждены каждый раз будем жертвовать согласованностью ради доступности при сетевом разрыве математика. Задержек здесь будет каждый раз.
313: Описываться с помощью экспоненциального быкофф с джиттера. И если у нас, допустим, 1, м, вернее, так 1 м узел будет сбоить как-нибудь, ну, допустим, по таймауту, то в этом
314: Случае, какая основная постановка? Он не должен обваливать весь наш граф, весь наш. Дак, чтобы этого не происходило. 1, нам понадобится как раз изоляция. Изоляция. Есть такой паттерн, серкит брекер или
315: Эдгар, через него как раз мы изолируем процессы при падении как раз вот этого сирки брейкера.
316: Если вдруг он сам задумает упасть, то применяется паттерн как раз вернее, так тот же самый паттерн, что сидит внутри серии брейкера, который говорит нам о том, что необходимо трафики постоянно.
317: Менять, переключать каждые 50 миллисекунд, если приходят определённые триггеры на локальный тот же самый паттерн работает на его замену. То есть буквально, если он упал и 50 секунд миллисекунд не пингуется, то восстанавливается.
318: Как солдатик рядышком дополнительный, поэтому эта система вечная, пока не отключат, не отключат электричество.
319: Здесь может возникнуть при такой вот постановке ещё 1 проблемка небольшая. Это рейс кондишн. То есть когда у нас одновременно будет обновляться вектор памяти агента и одновременно будут обновляться. Вернее так.
320: Вектор памяти агента будет сразу на нескольких параллельных потоках обновляться, поэтому нужно их как-то блокировать и есть целый подход, который так и называется оптимистичная блокировка или optimystica конкрети контрол.
321: Он обычно не 1 бывает, он используется вместе с слово, вылетело из головы. Ладно, это просто версионирование записи в векторной базе.
322: Например, в pg, векторе, или в куранте, или ещё где-то, блин, как же слово то называется, ладно.
323: Когда мы с вами вот эту мультиагентную систему подымем, и она будет работать, напомню, что уже есть, в принципе, нормальные паттерны, в которых можно запускать, например, temporal, нам необходимо будет каждый раз смотреть, насколько она хорошо работает здесь.
324: Не обойтись без сквозного логирования трейсинга я обычно раньше говорил давайте ставить lan фьюз пока не узнал об эрайз, потому что arise на текущий момент обладает большей гибкостью.
325: И работает memory позволяет избавляться нам от 3 баз минимум. Это значит, что мы экономим на поддержке, экономим на вызовах, да, много на чем экономим и работаем намного быстрее.
326: Вместе с тем получаем аутпут Ровно такой же, поэтому эрайс маст хэв.
327: Ну и если как раз идти в современную парадигму, особенно весенние наши взломы со всех сторон, то тоже пару слов о безопасности здесь она именно на раге выстраивается на принципе разделе.
328: Плоскости управления, контрольного плана и плоскости данных. Буквально когда вы будете службе безопасности как раз презентовать ваш рак, вот эти 2 ключевых паттерна, их обязательно нужно будет упомянуть и реализация ваша дол.
329: Должна быть именно такого плана. Обычно продакты заносят такую историю. Не знаю, где они её прочитали. Давайте делать мультитенантность, она все порешает. Нет, во первых, мультитенантность находится в бете до сих пор большинства.
330: Векторных баз у большинства только в 1 нет, это база от яху.
331: Просто потому, что там придумали, какие ограничения искать. Во вторых, мультитенантность, она вовсе не про защиту, мало чего она защищает и гораздо проще вам будет рыбаком это все покрыть, чем сидеть, изобретать на уровне базы вот эту мультитенантность.
332: Если хочется действительно закрыться по безопасности, то всего лишь 2 подхода.
333: Которые вполне себе прописаны и в джипиай, и в фзк во всех. То есть, что они делают. Модель работает исключительно в плоскости семантики на плоскость контроля доступа у вас валидируется терминированным т анализатор.
334: Его обойти невозможно. Ну то есть это буквально дерево. Вот здесь проходят манипуляции. Если вы вдруг захотите закинуть там прямые непрямые какие-нибудь инъекции, они просто бессильны, если исполнение кода просто изолированно
335: У вас движком и в продакшене обычно используют, ну, например, в банках у меня только 1 кейс с банком реализованный, но в банке вот это вот это очень хорошо работает. То есть буквально изолируете.
336: Движком просто никакие не проходят инъекции 0 никогда вытащить ваш провод тоже невозможно.
337: Вот, а вот если вы хотите действительно на уйти, то просто авторизуйтесь через os 2 рыбак. Все это делается на бэкенде среди нас. Они сегодня есть, они, в общем то, на этом, наверное,
338: Съели уже ежа. Да как же все-таки, если б я очень хотел взломать, если среди нас есть чёрные хакеры, как же можно это все взломать? Но в банке у меня все равно ничего не взломаете, потому что
339: Этого прикрылся. Вот если у вас кидать знания о правах пользователя, как это можно сделать? Ну это вот вопрос тоже на домашнее задание очень легко я вам скажу вот тогда
340: У вас начинает генерировать ложные обещания в тексте, то-то там и после этого тихонечко систему вашу на, в общем, накручивать на инъекцию. Вот обязательно. Нет, не скажу. Сами сами попробуйте.
341: Найти ответ на вот этот вопрос. Как от этого избавиться? Пусть будет домашка небольшая. 2, видимо, уже на 1 я, кстати, дал. Ну итого, итого мы с вами
342: Давайте подведём небольшой чек лист. Что же мы посмотрели? То есть мы посмотрели с вами фундаментальные паттерны именно самого рага, который можно буквально по винтикам разобрать.
343: В течение нашего курса будет и понять, что же ставить и куда посмотрели паттерны даже от исследовательской группы антропин, я вам не сказал, но большинство авторов, которых я сегодня приводил, они, в общем то, антропки построили. Обыч.
344: Это все складывается в такой детерминированный сэндвич жёсткий входящий парсинг, вероятностная генерация, жёсткая исходящая валидация и лингвистический вывод здесь, наверное, в том, что все это ограничивается ееще грамматикой джисон схемы.
345: Нулевым допуском свободной текстовой формы. И вот тогда у вас будет получаться плюс минус продакшн система на рагах рабочей об ограничениях. Сегодня мы с вами поговорили о рефлекшн петлях, поговорили о о
346: Chaos инжиниринге поговорили, вот, то есть достаточно много вещей, ну и финалочку предлагаю посмотреть ещё разок тех авторов, которые я сегодня упоминал, они как минимум дадут вам
347: Неплохой буст в движении, если что данный QR не работает, можете не пытаться его сканировать, вот случайно сломал его.
348: Он уводил на самом деле на страницу именно источников, которые здесь, в статье, приведены так ну и давайте все-таки теперь перейдём к небольшому ещё intro ваших вопросов.
349: Так, хочу освоить рак в качестве примера выбрал следующую задачку насколько я помню, для рак обычно не рекомендуют использовать топ k. Ну да, так это абсолютно не имеет смысла, то есть.
350: Буквально весь семантический поиск просто себе загнёте и все. Нет, в моём случае в базе всего 1 вопрос и 1 ответ. Это не влияет. Поэтому возник вопрос, подойдёт ли такая задачка для изучения рака или для этого лучше выбирать
351: Большим количеством данных. Ну, конечно. Во первых, вам нужно базы действительно сделать совершенно, ну, хорошую, боевую какую-нибудь рабочую. Возьмите туда, положите хотя бы вопросов 200, чтоб по ним. Ну что
352: Проследить, где семантика ломается. Вот это 1. То есть искать нужно всегда среди чего-то.
353: 2 попробуйте все-таки в ваших запросах вести себя как человек, отвечать кратко отвечать, лениво отвечать, через раз отвечать не то, что вас спросили, посмотрите, как будет вести ваша система.
354: Rock абсолютно от этих вещей не защищён, как ребёнок.
355: Так, давайте ещё несколько слов о организационном порядке, чтобы мы все успели, у нас немного времени, но мы постараемся уложиться.
356: О самой программе. Учебная программа вообще состоит из 6 таких Глубоких модулей. То есть ребята расскажут о трансформерах изнутри мультимодальный архитектуры. Посмотрим.
357: Обязательно, потому что это ключевой pointe и каждый модуль у нас будет сопровождаться описанием продакшн кода. Обязательно на питоне. Вот кто сегодня про практику спросил, там на каждом занятии есть все будет лицензироваться менторами.
358: Домашки и курс будет защищаться, завершаться защитой архитектурного проекта, который не стыдно будет показать на собеседовании, даже когда вы его сделаете. Вот
359: Так вот, он выглядит сама программа перед вами преподаватели, здесь курсы ведут, практикующие эксперты из Сбера высшей школы экономики, других продуктовых компаний. Ну, я в том числе
360: Ведущий архитектор и руководитель вообще архитектурного департамента компании. А, простите, и каждый из них обладает своим, наверное, таким,
361: Ключевым. То есть если я топлю все за продакшн больше, то есть ребята, которые прямо вам из ресерча принесут горячие пирожки с самых топовых конференций, которые только что случаются, кто-то вам принесёт истории, связанные
362: С такими, скажем, фейлами, потому что, ну очень важно понимать, где все это дело фейлится, чтобы как минимум складывать на будущее понятный, понятный стек, ну и
363: Двигаемся дальше. Что есть отус, я уже рассказал, да, то есть все занятия проходят в формате таких живых интерактивных вебинаров голосом, текстом ещё чем-то записи уроков, презентации, репозитории и прочее.
364: Все это сохраняется в вашем личном кабинете, в том числе презентацию, которую вы сегодня попросили. Вот сегодня я не могу её предоставить, потому что нет зелёного цвета света на этой истории.
365: Пум да, самое важное если захотите вдруг в этой истории поучаствовать, то мы долго всех не ждём, через неделю стартуем и 4 месяца погружение будет вот этот QR-код работает.
366: Сканируйте его прямо сейчас, чтобы забронировать место в группе. Ну и размер группы будет ограничен. То есть мы не можем буквально 100 500 человек туда позвать. Будет такая дисперсия по знаниям. Боюсь, что не очень хорошо получится.
367: Пожалуйста, заполните, заполните вот ту 1 самую ссылку в самом начале, которую я скинул. Наверное, сейчас ещё разок попробую её найти и добавить.
368: Это ссылка на опрос, то есть опрос, в общем то, про то, ну про ваши эмоции. Попал ли я в точку, смог ли что-то новое вам дать, возможно, чего-то не хватило и так далее. Это, наверное, даже
369: Вот такие истории. Я помню вопрос. Я вижу его. Ну дайте буквально минутку закончить, приходите в офис.
370: Канады. В 22 году бот дал клиенту обещание, которое противоречило компании, запросил возмещение
371: Посоветовал забронировать, подать заявку на возврат. Компания отказала в возврате. Ага. Ну слушайте, сейчас такие истории фифти фифти прокатывают. То есть компания, которая борется за клиентов, возврат все равно бы сделала. Ну вот.
372: Не обеднела. Вот. Но история хорошая, потому что придумки этих вещей будут. И рак 1 из пилюлек, которая как раз эти придумки убирает из нашей жизни.
373: Всем спасибо за сегодняшнюю такую дискуссию. Мы уложились с вами очень точно, Дмитрий. Какой-то вопрос. Насколько законченного курса по классическим н достаточно для успешного
374: Ну, Дмитрий, вы его практически прошли, я скажу так, то есть этих знаний будет более чем достаточно, но, поверьте, новое вас точно ждёт, потому что нлпи, это связка не только
375: Математики, стохастики и прочих вещей. Но там ещё куча есть нюансов с лингвистики, психологии и с с физики, да, там очень много, в том числе и физики. Вот, поэтому я
376: А что вам такой наборчик вполне себе зайдёт в дополнение к тому, что у вас уже есть под рукой?
377: Так, ну всем хорошего вечера. Прекрасно. И любите, и осваивайте новые высоты. До свидания.