0: Всем привет. Как вы знаете, яндекс gpt доступна уже более чем там полтора года. И за это время мы очень много пообщались с клиентами, с партнёрами и чаще всего практически от любого клиента. Мы

1: Слышим следующий набор фраз. Предложений. У нас есть корпоративная Вики, у нас есть конфлюенс, и мы хотим построить эйчар бот, который будет работать с этой Вики. Или же у нас техническая поддержка. Мы хотим её помочь этой технической поддержке, чтобы модель

2: Отвечала на вопросы по какой-то базе знаний, по каким-то документам. Или же я хочу встроить чат бот на сайт, который должен знать про мою компанию, про продукты, которые на сайте, и отвечать. Основываясь на эту информацию. И, что более важно, он должен не только использовать ба,

3: Знаний, но ещё уметь поддерживать диалог и учитывать контекст при ответах. Если все это суммаризировать и выделить основную идею, то запрос звучит следующим образом. Языковая модель должна знать про мой бизнес, про мои бизнес процессы оперировать

4: Данными, которые лежат внутри компании, и отвечать на вопросы, опираясь на эту информацию. Как можно решить такую проблему? Есть 3 подхода. 1 подход это собрать с нуля самостоятельно. Многие компании, у которых особенно есть хорошие крупные айти,

5: Деллы собирают такие решения уже самостоятельно. Некоторые из них используются в проде, но это требует, во первых, разработчиков, которые обладают компетенциями работы с языковыми моделями. Это требует разработки, тестирования. В общем то, достаточно долгий процесс. 2 подход это

6: Обратиться к партнёру. У нас есть много классных партнёров, которые умеют делать такие решения, и что немаловажно, они умеют работать с очень сложными данными. Часто встречаются ситуации, когда есть таблицы, есть графики, есть сложные изображения. С этими данными нужно работать, и как раз партнёры умеют, Решат

7: Такие задачи, но во многих сценариях каких-то сложных данных нету. И кажется, что эту задачу можно автоматизировать и как раз использовать готовое решение, про которое мы будем сегодня рассказывать, как выглядит вообще процесс работы с таким ассистентом, с таким

8: Bottom. Я подгружаю какие-то данные. Это может быть 1 документ, это может быть несколько документов и затем по этим данным строится поисковый индекс. По этим данным будет происходить поиск и модель должна отвечать с учётом этих данных. Затем я как пользователь сдаю

9: Модели, вопрос. Модель делает поиск, находит нужную информацию и возвращает мне результат. В идеале у меня есть какие-то инструменты, которые позволяют разметить качество, дать какую-то оценку ответу ответа и затем переобучить модель или переобучить систему с уче.

10: Этой обратной связи. Так вот, встаёт вопрос как научить модель знаниям и процессам компании? Для этого сегодня мы расскажем про ai ассистентов. Здесь я передаю слово Олегу, который расскажет более подробно технически, как это выглядит.

11: Всем привет, и давайте начнём сначала с того, что в целом обсудим, а что мы имеем ввиду под e ассистентом, потому что может показаться, что это просто какой-то новый модный синоним для больших

12: Языковых моделей для Эли лемок, который просто приятнее звучит и лучше продаётся, но на самом деле это не совсем так. Прошло уже примерно 2 года с момента релиза 1 версии чат gpt где-то полтора года с момента 1.

13: 1 версии яндекс, gpt и вот буквально недавно пользователи начали понимать, как и какие задачи они вообще хотят и могут решать при помощи языковых моделей, и, как вот, сказал Дима, наши партнёры также начали обращаться к нам.

14: Запросом на решение каких-то своих внутренних задач. Но проблема здесь в том, что воспользоваться моделью из коробки недостаточно. Скорее всего, конечно, она будет работать и, возможно даже неплохо, но если вы начнёте строить какую

15: Это решение какой-то не самой тривиальной задачи на основе существующих инструментов, то вы неизбежно столкнётесь с рядом проблем, о котором мы, о которых мы поговорим дальше. Так вот, под ассистентом я предлагаю понимать какую-то какое

16: Это решение конкретной задачи, которое, конечно, базируется на больших языковых моделях, но ими не ограничивается и включает в себя какие-то дополнительные инструменты и решения. Так вот, какие же задачи возникают? Ну, во первых, вы столкне

17: С необходимостью контроля параметров вашей модели сегодня в ипиай для Лиллем можно передать, например, инструкцию чтобы скорректировать поведение модели. Можно передать какие-то параметры генерации, например, темпера.

18: В конце Концов, выбрать саму версию модели, с которой вы работаете, и как бы пока вы пользуетесь, это просто в режиме чата, здесь проблем не возникает. Но как только у вас появляется какой-то набор нескольких сценариев, которые каждый из которых

19: Требует разного набора параметров. Здесь возникает желание начать эти параметры, где-то хранить, как-то уметь ими управлять. Возможно даже захочется какое-то версионирование. 2 пункт это пользовательские сессии. Сейчас каждый вызов

20: Для элелем требует передачи полной истории, полной истории сообщений пользователя с моделью. Ну, как минимум, это просто неудобно, и это усложняет разработку, особенно если у вас больше 2 пользователей, потому что тогда на каждого пользователя прихо,

21: Своя история сообщений. Её тоже теперь нужно где-то уметь хранить, как-то с ней работать. Более того, размер контекста модели, он ограничен, и по мере того, как увеличивается ваша история сообщений, вам необходимо самостоятельно следить за тем,

22: Чтобы она умещалась в этот контекст. Ну и, наконец, кастомизация моделей под ваши персональные нужды. Конечно, сегодня модели стали ещё более умными, они ещё лучше решают задачи из коробки, но все ещё есть ряд задач, с кото

23: Модели справляются недостаточно хорошо. Либо вам требуется, например, какой-то Лёгкий тюнинг. Допустим, формат ответа, который вы ожидаете от модели. И если с первыми 2 задачами более менее все понятно, то на кастомизации я сейчас остановлюсь подробнее.

24: Я здесь грубо выделил 3 подхода к кастомизации 1 это промт. Инжениринг звучит солидно, но фактически он заключается в подборе подходящей инструкции к модели таким образом, чтобы она решала задачу.

25: Как можно лучше, то есть дообучения модели здесь никакого не происходит. Фактически происходит, происходит подбор оптимального запроса к модели ретрив мента, дженерейшен или проще рак это способ.

26: Внедрить знания о какой-то внешней базе, базе знаний, внедрить информацию о какой-то внешней базе знаний, например, вашей документации, какой-то Вики в контекст модели. Здесь тоже в общем случае никакого дообучения не происходит и на

27: Файнтюнинг это как раз способ непосредственно дообучить модель на каком-то наборе данных с целью повышения качества на каком-то конкретном сценарии и коротко пройдёмся. Какой способ в каком случае выбрать? Ну 1 главный вопрос требуется ли вам работа?

28: С вашим, с внешней информацией, с вашей базы знаний, с документацией и прочим. Если да, то ваш выбор это рак. И если нет, зависит от задачи, если задача простая, или же у вас, например, нету или очень мало данных для того, чтоб

29: Чтобы сделать дообучение, стоит обратить внимание на prompt инжениринг. Ну и если задача сложная и при этом у вас есть достаточно данных для того, чтобы модель потюнить, то ваш вариант это файнтюнинг. Про промт. Инжениринг я подробно рассказывать здесь не буду.

30: Файнтюнинг был затронут на 1 из предыдущих докладов, поэтому мы остановимся на раге. Давайте посмотрим на общую схему того, что из себя представляет рак. Мы берём пользовательский запрос.

31: Идём с ним в нашу базу знаний для того, чтобы найти набор наиболее релевантных документов нашему запросу. Эта стадия называется ретрив. И далее, имея на руках уже извлечённый релевантный контекст из этой базы, мы его каким-то образом

32: Комбинируем с нашим запросом от пользователя и отправляем уже на генерацию валлем, чтобы она могла ответить, опираясь на найденный контекст. И эта стадия называется аугмент дженерейшн. То есть, ну, мы, по сути, аугментирую запрос внешний

33: Информации и выглядит это довольно просто, но на самом деле на каждом из этапов возникает дополнительный набор задач, не всегда простых, которые требуется решить. И давайте остановимся на каждом из этапов.

34: Подробнее 1 ретривал, то есть поиск наиболее релевантной информации в вашей базе знаний. Здесь обычно выделяют 3 подхода. Это полнотекстовый поиск, например, алгоритм бм 20

35: 5 это известный пример реализации полнотекстового поиска, который в своё время очень активно использовался поисковыми системами, да, и на самом деле продолжает использоваться. Если очень упростить, мы ищем по ключевым словам. То есть мы берём набор наших документов в базе знаний и смотрим

36: В каких из них наиболее часто встречаются слова из нашего запроса, и таким образом ранжируем их и выбираем какой-то топ наиболее подходящих, и основные достоинства это простота и скорость работы, но у него есть.

37: Большой недостаток, он не учитывает семантический контекст. Проще говоря, если, например, у вас есть какой-то запрос, на котором все хорошо, вы можете попробовать заменить какие-то значимые ключевые слова в запросе на синонимы и с высокой вероятностью качество

38: Ухудшится просто потому, что в исходных документах эти синонимы не присутствуют. Далее векторный поиск или иногда его называют семантический, он базируется на больших языковых моделях. Мы используем здесь текстовый

39: Эмбеддинги коротко поясню на всякий случай про текстовые эмбеддинги проще говоря, это вектор чисел, который генерирует нам большая языковая модель на основе входного текста, и модели обучаются таким образом, чтобы наиболее близкие по смыслу.

40: Тексты кодировались в наиболее близкие по расстоянию векторы и, наоборот, наиболее разные по смыслу слов тексты кодировались наиболее далёкие по смыслу, извиняюсь по расстоянию, векторы и вот благодаря.

41: Свойствам языковых моделей в случае векторного поиска у нас получается набор векторов, которые соответствуют документам нашей базы, и мы из них ищем наиболее близкие по расстоянию к вектору запроса, которые нам присылает пользователь.

42: Это, этот подход, вот как я уже сказал, благодаря свойствам языковых моделей демонстрирует сильно более хорошее качество, но он также не без недостатков. Самый значимый из них. Это требует больше вычислительные ресурсы. Как минимум вам нужно, если у вас довольно большая база знаний.

43: Вам необходимо все документы пропустить через языковую модель и потом на каждый новый запрос применять эту языковую модель. Ну и последнее это гибридный поиск, это комбинация первых 2 подходов. То есть мы ищем и по ключевым словам, мы ищем и по эмбедингам, и затем некоторым образом

44: Агрегируем это в 1, в 1 результат, который уже в дальнейшем используем, и если все сделать хорошо и правильно, то, как правило, он делает ещё лучше, чем векторный поиск.

45: Да, но для того, чтобы нам что-то найти, нам нужно сначала построить нашу базу знаний. Давайте посмотрим на какую-то простую схему того, как это может выглядеть. Ну, во первых, имея на руках наши документы, нам нужно превратить их в чанки, то есть набор

46: Гораздо более мелких Кусков нарезать наши документы на мелкие кусочки. Для чего это делается? Ну, во первых, модели эмбеддингов, они также имеют ограниченный размер контекста, а просто отдельный документ он может быть гораздо больше. Кроме того, в принципе,

47: Чанкованный поиск гораздо более точным просто потому, что, как правило, для ответа на запрос требуется какой-то небольшой фрагмент из документа, и его сильно проще найти, если это часть какого-то небольшого чанка.

48: Чем если это часть целого большого файла, например, имея на руках эти чанки, мы пропускаем их через модель эмбеддингов, строим эмбеддинги в случае текстового поиска или гибридного также считаем ключевые слова и, наконец, все это объединяем в поисковый

49: Индекс, проще говоря, строим базу данных, которая умеет эффективно осуществлять поиск релевантных документов по нашему запросу.

50: Да, на поисковом индексе подробно я останавливаться не буду. Это отдельная большая тема. А вот со всем остальным возникает набор задач. Во первых, наверное, вы бы хотели, чтобы после построения базы базы знаний ваши документы где

51: Централизованно хранились, чтобы, ну, как минимум, вы могли их потом переиспользовать для построения других баз. Дальше все, конечно, хорошо, если по какой-то причине у вас в вашей базе знаний ткст файлики, но, скорее всего, это будет doc или это будет pdf, а значит нужно умеет

52: Это распарсить, нужно извлечь данные. А что делать, если файл содержит табличные данные, как эффективно и правильно с ними работать? Это сейчас актуальная проблема. В общем, требуется уметь работать и поддерживать различные

53: Реальные форматы данных. Что касается Чанков, ну, во первых, их самих тоже нужно где-то хранить и необходимо реализовать 1 из, ну или, в общем, необходимо выбрать алгоритм, по которому вы эти чанки

54: Врезаете их тоже существуют разные варианты. Нужно выбрать наиболее оптимальный. Кроме того, размер чанка очень сильно влияет на качество поиска. То есть здесь нужно покрутить много разных ручек и подобрать наиболее хорошее работающее решение и nacho.

55: Поисковый индекс. Вам нужно выбрать какое-то решение для поискового индекса. Конечно, сейчас существует много разных менедж решений, которые из коробки умеют, в том числе, например, и построить имбединги, и с ключевыми словами, работать и может

56: Даже за вас пошинкуют все это дело, но все ещё остаётся за вами выбор наиболее подходящего для вас решения. Это требует какого-то ресерча настройки всей этой системы. В общем, подводных камней здесь хватает.

57: Да, и давайте. Теперь мы построили нашу базу знаний. Мы рассказали, обсудили, как можно по ней делать поиск. Давайте теперь посмотрим на финальную стадию генерации. Как мы уже обсудили в начале выглядит в базовом варианте. Все просто. Мы берём наш

58: Запрос. Идём с ним в базу, находим релевантные документы и подаём их на вход модели. Но опять же, если вы хотите, как обычно, получить качество лучше, чем в базовом варианте как-то адаптировать пайплайн под себя, здесь снова возникают дополнительные задачи на

59: Пример на стадии pre ретривел, то есть ещё даже до того, как мы пошли в поиск, может понадобиться перефразировать или суммаризировать ваш запрос, для чего это делается? Перефраз может сильно улучшать качество поиска.

60: Например, такой подход используется в нейро поиске от яндекса, да, и на самом деле в обычном поиске классическом яндексовом, это тоже происходит, когда вы вводите запрос в поисковую строку под капотом, он ваш запрос на самом деле каким-то

61: Образом перефразируется, чтобы оптимизировать и улучшить качество поиска. 2 момент. Это возможно, вы захотите классифицировать запрос на предмет того, а нужно ли вообще делать поиск, потому что, скорее всего, не каждый запрос в модель. Вы хотите осуществлять поиск

62: Скорее всего, это не то, что вы хотите, и, имея на руках классификатор, можно просто сильно оптимизировать себе весь пайплайн, лишний раз не тратить ресурсы на на поиск документов далее на стадии пост 3 3.

63: Когда мы уже получили наши документы до того, как мы отправили их в модель на генерацию, возникает задача переранжирования полученных документов. Ну, во первых, само по себе переранжирование дополнительное, оно повышает качество, и в случае, если

64: Ну, хорошая модель переранжирования, но это ещё и обязательный пункт, если вы делаете гибридный поиск, или если вы делаете поиск, например, из разных баз данных, почему? Потому что у вас на руках получается несколько выдач из разных поисковых запросов. И вы хотите

65: Хотите получить какой-то 1, вам нужно их агрегировать и переранжирования. Ну и наконец, если вы работаете, вы хотите работать с большим количеством документов в контексте или у вас эти чанки довольно большого размера. Возможно вы также

66: Хотите провести суммаризации, чтобы оптимизировать вот размер запроса, который модель получает?

67: И каждый из пунктов, ну практически каждый из пунктов, который мы обсудили, он требует дообучения модели. То есть это модель переранжирования, это модель классификации, модель перефразирования. А дообучение означает, что что вам необходимо собирать

68: Данные, даже если вы обучаете модель не с нуля, а делаете тюнинг все равно без данных никуда. А после того, как вы модель обучили, требуется оценить качество, потому что каждый из пунктов, которые я обозначил, он делает лучше только если

69: Сделать все правильно, то есть собрать хороший датасет, правильно обучить модель, и это обязательно нужно проконтролировать, иначе вы просто рискуете сделать хуже, чем было. Вот просто в обычном базовом варианте. Ну и как минимум вы можете просто даже у сильно замедлить

70: Весь пайплайн, просто выбрав какую-нибудь достаточно большую модель и плохо оптимизировав стадию инференса этой модели. В общем, основная мысль в том, что подводных камней и задач здесь достаточно много возникает и в этот момент

71: Я передаю снова слово Диме.

72: Почему мы все это так долго рассказывали? Что же там под капотом? Потому что у нас хорошие новости. Я думаю, что если вы были на киноуте, вы уже услышали об этом, мы в ближайшее время запускаем. Эй, ассистент, апи, это как раз функционал внутри фаундейшен модул.

73: Который позволит решать обозначенные выше задачи, как мы его разрабатывали, пару слов о том, на базе чего мы вообще выбирали, что в этот ассистент добавлять. Мы провели ряд пилотов с крупными компаниями средним и малым.

74: Бизнесом из ряда отраслей, например, из ритейла финансов, промышленности, it. Мы собирали для них rock, получали обратную связь, они работали с ассистентами и делились тем, что им важно видеть в продукте, если говорить про сценарии, которые они

75: Не реализовывали, то на слайде вы можете увидеть лишь несколько таких самых популярных. То есть это, например, суфлёр оператора службы поддержки. Когда у вас есть оператор, который задаёт вопрос в чат и model ему отвечает, опираясь на документы. Это какие-то чат боты для клиент?

76: Которые могут встраиваться на сайт, в приложение помощники инженера, то есть, как ни странно, например, в промышленности, да, есть очень много решений, где может быть полезен ассистент помощник. Это, конечно, техническая поддержка, внутренние процессы и голосовые роботы.

77: Из того, что мы даём в доступе по ассистентам. Самое 1, что важно сказать, что ассистенты будут в статусе технического привью, мы будем выдавать доступы по заявкам и как получить к ним доступ, я расскажу чуть позже, когда вы

78: Начнёте работать с ассистентами. Вы получаете следующий набор функционала. В 1 очередь это ретривал из нескольких документов. То есть вы можете подгружать ряд документов, которые будут использоваться в ассистенте. Поддерживается ряд различных форматов. Это pdf doc docx.

79: С таблицы эксель, текст и другие происходит автоматическое управление контекстом. То есть вам теперь не нужно думать о том, как передать предыдущие сообщения, как там добиться того, чтобы не произошло забывание какой-то информации, то есть

80: Управление контекстом переписки да, передача этого контекста, она происходит автоматически и будет 3 способа работы с ассистентами. Это будет апи, это будет sdk, о котором я скажу тоже немного чуть позже и через какое-то время.

81: Скорее всего, ближе к концу октября, в ноябре, будет возможность также работать с ассистентом через ui внутри l studio у нас большие планы вы слышали, что системы на базе рак они сложные, они включают много компонентов.

82: И многие из них мы будем добавлять постепенно это и гибридный поиск, это и классификация запроса пре, и пост обработка и так далее.

83: Ассистенты будут доступны в яндекс фаундейшн моделс. И я бы хотел показать небольшой пример, как это могло бы выглядеть. Например, сейчас у нас в команде открыта вакансия слушен сейлс в яндекс клауд. Кстати, кому интересно? Приходите, поддавайтесь. Классная вакансия класса.

84: Команда но, предположим, я очень ленивый, не хочу читать все это описание вакансии, хочу просто загрузить его в ассистенты и позадавать ряд вопросов, которые меня волнуют для этого можно собрать telegram бота, который будет использовать api ассистентов.

85: И с которым можно будет общаться. Это пока демо сценарий. Предположим, у меня есть 1 документ, да, в формате вордовском формате я подгружаю описание вакансии, ему нужно там пару секунд, чтобы построить тот самый

86: Поисковый индекс и дальше я могу задавать уже вопросы, и модель должна отвечать на вопросы, опираясь на это описание вакансии например, я могу спросить, нужно ли мне уметь программировать на python, чтобы быть солушен селлом, опираясь на текст вакансии.

87: Модель отвечает, что да, это будет плюсом, если вы знакомы с патом на базовом уровне, но это не является обязательным требованием. Сколько у меня дней отпуска. И здесь важный момент. Информация о днях отпуска не указана в документе, и модель возвращает информацию о том, что да, действительно,

88: К сожалению, этой информации в документе нету, но можно обратиться в отдел кадров. Это как бы общая информация, какие есть преимущества для семьи. Такой более общий вопрос. И здесь модель подсвечивает, что есть, например, страховка, есть, ДМС, есть там отдельная медицинская помощь.

89: По уходу за беременными и так далее. То есть модель помнит, что мы общаемся про вакансию, использует информацию из текста. И, например, если я спрошу её про спорт, да, я там обожаю играть в волейбол, что есть в яндексе. Для этого модель подсветит, что есть спортивный клуб про это

90: Указывается вакансии. Модель вернёт это обратно. Ну и последний вопрос про выгорание. Вдруг я выгораю, что, что, что же мне делать здесь модели? Нужно немного подумать, и она говорит, что в яндексе есть много хорошего для здоровья и хорошего самочувствия сотрудников.

91: Не переживай, если будет выгорание, мы тебе поможем. Приблизительно так работает ассистент. Здесь это достаточно простой пример, потому что у меня был только 1 документ. Таких документов может быть много. Это могут быть таблицы, это может быть pdf, и все они будут учитываться при

92: Формирование ответа как же это можно построить если вы отправите заявку мы выдадим вам доступ у вас будет возможность работать с ассистентом через api у нас появляется апи у нас появляется sdk что кстати?

93: Важно sdk будет интегрирован с лангеном, поэтому если у вас уже есть какие-то цепочки, которые построены на базе ланчей, вы можете использовать sdk и через него работать с яндекс gpt так вот, когда вы будете работать с ассистентом, мы вводим ряд новых объектов, ряд.

94: Новых абстракций, что у меня происходит в коде, я не буду долго останавливаться просто базово сначала я создаю поисковый индекс, то есть я подгружаю мой файл файл в формате pdf, по нему создаётся поисковый индекс. Дальше создаётся объект этого индекса, и мы создаём

95: Ассистента ассистента на базе яндекс gpt и ему мы передаём тул. Да, это тот самый поисковый инструмент, который будет использоваться и дальше. Появляется новая абстракция тредов. Они как раз отвечают за вот это управление контекстом, чтобы все предыдущие сообщения, которые отправлял

96: Чтобы они помнились и модель их учитывала, и в конце я запускаю ассистента и могу с ним работать, например, из telegram бота, но это не обязательно для того, чтобы попробовать ассистенты для того, чтобы получить доступ, вы можете просканировать QR-код.

97: На этом слайде, и мы свяжемся с вами, выдадим вам доступ, выдадим вам инструкцию, документацию. Ну и в ближайшее время ассистенты будут доступны всем. Кроме того, если у вас останутся вопросы, вы хотите поподробнее обсудить ассистентов, вы мо,

98: Можете приходить на наш стенд, позадавать там вопросы, а у нас на этом все. Спасибо большое.

99: Да, ребята, спасибо огромное за классный энергичный доклад. Я сам, если честно, ждал появления этого ассистента. И прям звучит супер. И у нас есть несколько вопросов.

100: На которые мы успеем ответить, как быть, если контекст не входит в 8 к токенов, есть ли планы увеличить квоту. Вот такой вопрос. Ну, на самом деле это ограничение именно

101: Модели, то есть модель эффективно работает только, ну, пока что та модель, которая сейчас у нас имеется, она работает с контекстом 8000 токенов, но в планах, разумеется, ближайших увеличить его ещё больше. То есть как только модель

102: Получит версию с более расширенным контекстом. Мы, конечно же, это дадим вам всем. Да, и тут ещё, наверное, важно добавить, что идея как раз ассистента в том, что управление контекстом и вот эта передача сообщений, передача текстов, она происходит

103: Автоматически под капотом. То есть вам об этом думать не нужно. Да, да, здесь имеется ввиду, что максимальный размер контекста 8000 токенов, но под капотом ассистентов обрезание делается автоматически таким образом, чтобы вы не получали в процессе ошибку, что

104: Вот мы упёрлись в количество токенов, то есть оно то, чтобы вы делали сами на своей стороне руками, оно делается в автоматическом режиме. Мне кажется, исчерпывающий ответ. Спасибо. И ещё 1 вопрос. Как быть с устаревшими данными, которые

105: Были заменены, как объяснить модели и переобучить её только в части этого нового элемента, не поломав того, что было, ну, про обновление, да, в том, да, boogie, да, смотрите, на текущий момент в 1 версии ассистента это будет решаться полным перестроением индекса, то есть

106: Ну, вы видели, с маленьким документом, это происходит там 1 секунда. На самом деле, с большими документами. Там мы тестировали до 100 мегабайт, это тоже будет происходить там в течение нескольких секунд. Это небольшая проблема. То есть на текущий момент обновление данных происходит через перестроение всего индекса, но, конечно,

107: В планах есть доработки, которые будут добавлять более умное управление базой знаний.

108: Да, супер, спасибо. Очень быстрый вопрос. Вот мне понравилась прям такая классификация, что как выбирать метод, что типа тут промт, тут дообучить, а тут раг, а есть ли какие-то кейсы, где требуются все 3 метода одновременно?

109: Ну, на самом деле, в своём докладе я сказал, что в общем случае рак не требует дообучения, но, опять же, на самом деле, если вы хотите максимальное качество, чтобы модель не галлюцинировала и так далее, то под rock под кейс рака все равно требуется дообучение, обучение. Спасибо.

110: Большое. Давайте ещё раз поаплодируем ребятам.