0: Всем привет. В этом видео мы расскажем про основные компоненты и api платформы яндекс аи студия Дима, тебе слово привет. Да, начнём с обзора платформы, с обзора слоёв, с которых она состоит. И 1

1: Базовый слой, без которого не могут работать никакие и приложения, это слой языковых моделей у нас он называется module гелори, и он включает в себя различные генеративные модели для работы с текстом, с аудио, с изображениями или для, например.

2: Изображений модели у нас разделяются на 2 класса это пропитанные модели, которые предоставляет яндекс, например, яндекс, gpt элис и i, яндекс арт и другие, так и state of the art опенсорсные модели.

3: Например, queen, gpt осс, гемма и другие работать с этими моделями можно несколькими способами самый базовый простой способ это использовать комплишен апи, совместимый с форматом апи, open eye или же.

4: Вы можете, например, адаптировать модели под свои задачи с помощью тьюнинг апи, дообучить модель, определённый набор моделей, да, под свою задачу, либо же запустить модели в пакетной обработке, если вам нужно обработать большой объём данных.

5: Про все эти апи мы поговорим подробнее. Дальше. 2 слой платформы это так называемый эйджент ателье. Это набор компонентов или инструментов, которые позволяют реализовывать агентские архитектуры, реализовывать агентские сценарии. 1 часть это

6: Aging тулс, то есть это набор инструментов или Тулов, да, которые расширяют возможности языковой модели. Сюда входят такие инструменты, как, например, обращение к файлам и работа с файлами, да, для ответов на вопросы, то есть

7: Для реализации рак сценариев это поиск в интернете с помощью web search тул или обращение к внешним api к внешним системам с помощью формата эмсипи для того, чтобы можно было обращаться к внешним эмсипи серве.

8: Или создавать свои сервера есть компонент эмсипи хаб, о нём тоже подробно расскажем создавать агентов в y studio можно 2 такими базовыми способами 2 направлениями 1.

9: Направление это с помощью кода, да, например, вы обращаетесь к api к респонсе апи к realtime апи, либо же вы пишите код на сдк, который опять же ходит в api, либо, если вы, например, делаете какое-то быстрое прототипирование, или

10: Если это сценарий, который не требует большой гибкости, то их можно реализовать в low code инструменте флоуз отдельное большое направление, которое у нас есть в agent ателье это направление голоса, здесь можно, например.

11: Создавать голосовых агентов, дообучать модели синтеза речи и, например, решать задачи суммаризации, аудио, видеоконференции и так далее. Кроме этого, сегодня подробнее проговорим.

12: Про про поиск, про то, что на слайде обозначено и isearch. То есть это загрузка и работа с файлами, да, языковой моделью. Это построение поисковых индексов. 3 слой, слой.

13: Yui это как раз набор компонентов, которые позволяют собирать агентов, прототипировать их без кода, то есть в ui вы можете потестировать различные языковые модели, подключить инструменты, посмотреть, как они отрабатывают, провести.

14: Эксперимент с промтами и подобрать там формулировки Пронтов под свои задачи здесь же находится, например, возможность собранного вью агента в компонентах верк флоуз.

15: Давайте подробнее остановимся на каждом из блоков. 1 блок это model гелари, и здесь представлен список моделей, которые доступны на текущий момент. Сразу скажу, что этот список постоянно меняется, расширяется, добавляются новые модели.

16: Но если говорить про то, что есть сейчас, это модели от яндекса. Самая большая флагманская модель это модель элис и i. Кроме этого, доступны модели поменьше, но модели, которые

17: Хорошо решают определённый набор задач и быстро отвечают это модели яндекс gpt про и яндекс gpt лайт. Это специальная модель, которая затюнена до обучена под голосовые сценарии.

18: Модель спич реалтайм и модель яндекс арт для генерации изображений по текстовому пронту это что касается именно генеративных языковых моделей, таких общих, да, при этом у нас есть

19: Набор специализированных моделей под какие-то узкие конкретные задачи. Например, к таким относятся классификаторы это дообученный, генеративные модели, но они дообучен специально решать задачу классификации. Либо же это модель эмбеддингов, которая

20: Переводит текст в векторное представление, например, для реализации сценариев поиска рага и так далее. Что касается опенсорсных моделей, то это модели квен 3 с 230 пятью миллиардами параметров. Это

21: Модели, которые выложили в open source open eye осс 120 миллиардов и 20 миллиардов, и это модель гемма 27 миллиардов, если говорить про непосредственно.

22: Построение агентов, то здесь важно выделить 2 как подхода, 2 направления это текстовые агенты и голосовые агенты в целом. Когда мы будем подробнее рассказывать про студию, вы увидите, что все

23: Инструменты, которые создаются в y studio, они могут быть переиспользованы как при создании текстовых агентов и голосовых агентов, то есть, например, вы можете создать поисковый индекс и затем переиспользовать его и в тексте, и в голосе за счёт этого.

24: За счёт этой экосистемности платформы создание агентов значительно ускоряется и упрощается. Но давайте поговорим подробнее про каждый из этих типов. То, что касается текстовых агентов базовый апи, поверх которого они создаются и работают, это

25: Responses, апи и responses и реалтайм они совместимы с openai, поэтому их удобно использовать в том числе из других опенсорсных фреймворков, компонентов таких как там open, i, agents, сдк, Ланграф и других так вот.

26: Api, или как бы шире, текстовые агенты самый простой способ начать их создавать, это в ui, как я уже сказал, есть удобный ui в y studio, где вы можете выбрать модель, выбрать инструменты, написать промт и.

27: Начать тестировать такого агента на вход responses апи может получать как текст, так и изображение, при этом здесь важно учитывать что не все модели поддерживают на вход изображение, все модели будут работать с текстом.

28: С изображениями будет работать под множество моделей, например гемма респонсе апи совместим с openai и, например, если вы уже внутри компании используете такие опенсорс решения, как там лангра.

29: Openai, девелопмент, кид, круай либо может какой-то low code или, но код типа and и так далее вы можете легко интегрировать модели, которые доступны в модели и агенты, да, которые доступны в y studio.

30: В эти решения. Теперь, что касается голосовых агентов, здесь это отдельный апи, так как он требует специализированной работы со звуком, да, то есть, когда мы говорим про голосовых агентов, у нас есть набор определённых требований вокруг скорости.

31: Ответа вокруг обработки событий и так далее. Его особенность в studio в том, что наша как бы ключевая цель это оптимизировать работу голосовых агентов под высокую скорость ответа, так как поня.

32: В большинстве сценариев пользователь не готов ждать, пока там модель будет генерировать ответ и его озвучивать для такого живого диалога нужно делать это быстро, чтобы получить хорошее качество для

33: Сценариев голоса. Мы сделали специализированную модель от яндекса. Ещё 1 важное свойство реалтайм апи, это поддержка перебиваний, да, то есть, если идёт диалог,

34: Там пользователь не хочет дослушивать ответ, он там начинает перебивать модель, реагирует и как бы перестаёт говорить и начинает генерировать ответ на следующий вопрос пользователя. И что ещё важно?

35: Таких голосовых агентов можно делать персонализированными. То есть вы можете использовать как те дефолтные голоса, которые доступны в яндекс спичкит, так и, например, подключить свой кастомизированный голос, например, сделанный с помощью

36: Бренд войс или бренд войс слайд. Окей. У нас есть условно базовый оркестратор, который может получать запросы текстовые и принимать решения о вызове внешних инструментов, да, то есть

37: Оркестратором является responses. Если говорить про текстовых реалтайм. Если говорить про голосовых и дальше встаёт вопрос, а какие же инструменты можно вызвать и 1 набор инструментов, которые доступны в внутри платформы айстудио это инстру.

38: Ументы для поиска, для поиска внутреннего по документам, по документации, там по pdf файлам и так далее так и что важно для многих сценариев, для поиска по интернету, давайте начнём с поиска.

39: Документах, самый частый сценарий, который здесь есть, это набор документов, там это может быть, например, выгрузка Вики или confluence. Это могут быть просто какие-то отчёты, там pdf, ворды и так далее они загружаются

40: В векторное хранилище, да, то есть происходит загрузка документов и дальше происходит парсинг этих документов. И здесь важно, что у нас есть специализированные парсеры под различные форматы документов, под обработку изображений таблиц. И так

41: Далее. Далее по этим документам автоматически полностью строится поисковый индекс. И затем человек, который создаёт агента, просто подключает этот поисковый индекс к респонсе, апи и response, апи умеет автоматически делать.

42: Вызов этого поискового индекса. Кроме того, и responses, и реалтайм могут автоматически вызывать такой поисковый индекс. Что здесь важно сказать, это работа в поисковом индексе по дефолту может быть до 10000.

43: Документов. При необходимости это количество можно расширить через обращение в техническую поддержку. Как я уже сказал, есть набор специализированных парсеров под разные форматы документов. Понятно, что, например, там таблица, эксель.

44: Должна обрабатываться немного иначе, чем, например, это происходит там у pdf с большим количеством изображений под такие разные форматы есть определённые подходы. Ещё 1 важная вещь это возможность гибко настраивать и управ.

45: Базой знаний. То есть, когда вы начинаете работать, вы загружаете документы, да, по ним строится поисковый индекс. Дальше вы можете, например, удалить какие-то документы из поискового индекса, и это происходит прямо при при

46: Работающем индексе, то есть это никак не блокирует сам индекс. Вы можете указывать какие-то метаданные при загрузке файлов и затем при обращении фильтровать по этим метаданным. Это важно. Например, если вы хотите разграничить пользователей или там пользовательские группы по сценариям

47: И кроме этого, у нас появилась возможность загружать напрямую чанки. То есть, если вы не хотите использовать там возможности автоматического парсинга и чанкованный доступны в рамках поиска, вы можете самостоятельно

48: Сделать свой итль пайплайн самостоятельно там готовить чанки, обогащать их и загружать уже в платформу непосредственно готовые чанки. Они будут лежать в базе и дальше респонсе будет обращаться к базе именно с вашими чанками.

49: 2 направление это поиск в интернете, да, для многих сценариев, где, например, нужно работать с самыми последними новостями, проверить терминологию, ещё что-то можно использовать инструмент web search, который обращается в

50: Большой поисковик яндекса. И что здесь важно сказать, что этот поиск также можно настраивать. Вы можете указывать регион поиска, вы можете ограничивать домен.

51: По которым будет происходить поиск. То есть вы можете указать до 5 доменов, и тогда поиск в интернете будет ограничен только вот этим конкретным наборов, набором сайтов, доменов для поиска информации. Например, это удоб.

52: Если вы хотите построить какие-то каких то помощников там по публичной информации на вашем сайте, вы можете подобрать модель, настроить промт, там все отладить и подключить инструмент web search, указав только ваш

53: Конкретный домен только ваш сайт 3 тип инструментов, которые доступны на платформе айстудио это mcp, то есть это подключение к внешним api через формат.

54: Предложенный компанией антропин через эмсипи для того, чтобы можно было подключаться к внешним инструментам, в studio, есть компонент эмсипи хаб, который позволяет подключить внешний эмсипи сервер, если он у вас уже

55: Где-то создан и развернут и где-то хостится у вас, не знаю, в облаке локально вы можете просто настроить к нему подключение и тогда агенты внутри платформы смогут к нему обращаться. Либо же если у вас пока эмсипи нету, но есть

56: К которому вы хотите подключиться, их можно просто внутри ui a studio трансформировать в формат эмсипи, либо же можно создать свой mcp полностью с нуля в нём может быть.

57: 3 типа инструментов это может быть существующий апи, это может быть облачная функция. Либо же это может быть полноценный поток, собранный в инструменте вер Клоус, что важно. Эмсипи хаб он

58: Позволяет добавлять удалять инструменты и вы можете разграничить Роли пользователей, кто, например, занимается добавлением и Роли разработчиков, который будет затем там подключать существующие эмсипи сервера.

59: И создавать уже агентов. То есть это дополнительная точка контроля, да, и отслеживания того, что происходит с mcp, каким эмсипи есть доступ внутри компании. Кроме этого у нас есть отдельный набор готовых коннекторов к

60: Таким системам, как, например, амма сирм, контрфокус, яндекс трекер и этот набор шаблонов будет постоянно расти, будут добавляться больше интеграций и, соответственно, вы сможете ещё быстрее собирать агентов, которых

61: Входят в корпоративные системы. Ну и что касается лоукод создания агентов или вообще построения и приложений. Здесь у нас есть ещё 1 решение в рамках астудио. Это решение клоуз, он

62: Позволяет собирать цепочки из вызовов языковых моделей или уже агентов, которые могут обращаться к инструментам. У него есть набор интеграций как с сервисами облака, так

63: Как и s l studio, есть набор управляющих Шагов, да, для реализации, например, циклов там, ветвлений и так далее, и при этом вы можете, как просто настроить там.

64: Кубики обращения к моделям, так и гибко, например, там указать, какие поля, для чего использовать. То есть инструмент позволяет достаточно сильно кастомизировать цепочки и таким образом, подводя итог 1 части обзора компонентов.

65: Мы выделяем 2 подхода к созданию агентов в рамках а. Студио 1 подход это так называемый code first подход он скорее предназначен для разработчиков, которые хотят иметь макси.

66: Мальную гибкость при создании агентских архитектур взаимодействие здесь происходит напрямую с api с респонсе апи рилтайм, апи комплишен или же через сдк, да, которые опять же входят в апи.

67: Здесь чаще всего используется тот или иной опенсор. Инструмент, который, с 1 стороны, упрощает разработку, так и позволяет, например, собирать какие-то более сложные системы. Например, там в вы можете использовать

68: И использовать в нём механизм хенд оффов, который позволяет там передавать управление между разными агентами. Этот подход хорош для гибкой настройки и для решения сложных задач.

69: Есть отдельные апи для текстовых и голосовых агентов и оркестрация инструментов, да, происходит с помощью языковой модели. Здесь важная вещь, да, что когда мы говорим условно про агента на базе респонсе апи или

70: Оркестратором выступает сама языковая модель, которая выбирает, какой инструмент необходимо вызвать дальше механикой апи происходит вызов инструментов, мы получаем результат, и таким образом внутри реализован цикл

71: Instrumental до тех пор, пока, в общем то, не будет дан конечный ответ. Не всем такой подход подходит, там в зависимости от бизнес требований, да, там требований к ошибкам, есть другой подход, лоу, код, ферст, подход.

72: То есть вы, например, можете в Берлоус задать фиксированную цепочку вызовов, да? То есть, условно, оркестратором выступает набор, там вот этот процесс, который вызывает разные модели в нём.

73: Чуть меньше гибкости, да, но при этом больше предсказуемости и больше контроля. Опять же, нельзя сказать, что есть какой-то 1 там правильный существующий подход. То есть можно экспериментировать и с тем, и с другим подходом, и выбирать тот, который под

74: Ходит под задачу, там лучше себя показывает на метриках, отвечает там нефункциональным требованиям и так далее. Давайте теперь более подробно поговорим про te апи, которые доступны в платформе. И для этого я передаю слово

75: Спасибо. Как подобрать апи под свою задачу. Если вам нужно просто обращаться к языковой модели, подойдёт комплишен апи. Это максимально базовое простое стейтлесс апи, которое позволяет получить ответ на текстовый

76: Вопрос. Если нужно что-то более сложное. Например, построить текстовый агент, который хранит и использует историю диалога, использует инструменты, такие как файловый или веб поиск, обращается по протоколу эмсипи, используйте

77: Responses апи для голосовых сценариев аудиоподсказок, создания голосовых агентов ассистентов. Лучше всего подойдёт реал тайм апи. Это специальный спроектированный для работы со звуком и

78: Оптимизированный под минимизацию задержек апи, который поддерживает тот же самый набор инструментов, что и responses. Если агенту нужно обращаться к документам, использовать данные, которые у них

79: Хранятся используйте вектор, стор апи и files апи эти 2 api позволяют загружать документы, строить поверх этих документов поисковый индекс и выполнять поиск по их содержимому, если нужен более низкоуровневый смысловой.

80: Поиск, кластеризация, поиск аномалий используйте эмбеддинг апи своего рода это альтернатива до какой-то степени вектор стор, но более низкоуровневая и применимая к большему спектру сценариев, если нужна текстовая

81: Классификация, например, для определения тональности обращения, для распределения обращения в поддержку определения темы подойдёт текст classifications апи. Все эти api они позволяют, они закрывают.

82: Полный цикл создания агентов от простого обращения к модели до сложных систем с памятью, поиском и голосом. Давайте перейдём и рассмотрим более подробно конкретные апи классификаторы. Дима, тебе слово?

83: Классификаторы мы уже подробно рассказывали в 1 из наших вебинаров это был вебинар, посвящённый инструментам дообучения языковых моделей внутри l studio с помощью lora, и там же у нас был большой блок про классификаторы, поэтому мы не будем

84: Здесь на них останавливаться подробно рекомендуем перейти по QR-коду по ссылке и посмотреть вебинар про лору и про классификатор, 1 из основных апи, который.

85: Сейчас доступны в r studio для реализации агентских сценариев это респонса, что же он из себя представляет, какие функциональные возможности он даёт 1 это автоматический вызов встроенных инструментов, то есть когда вы делаете обращение к

86: А если в обращении вы указываете какие-то инструменты, то в зависимости от решения модели, да, например, модель может определить, что там для решения задачи пользователя. Для ответа на пользовательский запрос нужно сходить в поиск.

87: Response апи автоматически вызывает инструмент поиска происходит инструмент там ищет необходимую информацию в векторной базе, возвращает результат. Если этого результата достаточно, если модель считает, что все информация собрана,

88: Можно ответить на вопрос пользователя. Респонс апи возвращает этот ответ и дальше там при необходимости дальнейшая обработка уже происходит на стороне приложения, которое этот response апи вызывает. При этом могут быть ситуа.

89: Когда нужно много вызовов инструментов в рамках 1 запроса, эта логика также реализована в респонсе апи, то есть, например, мы можем сходить 1 раз в поиск, 2 раз поиск там пойти в вектор, пойти в web search, поискать что-то в интернете.

90: Затем сгенерировать результат в респонсе аппе подключаются внутренний поиск web search, тул эмсипи и, конечно же, вы можете реализовать какую-то свою собственную кастомную логику через function calling.

91: На вход в response апи может передаваться текст либо изображение в формате Бейс 64. И здесь опять же важно сказать, что проверяйте в документации модели, какие поддерживают и изображения текст, какие

92: И только текст. Ещё 1 важная вещь это автоматическое хранение контекста диалога, то есть параметрами в респонсе аппе вы можете регулировать, во первых, стоит или не стоит сохранять контекст.

93: Для этого есть параметр store и кроме этого вы можете передавать id предыдущего сообщения при обращении в responses. То есть вы сделали 1 обращение, получили айди обращения и когда вы делаете уже 2 обращение в responses, вы

94: Параметрам можете передать id предыдущего сообщения и тогда responses автоматически подтягивает вот это все.

95: Вот этот весь как бы тред, да, весь вот этот контекст передаёт его в модель, и модель, соответственно, отвечает с учётом всего этого предыдущего контекста поддерживаются режимы как стриминговые.

96: Так, и background, режим, да, для каких-то долгих там операций, например, Тулов, которые там, обработка которых занимает долгое время реал тайм апи, это основа для

97: Создание голосовых агентов, которые умеют общаться в реальном времени, это апи, который был специально оптимизирован на голосовое взаимодействие для большинства сценариев. Время, между тем как пользователь закончил говорить и тем, как система ответила, составляет

98: Менее 1 секунды. Конечно же, это не касается каких-то долгих вызовов, когда происходит какой-то долгий эмсипи, запрос, занимающий секунды, что важно знать про этот апи. Во первых, то, что он поддерживает не только аудио, но ещё и текст. То есть вы можете

99: Строить гибридное приложение, когда агент воспринимает речь, отвечает голосом, но при этом понимает ещё текстовые команды и при этом может отвечать текстом ещё 1 особенность реал тайм апи, это двусторонний стриминг речи и

100: Тексты через постоянное вебсокет соединение модель получает звук буквально в реальном времени, то есть никто ждёт, никто не ждёт, что фраза закончится, когда пользователь закончит говорить фраза.

101: Поступает вот Ровно так, как пользователь её произносит через паршел резалте встроенные инструменты реал тайм апи позволяют строить полноценных голосовых агентов. Здесь, как и в респонсе, доступны поиск по fi.

102: Поиск по интернету и работа с внешними апи и сервисами через поддержку эмсипи протокола. То есть это позволяет вам не просто использовать голосовой бэкэнд как некую болталку, которая отвечает, исходя из тех знаний, которые были заложены

103: На неё, когда она обучалась, но и актуализировать ответы с помощью обращения в интернет, к своим документам, ну и конечно же к разным сервисам посредством эмсипи протокола, реалтайм апи как и responses храни.

104: И использует контекст диалога в отличие от responses, который, кстати, хранит реплики на протяжении 30 дней. Контекст диалога в real time аппе хранится вот в рамках того времени, пока идёт взаимодействие пользователя, пока активирована так называемая

105: Сессия, что ещё важно подчеркнуть в real time, аппе это то, что он полностью совместим с сервисом спичкит вы можете использовать общедоступные голоса спичкита, с ними вы можете ознакомиться на сайте или в концо.

106: Поэкспериментировать в плейграунде так и сделать собственный голос, которым вы можете озвучивать взаимодействие с агентом это яндекс спичкит бренд войс ещё 1 api, даже 2, про которые важно знать это api для.

107: Работы с документами, то есть для сценариев, когда необходимо построить рак, да и чтобы модель опиралась не на свои знания, а опиралась на подгруженные документы, можно использовать файлс апи и затем файлы, загруженные через files апи, использовать для

108: Строение векторного индекса в через вектор стор апи. Как это выглядит? Что происходит? Вектор стор апи позволяет создавать много поисковых индексов из загруженных файлов. Он позволяет

109: Загружать файлы, удалять файлы или же загружать напрямую готовые чанки, да, все это происходит без блокирования работы индекса. То есть ваши агенты продолжают работать, несмотря на то, что вы удаля

110: И добавляйте файлы. Агенты работают именно с тем состоянием, да, которое доступно в моменте в вектор стор в векторном индексе. Важный функционал. Это во первых,

111: Фильтрация, то есть, когда вы загружаете файлы в поисковый индекс, вы можете задать этому файлу набор атрибутов формата ключ, значение. И затем, когда вы, например, в респонсе сделаете обращение с подключённым,

112: Индексом с подключённым вектор стор вы можете указать набор фильтров. То есть я хочу там только те файлы, в которых там ключ соответствует Такому набору значений или меньше такого-то, или больше такого-то

113: Значение. Соответственно, когда происходит обращение, сначала происходит фильтрация по файлам, чтобы они соответствовали этому фильтру, и затем уже непосредственно поиск происходит только по вот этому подвыборке, да, вот этому подмножеству файлов, которые

114: Соответствует поисковым параметрам. И 2, частый запрос это ссылочная подтвержденность. То есть нам важно смотреть, на базе чего были сгенерированы ответы. Также в ответе респонс апи можно посмотреть

115: Источник, да, и получить ссылку на файл, либо фрагмент, на базе которого формировался ответ.

116: И что важно, да, поиск по данным, которые хранятся в вектор стори, он происходит как вызов инструмента. То есть, в отличие от предыдущих, например, подходов, если вы работали с ассистент, опирание, где поиск происходил при каждом вызове,

117: То здесь вектор стор, поиск происходит в тот момент, когда языковая модель принимает решение этот инструмент вызвать. То есть здесь важно, что информация о наличии этого инструмента, о том, когда его нужно вызывать, прописана в сис.

118: Системной инструкции в системном промте и, соответственно, выбрана та модель, которая хорошо умеет, во первых, понимать инструкцию, хорошо умеет вызывать инструменты, потому что вполне возможен сценарий, что модель, например, не понимает.

119: Когда нужно вызывать или неправильно вызывает. Поэтому здесь для реализации рак сценариев важно не только подключить векторный поиск, но ещё корректно настроить языковую модель для работы. С ним мы поговорили про responses, про реал тайм, про вектор стор и хотя

120: Хотелось бы сказать пару слов о том, как их объединить или переиспользовать большим плюсом платформы студии является то, что многие из инструментов могут, они образуют экосистему и, соответственно, могут

121: В в различных апи, в различных компонентах. То есть, если я хочу построить, например, рак, сценарий, да, там историю, что у меня, ну, частый сценарий, который у нас есть, это

122: Например, поиск по сайту плюс поиск по каким-то моим дополнительным документам, которые не были опубликованы на сайте. И хочу сделать такого чат бота, неважно текстового голосового, как будет выглядеть этот процесс построения такого бота, если говорить в терминах

123: Пишет. Сначала мы загружаем файлы через файл с api, ну, в общее хранилище файлов, далее с помощью вектор стор апи. Мы добавляем файлы из этого хранилища непосредственно в векторное хранилище, то есть мы когда подгружаем файл, он

124: Парсится, разбивается на чанки чанки, векторизуется да обогащаются там и так далее, и все это складывается в векторный индекс, и дальше этот векторный индекс подключается к api responses, если мы хотим работать текстом.

125: Realtime. Если мы хотим работать с голосом и дополнительно, например, мы можем указать и там, и там web search, да, веб поиск как ещё 1 инструмент для работы по непосредственно с конкретным сайтом. Таким образом получается, что мы можем переиспользовать

126: Наш поисковый индекс в голосовых и текстовых агентов и точно также переиспользовать там web search тул для для работы с сайтом ещё 1 способом реализовать поиск уже на более низкоуровневый является p эмбеддинг эмбеддинг это.

127: Это векторное представление текста в виде числового массива расстояние между 2 массивами позволяет найти смысловую близость если расстояние малое, то тексты по смыслу похожи, если большое, тексты различаются апи. Бединов.

128: Можно использовать как более низкоуровневую альтернативу вектор стор, и 1 только поиском его, конечно же, применение не ограничивается так с его помощью можно делать кластеризацию, когда объединяется схожий по характеристикам.

129: Элементы находить аномалии, как те элементы, которые разительно отличаются по сравнению с остальными, и также давать персонализированные рекомендации, когда пользователю предлагаются элементы с похожим.

130: Содержание. Как использовать эмбеддинг апи встроенного инструмента, который бы взаимодействовал с response. Реал тайм нет, но вы можете подключать эмбеддинг апи, например, через функцию function, calling и реализовать как

131: Перечисленные сценарии самостоятельно можно использовать как готовые модели, так и дообученный дообучение можно проводить на ваших документах, то есть оптимизировать эмбеддинги на тройках или

132: Парах, которые описывают взаимодействие с вашим документом. Например, как вопрос. Ответ, пример вызова эмбеддингов. Здесь приведён максимально простой базовый код. Как можно взаимодействовать с эмбедингам? Здесь мы задали 2 модели.

133: Условно это док. И query 1 предназначена, чтобы работать с большими документами, которые, скажем так, больше, чем размер по размеру, чем запрос, и 2 оптимизирована на короткие запросы, то есть.

134: У нас, допустим, представим, есть некие документы и некий запрос. В моём случае это когда день рождения Пушкина, на самом деле это отсылка, к примеру, который есть в нашем репозитории. Вы можете, кстати, по ссылке, которую мы покажем,

135: В конце этого видео пройти и самостоятельно позапускать примеры, посмотреть, как все работает. И дальше вы получаете эмбединг через специальный апи, задаёте модель. У этой модели должен быть специи.

136: Префикс эмбеддинг. Указываете в её юрай яндекс клауд фолдер как специальный идентификатор, который даёт вам доступ, и указываете собственно модель, которую хотите использовать. Текс серч, док текс серч квери. Это что касается

137: Доступных. Если вы дообучите свою, то будете использовать идентификатор, дообученный модели. Ну и, собственно, дальше выполняете запрос через клайм эмбеддинг крейт и в качестве артефакта этого выполнения получаете

138: Векторное представление текста, что с ним дальше можно делать вектора, как я уже говорила ранее, можно сравнивать между собой, таким образом определяя близость текстов и реализуя те самые сценарии классификации, поиска аномалий и

139: Конечно же, поиска по смыслу очень часто бывает не до конца удобно или, ну, не требуется работать напрямую с api больше концепций да, больше подходов можно реализовать с помощью сдк поверх этих апи и.

140: И в очень часто с клиентами мы идём именно по этому пути например, можно реализовать какие-то более сложные приложения с несколькими агентами поверх open eye, сдк или open i. Agents, девелопмент кидд можно использова.

141: Unchain Ланграф для ряда сценариев у нас есть свой собственный яндекс клауд сдк, который также, например, позволяет реализовать сценарий поиска в интернете или там работы с векторной базой.

142: Поэтому, если вы хотите, если вы, например, только начинаете строить приложение, рекомендуем начинать не с работы напрямую, с api, а, например, посмотреть на существующие сдк и на возможности, которые они

143: Предоставляют в заключении этого видео хотели бы дать несколько полезных ссылок 1 это репозитории с большим количеством примеров работы с api, про которые мы сегодня рассказывали, это, конечно же, документация.

144: Где можно более подробно почитать про все те концепции, которые сегодня обсуждались. Если у вас появились вопросы, вы хотите что-то спросить или чем-то поделиться, переходите.