0: Так, всем привет. Потихонечку будем начинать сейчас небольшие технические проблемы с чатом не вижу, пишите ли вы что-нибудь. Сейчас будем разбираться. Секунду.
1: Да, всем ещё раз. Добрый вечер. Технология оказалась побеждена. Все, чат работает, все видно, все слышно. Давайте тогда минутки 2 ещё подождём пока, ребят.
2: Соберутся. Вот. И пока начнём презентацию, ну там проверим все, видно ли слайды, слышно ли меня хорошо. Вот все такое, такой технический чек проведём.
3: Так, тогда, ребят, кто уже подсоединился, давайте посмотрим, видно ли вам презентацию. Хорошо слышно и видно. Если да, ну плюс в чат не стесняйтесь, как бы будет понятнее.
4: Да, огонь, огонь это хорошо. Так, думаю, потихонечку можно начинать. Смотрите, у нас открытый урок про то, как мы можем повысить наблюдаемость наших приложений.
5: Который использует, м, да, лм, это большой, большие языковые модели. По-русски звучит бям. Может быть, вам больше нравится аббревиатура бям, не знаю, тут как бы уже вам решать. Вот сегодня мы что сделаем? Мы по
6: Смотрим на конкретную презентацию приложения, которое будет нам читать стенограмму суда иосифа бродского, когда его судили за то, что он тунеядец вот на примере этого приложения мы сегодня посмотрим, какие метрики можно собрать.
7: Что там проанализировать и как вообще вам вот эта наблюдаемость вашего приложения поможет и поможет ли, потому что всегда надо понимать, что большая сила, большая ответственность это раз. А во вторых, чем больше у вас инструментов
8: Внутри контура тем как бы больше шансов, что что что-то не заработает. Ну мы про это поговорим. Вот, поэтому давайте потихонечку начинать это мы прошли плюсики, я все видел. Спасибо большое. Немножко себе.
9: Сейчас я, тимлид. Дата инженерной команды в проектах часто играл роль эмэль инженера, да, какие-то яркие штрихи карьеры это динамическое ценообразование рейса в S7, вот это - 100 ₽ Воронеж + 100 ₽, куршавель и.
10: Все это с помощью машинного обучения, да? Ну, как бы были, видели. Плюс единая платформа данных города Москвы, да, действительно, там отдельная история, департамент информационных технологий города Москвы, много данных, много, интересных задач много.
11: Которые удалось поковырять. Вот, а изначально начинал с парсинга всех социальных сетей, которые там у вас по на слуху в double data. И очень интересная была история, которая позволяла поработать
12: С разными данными и разными применениями этих данных. Вот. Ну, а последнее время так получилось, что большой багаж, имею проектов, которые хотели использовать, м, которые хотели использовать, м, и у них не получилось, которые хотели и
13: Получилось. То есть, как бы вот таким опытом, в принципе, и хочется поделиться, потому что относительно недавно, да, сейчас наше классическое машинное обучение немножко отошло в тень. Некоторые задачи уже хочется решать мой, особенно если вы
14: Не любитель посидеть на архиве и почитать все статьи от корки до корки. Вот тогда получается вот мои контакты. 1 это мой telegram профиль. 2, это вот канал, в котором что-то я иногда почу.
15: 3, это моя почта. Если кто-то из вас напишет на почту, я буду очень удивлён, пока там ничего не было. Но, как бы, если хотите, пишите какие-то вопросы, предложения по курсу. Так, правило вебинара, правило звучит как будто обязывающее, да.
16: На самом деле вы можете фоном включить, там наш вот условный подкаст, заниматься своими делами, задавать вопросы в чат. Если что-то интересное вам покажется по поводу вопросов в зависимости от того, насколько там я их увижу.
17: Вижу, могу ответить сразу, могу чуть чуть подождать, ответить. Потом, когда мы уже такую паузу будем делать в повествовании. Ну и запись вебинара придёт на почту. Соответственно, это приятно. Вот пройдёмся по
18: Довольно-таки таким понятным тропинкам. То есть мы 1, что разберём вообще бербабиле, да, что это за слово и зачем оно нужно, да, на русский это переводится по разному. Давайте мы использовать наблюдаемость дальше.
19: Проговорим про очередную пачку баззвордов, да, мопс эль мопс. И почему вообще так получилось? Откуда вот эта трансформация? Мы разберём, что такое опс изначально, да, мопс, вот такие вот вещи будем препарировать и дальше посмотрим на конкрет.
20: Инструмент, который нам позволяет пролить свет на как бы работу нашего приложения с м, это фьюз. Мы сделаем это в формате демо, немножко потыкаемся в интерфейсе, пройдём по ба.
21: Технология механикам, которые мы можем там затронуть и, может быть ещё чуть чуть подсветим там, насколько глубоко можно копать, да, потому что в рамках курса мы будем уже довольно-таки плотно настраивать все это весь
22: Мониторинг, в принципе, наших приложений, там уже будут концепции, которые довольно-таки сложные, их не вместить в час. Вот давайте немножко познакомимся. Да, базовые вопросы, есть ли у вас опыт работы в it, если да.
23: Ну, можете не постесняться, сказать, кем, зачем, а можете и не говорить, как бы аптую. Вот. И с какой основной целью пришли сегодня, да, что понравилось, может быть, там, описание открытого урока?
24: Показалось интересным или на работе. Вдруг к вам прибежал фаундер и сказал, ну все, нужно лм внедрять прямо сейчас. Вот.
25: Так, опыт есть. Вот Валерий пишет, нет опыта сан фьюз, хотелось бы понять, пригодится в работе вообще супер отлично. Тогда 1 часть, где мы будем разговаривать просто про наблюдаемость, для вас будет лёгкой, потом в fuze уже посмотрим, что к чем.
26: 8 лет java kotlin, автоматиза, автоматизация, тестирование, backend, разработка, супер хороший стаж, автоматизация, тестирование, backend, разработка все наверное тоже там уже, наверное и в backend разработке встречались, в принцип.
27: Инструментации, в принципе, там с каким-то трейсингом приложений. Я думаю, что найдёте параллели, которые есть, крутим гуф конты на апп. Оо, вот это вообще хорошо, потому что на самом деле не так много
28: Сейчас ребят, которые захотели, закантовали, запустили, да, потому что многие предпочитают удобные солюшены, закрыт закрытый за плотной апи апишкой. Вот интересно про все в целом, кроме
29: Metric из коробки, да, супер супер это хорошо. Посмотрим в рамках курса мы будем говорить и про автоматизацию модели, и в том числе будем смотреть на да, потому что, ну новая мета такая подкрадывается.
30: Так, Алексей java, middle developer, в 4 года планирую перейти в эмэль. Интересно, прикольное сейчас время для перехода в эмэль на самом деле, потому что, скорее всего, если у вас есть хорошее инженерное понимание, да?
31: Но как бы строится, то вам будет сейчас проще перекатываться. Валерий пишет, перешли на довольны очень, но дороже, да, есть как бы такая история очень на самом деле.
32: Отдельный мир. Вот всех этих фреймворков, отдельный мир квантования моделей. Это очень прикольная история. Я думаю, что с радостью, блин, может быть ещё какой-то 1 урок на эту тему проведём.
33: Так, 4 года отлаживаю рак супер, это вообще как будто под вас открытый урок, честно говоря, опыт в it 15 лет, пишу программу sai, хотелось просто разобраться в теме занятий для развития направления и круто, 15 лет вообще отлично.
34: Видели многое, видели всякое. Надеюсь, прольём что-то интересное ещё в технологии, которая появилась относительно недавно. Супер. Давайте немножко такую паузу сделаем, расскажу про отус отус, значит создаёт авторский онлайн курс.
35: Вы, наверное, видели, заходили, смотрели, там много разных направлений, много разных грейдов, которые могут там учиться, да, то есть и для джуна че то найдётся, и для Лида. Я вот сам лично проходил курс по кликхаусу, и мне очень понравилос.
36: Потому что, ну, клихаус такая, по сути, я не могу сказать, что она новая, но она как бы потихонечку начинает уже на рынке себя рекомендовать, да, но все ещё не считается какой-то там устаканившейся практикой, хотя все уже тащат.
37: House. Вот, ну, как бы у орели нет книжки по клихаус, поэтому это вот маркировка того, что пока обучающих материалов не так много. Вот, вот есть образовательная лицензия, да, значит, по окончанию программы можно там что-то получить удостоверение.
38: Квалификации, диплом профессиональной переподготовки всей. Вот эта история. Ну и да, направлений, курсов действительно много. Вот, честно говоря, как бы мой план на следующие года это взять курсы по юнити и разрабатывать инди игру дома, не выходя никуда. Ну,
39: Пока что применим. Вот. И давайте тогда уже вернёмся к теме нашего занятия. Это обзели для м, как анализировать поведение модели с помощью анью. Все, сейчас будем раскрывать какие-то слова незнакомы.
40: Да, и начнём мы со слова обзирать, точнее начнём. Мы вообще с цели вебинара неожиданно слайд подкрался, да, ну как бы мы уже проговорили понять, что такое наблюдаемость, как отслеживать и вообще посмотреть на fuze.
41: Что это такое нужно, не нужно. Вот там у Валерия уже можно посмотреть в практике, будет ли что-то прикольное. И по идее, после того, как мы на эти инструменты посмотрим, мы можем уже как минимум со стороны
42: Мониторинга, говорить, что мы готовы выпускать что-то в продакшн, потому что мы уже не живём как бы с закрытыми глазами мы что-то понимаем вот абзера значит если мы пытаемся пока без примера вот в тексте сформулировать это
43: Возможность собирать данные о выполнении программ, внутренних состояниях, модулей и взаимодействия между компонентами. Сейчас будем разбирать, что это такое, потому что звучит довольно-таки общее. Вот честно говоря, пример, который у меня возникает в голове, что абзера это
44: Машина с приборной панелью. Вот отсутствие, отсутствие наблюдаемости, отсутствие возможности посмотреть, как у тебя работает движок, на какой скорости ты едешь. Это все машина без приборной панели. То есть тут у нас есть вроде какие-то метрики, но мы не знаем, с какой скоростью мы двигаем.
45: У нас нет стрелки, у нас нету никакого индикатора закрыты ли двери, там check engine, да, если вы там обладатель какого-нибудь старенького мерседеса хорошего вот это все отсутствует, поэтому вот так гораздо.
46: Да, то есть это очень простой пример, что такое зеробит в наших it приложениях все точно так же. Тут мне больше известно состояние машины. Я могу принимать какие-то решения. Конечно, плохо, когда все датчики горят сразу. Это тоже неприятно, но
47: Для визуального подкрепления. Вот так должно быть понятнее. Окей, хорошо, наблюдаемость поняли? Давайте посмотрим на простое взаимодействие и посмотрим, зачем все-таки наблюдать. Да?
48: Тут у нас есть довольно-таки простая цепочка, где юзер заходит на какой-то фронтент, фронтент идёт в апишку, апишка идёт в базу данных, и все они обмениваются данными хорошо, приятно, клёво, довольно-таки просто в голове уклады.
49: Но если думать, какие метрики и вообще, что можно логировать, какие характеристики собирать, что строить. Вот если все это разгонять, то для каждого элемента мы можем придумать там, вот тут, вот там
50: 5 метрик, на самом деле, дашборды в графане, которые вы получаете для наблюдения за своими приложениями, они бывают супер монструозными. Вот, ну, допустим, для пички, так как я начинал с разработки, мне наиболее понятная история, да, то есть, например, просто хотя бы
51: Количество ошибок, которые вы получили, а желательно не количество ошибок, которые вы получили, а распределение их по квантилям, да, вот уже интереснее, например, сколько у вас ошибок там, пятисотых, например, по квантилям можно распределять время?
52: Обработки запроса, да, то есть там сколько у вас запросов обрабатывается? Больше 2 минут, да, хотелось бы, чтобы не так много. Вот. Ну и базы данных там тоже наберётся, честно говоря, там сколько этих метрик, которые
53: Много чего показывает о том, как база данных влияет, точнее, ведёт себя на диске, как она будет деградировать с увеличением количества данных, и всякие вещи, которые вот относятся там к её логике ну и на фронтенде. Да что frontend у нас.
54: Чем-то занимается, мы можем трёкать уже там сам рендеринг этого фронтенда, мы можем смотреть сколько ретраев сделал фронтенд опишки. Ну то есть вот такие вот вещи, это все как будто бы необходим.
55: Вещи, если вы хотите точно контролировать то, что у вас происходит в продакшене. Вот как я и говорил, дашборды, которые строятся для того, чтобы наблюдать за своими приложениями и там за системами, да, потому что мы уже говорим не про 1 отдельное приложение, они бывают монструозным.
56: Вот, например, такими, это датабокс очень хороший платный инструмент, который у него там ееще прайсинг интересный, там платишь, вот прям очень гранулировано. Вот. То есть, что тут можно увидеть, можно увидеть, что насколько доступен.
57: Диск Ляма её by function наверняка имеется ввиду лямбда функции в все какие-то вещи, там сколько успешных запросов, сколько ошибочных запросов. Сами логи. В общем, ну полный набор. Вот.
58: Ну, это ещё 1 пример из графаны. Очень прикольно, что вот, например, у графана есть ещё сервис мап, который вам позволяет смотреть взаимосвязь между вашими сервисами. Ну и давайте сразу уже перейдём к Такому, к направлению, которое ближе к теме нашему
59: А вот что если в этой конструкции появляется лм. Ну вот точно мы можем сказать, что проще не становится, потому что, лмм, теперь у нас появляется всегда почему-то не 1, да, оно имеет какой-то тулинг. Этот туллинг может звонить в базу данны.
60: Там, м, нужно иногда зайти в базу данных, посмотреть, найти нужные документы для этой, м, потом есть скормить, да, то есть, понятное дело, что вот связь базы данных, она как бы не напрямую, но там много чего должно протекать. Вот, может быть, если вы
61: Слышали про эмсипи? Да, там поставьте плюсик. Такое модное сейчас направление. Это модул, комплекс протокол. Да, это вот Артём пишет, что слышал отлично. Супер. То есть эмсипи это вообще история, где у вас добавляется ещё 1 сервис.
62: Mcp клиент сипи сервер и вы можете давать какой-то дополнительный тулинг этой истории, то есть там уже можно такую цепочку собрать, моё почтение вот да, и давайте тоже.
63: Призадумаемся немножко остановимся. М, круто, классно. А вообще, ну, а было ли уже что-то такое? Да, скорее всего, было на самом деле, задачи, которые сейчас решаются, м, они решались, модель машинного обучения и решались нормально в своё время.
64: И скорее всего, какие-то практики, потому как мы можем отслеживать какие-то параметры модели, да, то есть если мы её обучали, мы проверяем её на историческом датасете, смотрим, например, там на экусе на f1 score, на какие-то метрики, которые
65: У нас были раньше для оценки моделей, сейчас большинство задач, которые там, в, м, вы, например, используете, например, там, создать сомализацию. Вот там, конечно, тоже есть синтетические метрики, но если формулировать
66: Вопрос по-человечески. Вы, например, хотите понять, насколько точно точна была эта сомализация относительно другого текста. И синтетические метрики, которые вы можете использовать, не всегда подходят, да, то есть, например,
67: Какие-то вещи, которые раньше решались там просто точностью модели. Сейчас вы, например, хотите сказать, насколько она попала в стиль, а это уже очень странный запрос, он очень детерминированный. И сейчас мы будем думать и бороться с тем, как вот, вот вообще оценивать на
68: Насколько модель соответствует вашему выбранному стилю повествования? Вот это я все к чему. Что вот этот старый добрый мопс да, мопс от как machine learning? Оперейшенс? Да, это набор практик, подходов.
69: Инструментов, которые в принципе предназначены для управления жизненным циклом моделей машинного обучения, например, там, вашему обучению самой машины. Ну, обучение самой модели, в м, как бы, есть fight'n, но вот, вот этого момента обучения,
70: Если вы там не держите в кладовке парочку суперкомпьютеров, то наверняка вы как бы избежите вот, и мопс это что-то новое, модное. Так, давайте дальше. Это вот как раз раскрытие тех терминов.
71: Постарался их написать. Соответственно, да, потому что надо понимать, что это все ещё об 1 и том же вы должны контролировать, вы должны понимать, что у вас происходит в приложении. И теперь
72: Как бы с бумом, там больших языковых моделей все равно остаётся эта история. Более того, может быть, у вас не было такого в опыте, но там, типа, проснуться с чеком в 10 000 $ опенаи. Это вообще история такая, да? Ну, как бы бывало.
73: И как бы лимит, он ещё больше установлен. Просто, ну, нужно ли действительно так делать, как сэкономить, как тарифицироваться модельки. Это вот все как бы отдельный вопрос тогда исходя вот из моих слов,
74: Я бы сказал так, что раньше, когда вот только все это начиналось, мопс, это концепция, это множество, которое входило в люпс. Можно и сейчас так считать, если у вас есть вот эта искренняя Любовь к традиционной машинке, но на
75: Или я думаю, что это уже скорее такие 2 полноценных множества, которые пересекаются в чем-то. Вот. И я думаю, что мы разобрали теорию, разобрали базу. Давайте посмотрим на конкретную имплементацию.
76: Мы сейчас возьмём инструмент, который называется length фьюз, и будем прямо в нём разбираться, да, с чем мы будем разбираться, да, как бы для урока создали приложение, которое будет нам помогать разбираться в стенограмме суда над
77: Потому что я нашёл стенограмму, прочитал очень интересное такое изложение, и мы будем спрашивать, построим рак небольшой над этим документом. То есть основная задача которого будет, мы будем спрашивать какой-то вопрос, например, там, работал ли
78: Были бы, были ли у него какие-то психологические заболевания и нам будет выдаваться ответ. Вот это приложение мы будем инструментировать и смотреть как вообще, какие метрики можно получить после его работы, как мы это будем делать.
79: На самом деле, приложение, которое я там написал, оно для демо, оно сильно тяжелее, но, ну, сильно тяжелее по объёму кода. Но вот сейчас я покажу просто момент, как это можно сделать, например, в вашем приложении, если вы используете фремворк,
80: Unchain вы можете не использовать его вовсе. Ланчен это фреймворк, который просто закрывает для вас работу с афишкой там каких-то основных модных поставщиков м да, то есть не будем погружаться.
81: В детали смысл такой, что под капотом все равно вы звоните там опенаи. Вот давайте посмотрим сверху, читаем вниз. Это значит у нас необходимые импорты, их довольно-таки много дальше на моменте установки переменных самой
82: Системы. Мы вот тут вот вводим паблик кей сикрет кей от самого фьюза, который вы получаете после его установки. Я его лично накопил. Там докер композа очень приятная документация. Сейчас будем посмотреть. Вот. И дальше вы инициируете, не
83: Callback функцию да, то есть это функция, которая будет вызываться каждый раз при вызове какого-то вашего элэм релейтед цепочки, например, в нашем случае да, это будет история с тем,
84: Что мы будем находить нужные части нам документа, извлекать из них информацию и отвечать на вопрос пользователя. Дальше мы что делаем? После создания этого коллбэк нам как бы возвращается классик, и дальше мы загружаем стенограмму, которая есть
85: Ого, суда. Да, это просто текстовый документ. Вот он справа выглядит, как бы ничего там нету дополнительного. Мы загружаем эту стенограмму, у её есть свои утилиты, которые позволяют вам упростит
86: Работу с текстом. Вот, вот тут вот мы просто делаем текст лодер загружаем тексти. Дальше мы инициализируем саму модель паи, указываем модель. Ключик забирается из переменной среды. Вот тут вот мы делаем чуть чуть вещь, которая сейчас
87: Является имитацией, потому что всего в стенограмме, там, я не помню, че то там, ну не знаю, там больше 1000 строк, что-то такое. Вот. Но тут что мы делаем? Мы берём наш, наши документы, которые мы загрузили
88: Сути это сейчас, когда у нас 1 документ на большое количество символов. И вот тут вот, используя корректер, текст сплиттер, мы просто делим этот документ на чанки, тем самым симулируя ситуацию, где у вас, например,
89: Гигабайты разной текстовой информации в базе данных, и вы не можете просто взять и скормить все эти тексты в лм. Ну просто это дорого, это неприятно, как бы вот такие вот вещи, да.
90: Ну, там гигабайты, возможно, там токены видел, сколько стоят. Ну, давайте там терабайты, скажите, будет полегче. Вот дальше, что мы делаем? Мы тут же, не отходя как бы от кассы вот в этих строчках мы создаём
91: Нашу векторную базу данных, векторная база данных мы проговаривали на прошлом уроке. Ну, я на всякий случай повторю, она у нас будет хранить эмбеддинг наших Чанков текста. То есть эмбеддинг это, по сути, вектор.
92: В который превратили текст. Это нужно для того, чтобы мы запустили процесс поиска валидных Кусков документа. То есть, если я буду спрашивать, например, о чем этот документ, мне вернётся не весь текст, мне сначала найдётся первые 3
93: Релевантных куска, да, это, например, там заглавие и потом уже на основе этого контекста мне будет дан ответ. Что, собственно говоря, вот тут вот и видно, в следующей строчке мы тут описываем логику. Вопрос, ответ над текстом. Да, и вот тут вот мы
94: Ещё используем параметр, который нам ограничивает поиск. Имеется ввиду, что мы получаем топ 5 совпадающих с нашим запросом релевантных Кусков и на них уже делаем какой-то ответ. Вот. И дальше
95: После того, как вот этот вот чейн, да, цепочку мы соорудили, это вот готовый класс отчена, который называется ретривел кьюэй кэш ансерс. И мы просто говорим, что вот у нас есть такая модель, м, которую мы объявили сверху, и у нас есть ретри.
96: То есть тот, тот функционал, который будет за нас делать поиск по нашим документам, это, соответственно, вот как бы, док серч с таким вот ограничением, что первые 5 он берет и дальше, когда мы делаем инвокацию, то есть мы как бы
97: Запускаем весь этот, всю эту цепочку мы просто добавляем в конфиг колбэк. Все отлично. Колбэк автоматически подбирает все. Ну он понимает, куда и как нужно идти. Физи, исходя из переменной среды выглядит
98: Супер. Просто на деле, честно говоря, очень мало видел историй, где вы на этом останавливаетесь. Сейчас мы посмотрим почему.
99: Так, смотрите, сейчас у нас время демо, я переключаюсь на приложение, может быть, если как бы там информации много нас навалил, говорите, какие-то вопросы остались. Постараемся ответить. Пока вот шарить экран.
100: Так, ну как бы, если вопросов там нет, ну, можете не говорить тогда. Ладно. Так, давайте тогда буду переключаться потихонечку.
101: 5000 чанксайз 100 оверлап, немало, оверлап. Хороший вопрос, очень точный. И сейчас мы будем смотреть и прямо менять эти параметры с вами в демонстрационном приложении. И там как раз, наверное, мы и ответим на этот вопрос.
102: Это, кстати, очень крутой вопрос, потому что если вы star строите уже какие-то rock приложения, то играться вот этими оверлапа и размерами чанка. Ну, нужно и важно. Сейчас будем смотреть на это.
103: Так, смотрите, скажите, видно ли вам, соответственно, 2 моих окошка. 1, это, которое сейчас я развернул на весь экран, это пример нашего приложения. Чуть чуть я там быстренько накидал веб интерфейс, чтобы было понятно, о чем иде.
104: Речь, да, видно, все, весь дестоп это хорошо. Так и планировалось. Я специально убрал теллеграм подальше и почистил рабочий стол. И, соответственно, вот у нас есть ещё и ланью.
105: Вот, хорошо, давайте тогда начнём с простого. Давайте познакомимся немножко с нашим приложением. Да, у нас есть 2 основные функции, которые мы сейчас делаем. Это мы можем общаться с нашим документом со стенограммой, да, нашего суда, то есть мы нажимаем
106: Как бы найти ответ? Какое-то время ждём, смотрим. Вот у нас вопрос, о чем документ. И тут ответ. Документ описывает судебное заседание, на котором рассматривается дело по обвинению бродского. Бродского обвиняли в тунеядстве. Я надеюсь, что таких
107: Судебных дел станет больше, когда нас всех заменит. Ии надеюсь тоже вернётся статья и какая-то будет такая суета. Вот мы можем задать ещё вопросы, например, кто фигуранты дела, допустим,
108: Да, и посмотреть, как отреагирует на это наше приложение. Фигурантами дела являются бродский, адвокат, судья Грудинина. Свидетели, такие как Эткин и Денисов. Супер. Хорошо, мы что-то получили. Отлично. Мы уже как бы симулируем вот наше
109: Взаимодействие с приложением. Давайте ещё посмотрим на 2 кейс. Вот у нас есть аморизация документа. Да, тут я немножко попозже расскажу, что такое промт. Получен версия 6, потому что важная интересная концепция. Вот.
110: Давайте посмотрим. Вот тут есть промт, который мы получили, и есть авторизация всего документа, она почему-то на английском, да, на самом деле это специально. Я оставил такую лазейку, мы будем смотреть, как с помощью long fuse проводится вот этот Деба, что, например, вы
111: Про что-то не то вышло у вас он возвращает там например, неожиданный язык. Посмотрим вообще, что с этим делать. Ну давайте начнём со знакомством, с самим приложением Ван фьюз. Что это такое ещё раз? Это отдел.
112: Сервис, который разворачивается с докер композа, есть чат, как он выглядит? Основная история, что вас встречает там приблизительно дашборд по основным вещам, которые вы хотите увидеть. 1, вы видите трейсы
113: Это набор событий, которое было использовано в вашем приложении. Давайте сразу с ним познакомимся перед тем, как разбираться с общими вещами. Вот это вот это трейсинг вашего приложения. Помните, я спрашивал, кто фигуранты дела? Соответственно, вот
114: Тут вот я вижу, что от меня был такой вопрос, кто фигуранты дела? Более того, я вижу там мета, настроечку, которую я передавал, это количество наиболее релевантных Кусков текста, которые забираются. Тут я вижу ещё модель.
115: Я вижу ещё температуру и, соответственно, я вижу ещё и output этого всего, но самое крутое, что есть в трейсах, это то, что там есть детализация на самом деле, да, то есть, если мы посмотрим, то для нас работа с этим текстом это
116: Набор действий, 1 набор действий это у нас как раз вектор 100 триер. То есть это получение Нужных Кусков документа. Я напоминаю с помощью текст сплиттера мы разбили документ на несколько Кусков. И вот тут num видно, что
117: В массиве есть 3 значения. 0 1 2. У них есть какая-то, какой-то айдишник и у них есть контент. Ну имеется ввиду сам текст, и получается, что нам вернула 3 вот этих вот элемента после этого
118: Мы эти 3 элемента взяли как документы, соответственно, и уже передали в контекст самой лмки, и, что самое главное, тут можно посмотреть, какой промт реально пришёл.
119: Потому что, например, what use default пикон, анфер, вот эта история, я нигде её не прописывал. Это внутренняя имплементация библиотеки ланчей. То есть, если вы вызываете-ка, то ожидаете там, что вот
120: Будет такой служебный промт. То есть это вот то, что пришло системе, соответственно, вот это указание плюс мой текст. Вот. И тут мы видим ответ. Более того, мы видим ещё там дефолтные какие-то вещи.
121: Который сообщает сам фьюз самей, да, тут тоже есть провайдеры, есть моделька, есть вот даже тип модельки, да, то есть некоторые модельки у вас не работают в чате. Вот, и есть ещё там версия лаффа.
122: Public key, то есть все, что вы хотите там, что можно как-то использовать для того, чтобы дальше уже обрабатывать информацию. Давайте ещё посмотрим на например, запрос от самариц самариа Ия гораздо проще, она не подразумевает никаких
123: Этапов, которые есть, ну, дополнительных, да, вот у нас есть просто это самариа, Ия, вот тут уже у нас есть наш пром, и, соответственно, то, что сюда влилось. И, как видите, тут просто самариа Ия, всего документа, вот.
124: То есть, что ещё можно посмотреть, можно посмотреть, что вот тут вот у вас есть ценник, да, ценник рассчитывается в зависимости от модели провайдера, которую вы используете, как бы фьюз берет эту историю, вы можете там свой токенизатор подставить, если очень хотите, не знаю, для чего. Вот.
125: Тут есть латенси, тут есть реальное название модели, потому что на самом деле они называются вот именно как-то так, да, а не просто там gpt 4. Есть температура, то есть там 1 из параметров, который вы можете сообщить, и есть ещё размер промта.
126: Точнее, размер и интпут за и output. А, то есть вы как бы вот на это тоже тоже можете смотреть. Ну, можно как бы пощёлкать, посмотреть, например, в раге, как у вас происходило
127: В принципе, там все это взаимодействие, наверное, как бы это, это точно полезная история. Если у вас там есть компетенция понять, что у вас тормозит вектор стор, да, и говорить, что у вас там ретрив занимает много времени, да, это очень крут.
128: Вам точно это понадобится, потому что вы сможете понять, в какую сторону воевать. Окей, это базовые концепции, это называется у нас трейсинг, ну, трейсом, да, вот этот набор взаимодействий. И тут мы рано или поздно выкидываемся в на
129: Это вот дефолтное название, там Кола в open ai модельку, которая поддерживает чат формат. Давайте пройдём немножко дальше да, что ещё из интересного? Тут есть вообще на что стоит обратить внимание, если
130: Мы посмотрим на дашборды, нам уже чуть чуть более понятно да что происходит с дашбордами мы можем увидеть что у нас есть например total трейс аккаунт у нас есть total observation аккаунт observation это уникальная сущность.
131: Trace это набор observation если мы зайдём в observation, то мы можем увидеть что у нас например и уберём вот этот фильтр, можем увидеть что у нас каждое что внутри вызывалось 1 трейса это есть observation так Сергей.
132: Спрашивают. Мне кажется, хороший вопрос. Я его быстренько прочитаю. А будет ли работать, если у нас какой-то сложный граф, дополнительный апросы от человека в чате во время поиска, да, будет работать. Если вы правильно обложите запросы от человека вашим трейсингом, я сейчас покажу.
133: Немножко даже как это сделать. Скорее всего, вот, например, у сергея, смотрите, какой кейс, там у него есть разные люди, скорее всего, которые обращаются к вашему рагу. Вот тут вот во вкладке users мы можем также увидеть, что у нас есть разные люди.
134: И, ну, имеется ввиду, якобы засимулировать. У нас есть юзер, который использует кьюэй, а есть юзер, который использует морзей. И если мы зайдём сюда, то мы увидим трейси только, которые относятся к этому, соответственно, юзеру. Это
135: Круто потому что вы можете посмотреть на total cost, на total токенс, да на количество трейсов и вы можете вообще вот какой у меня интересный был кейс использования этой истории, мы делали свою.
136: Тарификацию для нашего приложения. Это вообще очень базовая тема. Всегда, когда вы используете, вам надо как-то их окупать. Да, и вы можете, например, набирать, увидеть человека, который больше всего использует ваше приложение, и от него строить эконом.
137: Ну, не от него, но и вы хотя бы что-то про экономику свою знаете. И давайте, может быть, чуть чуть я загляну вперёд. Но вообще вот про вот этого. User id, ничего не было сказано в том примере, в том примере со слайда, да.
138: Ничего не было сказано, потому что использование вот готового клуба хендлера на самом деле не решает ваши проблемы в полной мере. Если вы хотите дополнительно что-то использовать, то, например, вот код приложения, которые мы сейчас смотрим онлайн, и вот
139: Тут вот уже, да, у меня уже есть более сложные вещи. То есть, например, у меня есть us клиент, который у меня создаёт спам, спам, это конкретно, вот, допустим, как там условно, ди, там какая-то вот блочок, в котором будет что-то происходить, мы будем это
140: И вот тут я указываю юзер айди очень круто на самом деле, вот думать в такой парадигме, думать в парадигме, что если вы пишите какой-то бэкэнд, у нас есть, насколько я помню, в чате, то у вас есть там какая-то
141: Да, сейчас, секунду. У нас есть какой-то пост, запрос условно, да, там на фастапи, вы пишите, у вас есть там апп, пост, там, че то там. И вот тут у вас есть там входной параметр. User id. То есть отсюда вы динамически уже можете забирать этот
142: И вставлять в ваш трейсинг. То есть это очень круто, потому что вы можете понимать, например, что там 80% пользователей у вас в принципе, не используют ничего, а там 20% только и делают, что обращаются к через вас.
143: Так, Антон, если у меня локальные модели на гпу срак трудится, будет ли работать такая система? Смотрите, это.
144: Хороший вопрос, потому что не такой простой ответ на это такая система. Если мы говорим конкретно про long fuse, давайте мы тогда потом, после семинара посмотрим на имплементацию, потому что в последних версиях, по моему, да, у вас все
145: Ну, типа поддержка вот этой ламы локальной, она выпустилась. Давайте мы посмотрим чуть попозже. Сейчас давайте пройдёмся по основным темам и потом посмотрим на ваш кейс. Так, конечно, вам спасибо за вопрос. Это очень круто, во первых, что у на
146: Есть тут экземпляры локальная модели на гпу. Это супер кайф. Вот так хорошо. На чем мы остановились? Трейсинг? Да, отлично. Мы можем смотреть, что у нас есть основные показатели косты, у нас есть инвайнт, у нас есть теги, у нас есть какие-то
147: Данные, с которыми вы можете дальше обогащаться. Ну, честно говоря, честно говоря, пока не впечатляет. Ну, типа, что, то есть, есть дашборды, которые там, например, показывают вам общие какие-то там тоже метрики пока
148: Пока круто, хорошо иметь, но какой-то дополнительной функциональности не несёт. Давайте посмотрим на кейс, который меня сейчас больше всего, точнее даже не больше всего. А который наверняка самый показательный. Смотрите, вот у нас есть самореза.
149: Которая возвращает нам английскую версию нашего документа. Вот. Ну, это не то, что мы ожидаем, давайте посмотрим. А вообще, как мы работаем с этой сомализацией, то есть
150: Сразу скажу вот этот Пронт, который вы слева видите, я нигде в коде не писал, потому что этот prompt на самом деле вызывается автоматически вот вот этой строчкой это get Пронт, и вы даёте туда просто наименование своего фронта, откуда он его берет, а берет он его.
151: Как раз из fuse есть отдельная вкладочка промс. Вот у меня есть, например, докмент ризей в этом плане, да, и если мы вчитаемся, то мы увидим, что у нас есть. Вот верни самарии на английском тексте в конце кто-то написа.
152: Злодей какой-то собрался и вошёл, вошёл. Да? Ну в этот раз это был, я сразу признаюсь. Вот и что круто. А что у него есть не только возможность.
153: У него тоже есть. Ну да, Валерий, помню вопрос. Я думаю, чуть останемся после вот основной концепции, да, у этих Промтов есть не только возможность создавать новые, но и версионировать старые, потому что часто бывает в практике, что
154: Prompt то не разработчик знает, как написать, а тот, кто в домине хорошо погружён, потому что если вы пишите промт по продажам, то, скорее всего, продажник лучше знает, как настроить промт, чем вы, но при этом вы пишите приложение, окей, вот тут уже начинается очень
155: Тонкий лёд имеется ввиду что вы забираете Пронт готовый который от вас для вас промаркировали как production ready, например в фюзе круто, что вы развязались классно.
156: Что вы это сделали, но надо быть осторожным, осторожным. В каком плане? Смотрите этот Пронт? У меня вот есть. Верни изацию на английском. Смотрите, давайте дальше пойдём. Допустим, у меня есть тестовый датасет, который
157: Я собрал руками, и я точно знаю, что ответ моей модели ответ после вызова этого понта должен быть на русском языке. Я хочу это проверить, но я не хочу проверять это глазами или как-то ещё. Я хочу сделать так, чтобы
158: Это для меня проверила другая лм, потому что сейчас довольно-таки просто подойти и сказать, смотрите, там, уважаемая лм, посмотрите на этот текст, оцените, на каком языке она написана. Давайте посмотрим, что, как мы вообще можем внедрить это в на
159: Fleur разработки есть замечательная вкладка эвалуэйшн и в. Эвалуэйшн. У нас есть вкладочка лм. Джадж, да, судя по названию, это что-то про то, что большие язык модели теперь у нас ещё не только работают в продакшене, но и
160: Оценивают работу других больших языковых моделей. Вот это встроили вам, бям бям и теперь играйтесь. И, соответственно, тут есть преднастроенные элатеры, которые там смотрят на галлюцинацию вашей модели.
161: На вот, например, есть оценка семантика, да, есть общие вещи, которые там контекст, релеван, и там голая карусель, критик. И, в общем, вот все, что внутри, надо читать и смотреть, как это работает.
162: Но у нас какая задача у нас есть датасет, который я назвал чек лэнгвич оф Ризен и вот тут вот я вижу 2 основных айти, то есть 2 it создаётся вот таким образом, мы просто тут есть импут экспект, это тут
163: Metadata но по честному большинство ваших приложений вы не будете руками это создавать, а захотите толкнуть в апишку Ван фьюз это позволяет, то есть он может вам там дагом флоу собираете примеры?
164: Давайте их сюда, потом навешивайте любые эвалуаторы, давайте посмотрим, как работает оценка этого всего. То есть, например, вот у меня есть фронт, так, про датасеты вроде поговорили, что там есть датасет, это набор Айтимов, вот об этом чуть попозже.
165: Вернёмся. Вот у меня есть пром, последний мой пром, он считается сломанным. Давайте я хочу понять, насколько он сломан. Я запускаю эксперимент. Да, допустим, это ленгвич чек в 12, потому что для историчности я уже что-то наработал.
166: Я выбираю версию промта, у меня 6, последняя. Дальше я выбираю датасет, который вам только что показал. Дальше я выбираю вам, ну, эвалуэйтить, ые, есть у меня в руке. Давайте я пока запущу эксперимент.
167: И вернёмся к тому, как выглядит вот наш оценщик, да, потому что я раз 10 сказал слово валет и уже ломаю язык. Вот наш оценщик, и ничего иного, кроме как
168: 1 промта для вашего, ну, промта, который вот поддерживает вот этот плагин, ну, точнее, не плагин, а тимплей, в который вы вводите само значение, которое нужно проверить, оно больше ничего.
169: Опыт с собой не несёт. Более того, вы можете как бы запустить на всех существующих трейсах уже эту историю, а можете на только на новом, на новых элементах датасета. Если мы говорим про эксперимент, вот давайте посмотрим. Окей, мы тут
170: Единственное, что надо помнить, что вот тут вот не видно, но при создании нового кастомного эвалуаторы оценщик, давайте остановимся.
171: Вот тут идёт ваш prompt, вот тут вот надо указать, как вам расписать ризонинг того, что промт поставил такую оценку, то есть с чего это он вдруг решил, что это плохо написано, или что это не русский язык.
172: Объясни мне, пожалуйста. И вот тут вот нужно описать, как будет ставиться скор. Ну, как бы в моём случае я специально вывел его по, но скоро будет единичка, если это русский 0, если это английский. Вот
173: После создания такого дополнительного, да, как бы судьи мы можем уже посмотреть на те эксперименты, которые у нас есть. Вот недавно я запускал в 12 эксперимент. Да, давайте посмотрим. Вот тут есть довольно-таки удобная
174: У нас есть input у нас есть expect это output, который я заранее подсобрал, но на самом деле он нам не важен, потому что мы не сравниваем сейчас аутпут и ожидаемый аутпут. Мы сейчас сравниваем, мы только
175: Смотрим на то, что реально выдала модель и оцениваем там язык. Давайте посмотрим, вот тут вот у меня указан мой оценщик, называется russian language, чек, вот тут вот ещё 1 it датасета и
176: Который я получил 0. Да, отлично. 0 это то, что нужно, потому что это английский язык. Давайте проверим, а какой ризинг вообще у этой истории? Ризинг у этой истории следующий. Вот я навожу сюда и тут написано, текст полностью написан.
177: На английском языке, а не на русском. Спасибо. Узнали вообще, на самом деле, когда я вот 1 раз в жизни это навёл, когда ещё love только, ну, там, не знаю, версия 2 была. Я посмотрел, думаю, нифига, очень круто, очень круто, потому что это не оставляет.
178: Тебя в некотором неведении таком. Знаешь, а че вообще делаем? А че, зачем? К чему? Почему ты так решил? Окей. Тут есть какой-то риз супер. Давайте ещё вернёмся на шаг назад и можем посмотреть на историю изменений.
179: Этих значений. То есть, например, вот у меня последний эксперимент по 12 привёз меня в 0 по 2 сетам. Вот этот предыдущий эксперимент был валидный, получил в среднем оценку единицу. Дальше как бы, да, вот 0 5 это значит там что-то получилось.
180: Что-то не получилось перевести.
181: Соответственно, это отдельная история с экспериментами. Также как бы по этим экспериментам мы можем посмотреть вниз. Вот тут вот скоры, да, вот скоро аналитикс у нас есть.
182: Основном дашборде мы можем выбрать тут конкретный и посмотреть на то, что он натворил. Да? Ну вот как бы там видно то тоже самое. Ну и вообще вот тут вот хороший стартовый экран, советую, он очень приятно написан, приятно на него смотреть, да, то есть
183: Задержки. Дальше у нас есть отдельная история про спамы, отдельная история про генерации, потому что это отдельный шаг в конце каждого спама юзер, консепшн. Мы уже обсудили политику юзеров, да, то есть это добавление отдельного юзер айди.
184: Спам. Ну и тут уже идёт там история про кост токены и все ваши такие вот вещи. Смотрите, вот тут вот мы поговорили про то, как можно использовать
185: Но давайте мы ещё немножко поговорим про то все-таки иногда хочется использовать человека, который может что-то оценить. Ну типа как бы давайте мы все ещё оставим людей в этой игре давайте посмотрим на вот такой вот кейс.
186: Вот у нас наше приложение, мы возвращаемся сюда и, допустим, мы говорим про работал ли, работал ли бродский на заводе.
187: Да, мы как бы спрашиваем это и получаем из предоставленного контекста. Не следует, что бродский работал на заводе. И тут вот вспоминаем человека, который спрашивал про размер Чанков и оверлапа. Я точно знаю, я читал стенограмму, что бродский
188: В какой-то момент сказал, что он работал фрезеровщиком, и в момент, когда вы понимаете, что там вот этот ответ вас не устраивает или что-то такое, да, то тут уже как раз идёт история с тем, что вы играетесь с настройкой вашего рада на самом деле тут вот
189: Самое простое решение, которое есть, это увеличить все, да, но это решение не то, что вам нужно. Там уже отдельно в рамках курса мы будем смотреть на то, как двигать ваши векторные базы данных, чтобы у них был нормальный ретривел. Ну давайте проверим ещё раз измен.
190: Как-то ответ отлично. Теперь, когда мы дали модельке возможность взять почти весь текст. То есть мы видим количество Чанков 11, а я сказал, что убери 10 ближайших, то как бы, да, она узнает, что бродский работал на заводе, он упоминал, что работал.
191: В течение года супер ответ лучше, чем был. Давайте все-таки, как бы тогда дадим возможность человеку аннотировать ответ, который ему не понравился, потому что сложно писать лет, который делает для вас какую-то
192: Специфическую оценку, например, там вот для того, чтобы заработал, бесит. В этом случае вы должны скормить весь документ. Но давайте посмотрим, как человеку можно поучаствовать в этой истории у нас
193: Мы возьмём трейс, мы возьмём трейс, который закончился тем, что у нас из предоставленного контекста не следует, что бродский работал на заводе, да, и мы сделаем некоторую аннотацию. Вот тут у нас уже есть аннотации, да, то есть
194: Что это возможность поставить комментарий к работе вашей, м, допустим, вот у меня тут есть поле мануал, корректность, но на самом деле как бы можно выбрать какие-то ещё вещи. Давайте мы вместе с вами может быть
195: И создадим. Хотя давайте посмотрим, есть ли у нас готовое что-то, может быть так будет проще. Да, у нас есть готовое. Ну, в любом случае, давайте попробуем создадим 1, да.
196: Вот тут вот мы возьмём и добавим новую метрику для оценки, которую можно заполнять человеком. Давайте, допустим, это будет бродский.
197: Score и пусть будет от нуля до 100. То есть мы не будем там говорить точно неправильно, точно. Правильно? Давайте попробуем че то там среднее. Ну в качестве примера.
198: Вот отлично, тогда ещё раз давайте мы создадим новый q q это у нас очередь на разметку, это на самом деле вещь, которую я не раз писал руками, когда знаете, у вас есть какие-то эксперты, им нужно разметить.
199: Картинки сравнить с вашей разметкой. Вот мы выберем бродский скор, создадим эту очередь. Отлично. У нас она появилась. И теперь мы зайдём в трейсы и скажем, что, например, вот эти 2, 2 записи мы хотим
200: Добавить в очередь для размётчиков, для разметки, для размётчиков. Неважно, если у вас есть отдельные люди. Супер. Вот. И тут мы видим, что у нас появилось 2 трейса, которые мы можем разметить, нажимаем процесс
201: И говорим, вот отлично, у меня есть бродский скор. Ну, я говорю, что там, да, он работал фрезеровщиком супер 100 вообще прекрасно. Работал ли бродский на заводе. Тут че то как-то не давайте 0 не поставим.
202: Если поставим, то карандашиком оставим, а 10, че то не то. Ну, спасибо, что вообще ответил. Окей, хорошо, что мы можем с этим дальше делать. Тут уже, честно говоря, история про вас. И вы можете
203: Отмаркированные ответы заново запустить в ллм, дать ей какой-то fushou экзампл с правильных вещей вы можете зафанеривание маркированных ответах, но как бы основная история, что вы можете эти же ответы, маркированные пропустить ещё сквозь.
204: Оценщиков автоматических. И вот этот весь урборос в итоге как бы вам должен, наверное, повысить качество вашего плана. Если вы используете его правильно? Так давайте тогда финальную часть сделаем. У нас все ещё
205: Поломанная сомализация, да, насколько я помню, она все ещё возвращает нам на английском что-то правильно так и да, скорее всего она возвращает на английском и
206: Дайте мы починим наш промт, да, вот результат. И да, все ещё на английском. Хорошо, мы заходим в промт, допустим, это делаете не вы как разработчик приложения приложения, но делает там какой-то ваш знаменитый эксперт, и вы дела
207: Новую версию давайте мы просто либо уберём, либо поставим тут на русском языке. Давайте мы уберём, как бы, надеюсь, что инпут на русском, как бы триггернет, её вернут, датасет на русском. Вот мы видим, что
208: У нас появилась версия латест. Давайте апгрейдим её до продакшена. Н уверенности должно сработать. Вроде не сломается. И плюс мы не забываем, да, что у нас есть возможность запустить наш
209: Эксперимент. Давайте ещё раз запустим эксперимент то ленгвич детект в 13, да и на версии 7 мы все ещё используем тот датасет и у нас все ещё тот же
210: Хорошо, мы, как бы, ну, запустили этот эксперимент. Супер важный история, что если мы посмотрим на, как бы, наш домашний дашборд, учитывай.
211: Что все эти эксперименты тоже стоят денег, да, то есть у вас есть уже вот тут вот потребление вашими ранами экспериментов на датасете и получается, что в какой-то момент, если вы будете прям сильно играться с этой историей, вы, скорее всего,
212: Ну, там ценник будет сопоставим с основным вашим, соответственно, с основным вашим ценником за просто приложение, понимаете? Поэтому, как бы, да, поехали.
213: Дальше, на чем мы остановились? А у нас идёт эксперимент, который мы назвали в 13. Давайте просто оставим на него, посмотрим, как он идёт. Ну а тем временем мы ещё посмотрим, как у нас отработает получение нового фронта.
214: То есть мы создали версию 6, насколько я помню. Да, давайте посмотрим. А, нет, мы создали версию 7. Давайте дадим какое-то время лан фьюз прочекать. А вот видите, он сосал новую версию, которая у нас
215: Мы создаём сомализацию. И вот у нас получилась изация на русском языке. Окей, мы вот в таком примере поправили ваш бак. Понятное дело, что бак не будет выглядеть именно так. Скорее всего, он будет более тоньше, более тоньше, да, ну, более тонким соответствен.
216: Вот и вернёмся к нашему эксперименту. Наш эксперимент закончился тем, что мы получили везде скоро единичку, да, и
217: Получили аутпут на русском и, соответственно, единичку, потому что это output на русском. И давайте посмотрим на rising. Каждый раз меня удивляет, когда я на это навожу. Весь представленный текст написан на русском языке, использует русскую лексику. Супер. Отлично. Вот тут вот мы разобрали.
218: Я думаю, что базовый механизм Лачина, мы не погружались в некоторые его там тонкости взаимодействия с элементами про двигание метадатой мы не смотрели выгрузку всех этих Скоров мы не смотрел.
219: В автоматическое наполнение, в автоматический завод дополнительных там оценщиков, на м, но, как минимум, вот вы уже как будто чувствуете. Ну, мне так кажется, что уже есть ощущение, что, в принципе, принося лакюс к вашему, там и проект
220: Что-то можно там узнать, чего-то можно добавить. Особенно круто если у вас есть вот кейс с аннотациями, ну с помощью людей. Это вообще отдельная боль. Я 3 раза писал, писал такой фронтент.
221: Такой фронтент руками это было прям не прикольно. То есть мне прям не совсем понравилось. Вот поехали тогда дальше вообще на этом все мы как бы познакомились с общими механизмами.
222: На самом деле мы уже даже сколько? Минут 60, да, уже тут тусим. Мы, в принципе, проговорили основные моменты. Осталось, что осталось посмотреть на давайте вопросы, если у вас какие-то накопились, я пока буду переключаться.
223: Там уже много вопросов, так?
224: Давайте я пока переключусь на презентацию, добьём наш просто обзор курса, и я отвечу на все вопросы сразу после этого, потому что сам уже немножко устал.
225: Так.
226: Так, ваши вопросы? Ну, я пару раз у вас спросил, не считаю, что как бы их не было. Вот смотрите, у нас уже есть возможность дать опрос занятий. Вот, честно говоря, я бы попросил екатерину
227: Его её скинуть. Но если её нету, давайте я сам скину этот опрос оо открытом курсе. Мне интересно читать использование Тулов сан фьюз хорошо работает, что такое хорошо. По крайней мере, я не
228: Чтобы работало плохо, то есть можно затрекать. Если вам не хватает дефолтного хендлера, то вы можете сами спамы генерировать и будет все окей. Ну то есть нормально.
229: Использование Тулов именно в лангене вы имеете ввиду? Да, я, ну, как бы на моей практике все меня устраивало, если что, я Шёл и сам добавлял спам. Так, смотрите, вот, Артём, очень крутые вопросы. Сейчас мы к ним вернёмся, там просто большой Скоп, чуть попозже.
230: Мы этим займёмся. Так, хорошо. Занятие. Мы закончили опрос, я скинул. Можете что-то там написать? У меня в конце преподавательской видно, что вы написали там иногда приятно читать. Может какую-нибудь пасхалку оставить только, ну там ничего.
231: Там не ругайтесь сильно, там вот это вот все. Ну хоть прикол можете написать там картинку, не знаю, можно приложить. Давайте узнаем о курсе, честно говоря. Проще мне рассказать о курсе, показав вам его программу, да, и сразу
232: Упомяну несколько важных вещей, потому что мы сейчас пытаемся адаптироваться под быстро меняющуюся как бы такую сферу. Я бы сказал, смотрите, вот этот курс, да, он рассчитан на несколько ме
233: Насколько я помню, там, по моему, 4, да, да. 4 месяца. И смотрите, что у нас входит в программу. То есть мы как бы не будем промахиваться мимо архитектуры трансформеров. Честно говорю, что я, например, как дата инженер,
234: Менеджер, я более прикладной характер понимания вижу вообще всех этих инструментов. То есть, но надо знать базу просто потому что иногда то, что под капотом интересно, и то, что под капотом вы не только на собеседовании это можете рассказать, но и возможно,
235: Почему именно так? А это всегда приятно, это как бы, типа клёво. Вот поэтому мы поговорим, в какой момент рн, как бы сдались и сдались ли. Вот посмотрим про механизм аттеншена, который все замусолили. Ну, мы то
236: Мусолину уже так, по своему. Вот дальше будем смотреть просто про обзорную такую вещь, про основные модели. Поговорим про локализации, про подходы к локализации, как они вообще делались. И посмотрим на русские модели. Это был отдельный запрос от
237: По курсу и немножечко там поиграемся данными в питоне. Дальше мы идём в мопс. Я видел, что в чате уже мелькало, да, и мы тоже на него посмотрим, посмотрим.
238: Посмотрим на разные вообще инструменты. На самом деле их даже будет больше, чем тут написано, но пока
239: Ну, мы пока, ну, это даже в последний момент мы уже узнали, что есть столько инструментов, и их разобрали. Вот эмэль флоу, кстати, эмэль опсы, если есть, то плюс в чат. Но эмэль флоу, наверное, кто-то помнит, кто-то знает, сейчас вы зайдёте на эмэль флоу страничку там вот такими большими буквам.
240: M дизайн экспериментс Велком вот поговорим про бичмарк метрики. Дальше мы уже будем работать с самым миском, будем делать приложение мультиагентное. Будем
241: Смотреть на сравнение фреймворков да. Чейн имеет определённую репутацию в дс комьюнити лама. Индекс считается более чем-то элитарным. Ну, разберём этот вопрос, вот посмотрим на мониторинг моделей с помощью fuse в том числе
242: На более глубоком уровне, потому что сейчас это будет простой там 3 a. Дальше посмотрим и на Тулы, и на, на агентов, как бы на все это. Дальше посмотрим на айтюн. И вот нужен он вам или не нужен 1 вопрос, который вот задаётся.
243: Это вообще, а зачем, к чему, кому и как локальное использование лэм это вообще отдельный кусок. Дальше будем смотреть на конкретное применение уже. Ну и в принципе, построим вот жизненный цикл вот вашего конкретного приложения. Ну и следующий
244: История все также надуваем историю с рагами, надуваем историю с профилированием, надуваем историю с агентами, с всякими конкретными приложениями документооборота. То есть мы пытаемся тут уже построить что-то готовое.
245: Более того, мы посмотрим и про сжатие моделей. Будет отдельный большой блок. Мы посмотрим на поиск, мультимодальность моделей, которые в принципе возможны сейчас. И мы посмотрим на интерпретируемость моделей и попытку использо
246: Разные методологии для, ну я бы не сказал, что тут это какое-то обучение, дообучение, но вот возможность сделать модель чуть умнее, чем она есть. Вот по поводу преподавателей.
247: Я буду с вами на курсе. Скорее всего, я буду забирать истории, которые такие более прикладные, инженерные, связанные со всем вот этим.
248: Да, соответственно, моих коллег. Вот тут вот они слева направо, как говорится, да, очень приятные ребята, мы с ними как бы делали установочные встречи. Очень интересный опыт, например, у николая, потому что он работал с мультимодал, кой, если вы погуглите про
249: Там есть и, значит, и аудио, и картиночки, и все такое, да, то есть, как бы Раиль это, в принципе, плотный специалист. И Валентин, он работает в дойче. Кстати, да, по моему, тут написано deutsche telekom и очень крутые кейсы.
250: Телеком, я надеюсь, как бы, что, ну, мы поговорим с валентином, он расскажет что-то такое фигуральными словами, но, в принципе, вот этот вот, знаете, большой провайдер, не российский, и уже заигрывает с лм, интересно, вот, ну, как бы там
251: Дальше тоже ребята, они уже начинаются по кругу, но, в принципе, вот к нам недавно присоединился ещё молодой человек, тоже очень такой впечатляющий, там бэкграунд у него вот. Соответственно, это был наш 2 открытый
252: И давайте вернёмся к вопросам. Давайте я снизу вверх пойду. Давайте напишите какой-то фидбэк в чат, либо просто вопрос. Если там есть какие-то вопросы, давайте мы тоже пишите их, мы разберём их.
253: Минут 5, 7 у нас ещё есть вот так Александрии. Петар, наверное, Александр, скорее всего. Или Алексей, да?
254: Вот по поводу, это питоновый фреймворк, просто я немножко смотрел фо для java на самом деле нет, как бы можно сказать, что это питоновый фреймворк, по моему, если мне память не изменяет, есть разные дикей.
255: Да, насколько я помню, давайте сейчас посмотрим. Вот. Но изначально, да, как бы, ну, наверное, он изначально рождался под питон, есть ли у него какая-то там адаптация под джаву.
256: Наверное, есть, потому что у него есть точно джиэс, да, из дк. Если зайти вот в репозиторий чейна, то вы там увидите джиэс, например, и это его конкретная имплементация от разработчиков.
257: Как они там шли, кто первее был, честно говоря, не знаю, но про джаву тоже не скажу. Мне кажется, что вот у них я, по крайней мере, не вижу ничего про джаву. Вот так конкурент спринг.
258: Это вообще точно жака штука, судя по названию. Так есть ли какие-то инструменты для есть ли какие-то инструменты для локального отслеживания возведения локальных моё
259: Что такое возведение локальных моделей? Поясните прям кейс. Желательно так, 5 вопросов от артёма вишни. 5 вопросов от артёма, виши, Имбер, можно?
260: Без пояснений. Бедра им 3 давайте так универсально, Фрида, скорее для какого-то стилевого соответствия. Мне так кажется. E5 хорош.
261: База, насколько я помню, на русском не хорошая база поиск подмешивать, допустим, б 25 делать гибрид семантики ключевых слов я бы делал.
262: Dance Спарс я бы делал гибрид, и особенно я хотел бы, я бы, наверное, делал точно это на русском, потому что, скорее всего, скорее всего, какие-то редкие ключи я смогу найти реранкинг.
263: 100%, да? Ну типа точно, да, он точно нужен в конце пайплайн оставим. Зависит от кейса, честно говоря, это вот если мы говорим про какой-то там, допустим, поиск,
264: Ну, честно говоря, в поиске, там тоже зависит от кейса. Ну, можете поставить в конце ничего от этого не будет. Какой сложно. Зависит от кейса. Это вообще история такая, что локально.
265: Может быть там насколько я помню, калберт в 2 и на gpu наверное сработает там честно говоря надо конкретно потюнить так продакшн стор для критиков.
266: Сервис вместо хромы. Ой, я плохой ответ дам очень плохой ответ. Меня лучше не слушайте, клихаус, я без негатива, но я понимаю, да, очень, очень такой. Ну вот у кли хауса есть, мне кажется,
267: Базовые вещи для векторного поиска. Я очень маловероятно. У вас какой-то кейс, который выпадает за эти базовые вещи. Не знаю, если милос или квадрат, давайте квадрат, потому что с милосом не так много работал. Квадрат просто часто светится.
268: Берите, посмотрите его статьи про векторный поиск, посмотрите на его последнюю версию, что они там доработали, и наслаждайтесь тем, что вы живёте, и вы ещё можете эскэль бахнуть, а потом внутри этого эскеля по фильтрам бахнуть ещё 1 поиск в векторе круто, с детства топлю. Ну, может быть.
269: Так, не нужно. Вот так. А может, 5 вопрос. Может вовсе с учётом 128 контекста. О, хорошо. Да, рак.
270: Который уже можно сказать, что не рак, а как контекст да туда просто воткнуть, если латенси не критичен, можно окей, локально с мощным gpu.
271: И, ну, хорошо, наверное, зайдёт ретривал, да? Ну, короче, честно говоря, вопрос трейдов. Можете запихнуть ногами весь контекст, если у вас какой-нибудь там ресерч, который вы раз в день делаете, н,
272: По сути, ну, запихиваете, как бы не вопрос, да, клик вообще неожиданно. Хотя Миловидов давно, да, да, это правда. Ну, я, посмотрите чуть чуть так, взгляните на клик. Очень крутая тема. Ну, мне нравится, по крайней мере.
273: Так, что-нибудь для создания адаптеров, для лм, как альтернатива файнтюнинга будет что-нибудь создание адаптеров для м. Ну смотрите.
274: Можно ли сказать, что Лора это адаптер? Ну, наверное, да. То есть про лору поговорим, да, посмотрим про лоран матрицы, как бы такую вещь за
275: Затронем, да, но, честно говоря, история такая, ну, довольно-таки тонкая Лора, может, квантованная Лора, че то такое посмотрим. Ну, не че то такое, а точно такое посмотрим. По крайней мере, Лора кулор, если у вас есть
276: Какие-то ещё идеи, может быть вы про какой-то конкретный инструмент спрашивали, накидываете вообще будет неплохо. Мы можем рассмотреть. Пока как раз программа устаканивается. Ну типа то, что у нас есть, уже описано точно будет, но что-то новое добавить мы наверное,
277: Так, работает ли там основной вопрос, который я вижу сейчас, это есть ли какие-то инструменты для локального поведения локальных моделей? Имеется ввиду
278: Будет ли работать тот же length фьюз, например, с вашим локальным диплом, насколько я помню, в 1 из последних версий, да, он точно мог работать там с вашими лама, потому что
279: Потому что они добавили какую-то унифицированную апишку надо проверить конкретно про ланью сложно сказать, но, по моему, с последних версий вы можете уже не без некоторого геморроя, потому что вы там, например, если будете писать какие-то свои инференс, вам нужно
280: Будет создавать вот эти спамы самому, но как будто бы должен. Посмотрите, у меня больше опыта, например, с облачными моделями у нас есть отдельный преподаватель, который больше работал с локалками. Я могу у него спросить и вернуться, но на
281: Но в последних версиях плюс добавляет такой функционал, насколько я помню. Вот, поэтому посмотрите, ну я понимаю ваши опасения, скорее всего, что как бы вы думаете, что как придёте, такого крутого инструмента не будет, надо уточнить, надо
282: Уточнить. По идее, если вы локально захостили, если вы каким-то образом сможете проткнуться в апишку этого ланза, вы можете вообще что угодно сделать вообще, че хотите, то есть как бы это
283: Ламу, например, да, вы можете трейсить сразу, это вообще в доке написано fuse, если че то там сверх, посмотрите, как это делается, потому что, скорее всего, инструментация есть, она просто не такая прикольная, вот зависит от того там
284: 7 б, пожалуйста. Да. Ну, я, я не думаю, что у вас мистраль 7 б. Я думаю, что вы что-то более интересное гоняете. Вот. Поэтому почекайте, у него каждый день, наверное, растёт список поддерживаемых интеграций, поэтому там мистрали вообще
285: Это отдельные языки, которые под него есть. Вот. То есть зависит от конкретно вашего там кейса. Че, че у вас там под капотом? Вот круто вообще, что есть много кейсов с локалками гпу и все такое у нас будет прям отдельный модуль под это.
286: У нас есть человек тоже с большим опытом. Я не ожидал, честно говоря, что много кто захочет ввести это локально, но, видимо, есть какой-то консерн по поводу прайвеси данных или чего-то такого. Очень круто. Тоже будем разбираться. Так.
287: Ребят, на этом все в чат я ещё раз скину опрос. Если вдруг у вас какое-то есть желание написать туда, ну, чего-нибудь прикольного, то пишите, открытые уроки, в принципе, отсу проводятся. Надеюсь, было интересно.
288: Что-то познавательное узнали, что-то хотя бы посмотрели, по крайней мере, про иосифа бродского и его суд узнали. Вот. Да. Всем тоже доброго вечера. Антон. Да. Валерий, спасибо за участие. Вам. Валерий. Спасибо, что
289: Появились. Я прочитал ваши ответы приятные. Так, Иосиф топ. Ну, с детства получается. Вот все, тогда давайте прощаться. Запись придёт на вебинар. Рад всех был видеть.
290: Хорошая аудитория, приятный чат. И вопросы ещё хорошие. Видно, что пришли специалисты. Это приятно. Всегда прикольно. Все. Пока. Пока. Да. Вам спасибо.