ym104432846
Вставьте ссылку на видео из Youtube, Rutube, VK видео
Задайте вопрос по видео
Что вас интересует?
00:00:00
Создание медицинского помощника на основе нейросети:
  • Нейросетевой помощник "2 мозг" предназначен для хранения и анализа медицинских данных пользователя
  • Пользователь рассказывает о своем желании оцифровать медицинские данные и использовать их совместно с нейросетями
  • Демонстрируется процесс создания таблиц, функций, индексов и workflow'ов в нейросетевом помощнике
  • Бот способен самостоятельно создавать таблицы, ноды и связи между ними по команде пользователя
  • Система способна анализировать загруженные PDF-документы, распознавать информацию и сохранять её в базу данных
  • Предоставляются примеры запросов и ответов нейросетевого помощника, демонстрирующие его способность находить релевантные данные и предоставлять полезную информацию пользователю
  • Подчеркивается важность использования нейросетевого помощника как дополнительного мнения, а не замены консультации врача
0: Всем привет. Сегодня я хочу рассказать про то, как мне удалось завайпали ь медицинского помощника с помощью клода. Это специальный медицинский бот. Я и называю его 2 мозг, и у него может быть несколько
1: Разных ответвлений. В данном случае мы рассмотрим только медицинский аспект. Ко мне обратилась 1 девушка, которую заинтересовало моё видео, которое я снимал. Я оставлю ссылочку на него в описании, и там я рассказывал, что мне захотелось оцифровать
2: Все свои медицинские данные, анализы, выписки от врачей, мои какие-то инсайты за 10 лет загрузить это все в векторную базу данных и с помощью гибридного поиска доставать нужные куски данных, отправлять их в ллм.
3: В нейросеть и получать релевантный ответ моему запросу. Допустим, я пишу про витамин д. Что-то он идёт в базу данных, находит с помощью гибридного поиска все данные, связанные с витамином д, выгружает их и отправляет в нейросеть.
4: Я долго думал над архитектурой памяти, и у меня есть интересное решение. Теперь нам осталось отправить наш большой промт в клод, и мы не забываем, что необходимо подключить наши коннекторы, которые уже подключил к
5: 8 and space они у нас подключаются вот здесь, в инстанс, левел эмсипи, а в спбэсе они подключились с клода вот он уже пошёл в спбэс, начинает прикидывать, где создавать наши таблицы отлично.
6: Он создал нам все 3 таблицы, создал нам функции, создал индексы. Давайте на них посмотрим, обновим нашу страницу. Вот наша таблица 1, которая хранит всю историю переписки. И вот наша 2 таблица.
7: Который будет хранить все данные человека, выписки врачей, личные заметки, анализы и так далее. Отлично. Он начал создавать workflow и внутри него уже ноды для н 8 and давайте подождём
8: Посмотрим, что у нас получится из этого. Здесь я решил его подкорректировать, потому что делать транскрибацию через open ai мы не будем. У нас есть специальная Нода для этого, поэтому мы не будем использовать ноду от open ai. И плюс я ему говорю.
9: To апи ключи, я сам укажу, не хочу ему передавать. Плюс ему пишу, чтобы он дальше у нас запускал фазу 2, которая разработает нам воркфлоу. Супер. Получается, у нас закончилась фаза 2. Он все сделал. Создал нам табли.
10: Создал нам воркфлоу внутри workflow. Он создал у нас ноды. Давайте на них посмотрим. Вот он создал нам воркфлоу. Давайте в него зайдём. Отлично. Вот наш, мне, получается, осталось создать креденшнал.
11: Телеграмма, база данных, другие подключения. Этим я сейчас займусь и запущу как раз-таки 1 тест. Я нашёл некоторые ошибки. То, что векторизация работает не совсем так, как нам нужно. Я уже ему написал.
12: Об этом сейчас он загрузит весь воркфлоу, все знания о нём проанализирует их я отправил ему, как нужно правильно это сделать json, и он должен нам это быстренько сделать на самом деле.
13: Это прорывная методология, то, что вы можете просто командовать ему из чата, он сам подключается к эмсипи н 8 and спбэс, сам создаёт таблицы, сам создаёт ноды.
14: Создаёт воркфлоу связи между ними. Это просто, ребята, прорыв. Вы понимаете, какой это кайф? Вы заставляете нейронку программировать за вас, и она вас отлично слушается и все кодит. Конечно же, чтобы это хорошо получалось, нужно
15: Несколько факторов это промт, инженеринг навык. 2, это доступ к самым передовым моделям на рынке и уметь подключать все креденшналы базы данных ну если вы это не умеете, то можно попросить нейронку, чтобы она это за вас сделала.
16: И я научил вас, как это делать. Это забавно. Он внёс изменения. Давайте запустим и проверим, как эта система у нас работает.
17: Ну что мы запустили нашу систему. Отправляется. Апи, запрос в джемини. Супер. Какая, какую он там модель у нас поставил. Ага, отлично. Так и посмотрите, с 1 раза он у нас. Все вы.
18: Прикольно, прикольно. На данный момент ваша медицинская база данных и профиль пустые, чтобы я мог работать в полную силу и давать не общие справки, а точную безопасную аналитику. Мне необходим контекст, так как я не могу
19: Показать данные реального пользователя, его историю болезни, но показать, как этот бот работает, все-таки надо, я заполню тестовыми данными, и мы с вами посмотрим, как он будет их брать и
20: Анализировать и получается отправлять нам. Давайте сразу, не отходя от кассы раз мы ваконим, попробуем его попросить, чтобы он добавил прям так ему и скажем, что я снимаю обзор на данного бота, но я не могу показать
21: Историю болезни, манду, которую я введу, чтобы эти тестовые данные удалить и ничего не сломать. Он у нас справился. Любопытно даже посмотреть, что он сделал. Забавно, да?
22: Он заполнил все наши данные круто, да, и ещё заполнил приём терапевта. Выдумал круто. Да, супер. Давайте, значит, нашу систему тестировать уже начнём. 1 тест, что, наверное, стоит пару слов.
23: Сказать по поводу автоматизации это у нас telegram триггер, он срабатывает, когда вы отправляете в бот какое-то сообщение. Дальше ему нужно понять, что вы отправили это либо обычное текстовое сообщение, он сразу переходит на нормализацию запроса, либо вы отправили.
24: Фото вашего анализа или какой-то выписки, либо это pdf файл. Если вы отправили какой-то анализ, то джемини его проанализирует, транскрибирует и добавит. Ну понятное дело, что векторизует его и добавит его в базу данных, отправит вам сообщение. Это мы тоже посмотри.
25: Что он должен был ответить, что это значение будет 8, и объяснить дефицит, связать с усталостью волосами. Давайте посмотрим, что у нас ответил стартовая точка он показывает дату 8 гемоглобин составлял 115 железодефицитной анемии.
26: Именно этот дефицит стал фундаментом твоих жалоб на сильную усталость, зябкость и выпадение волос, что назначенная тебе терапия работает физиологично и правильно. Организм всегда распределяет поступающее железо по строгим приоритетам. В 1 очередь он восстанавливает гемоглобин. Ну и так далее. Этот мо.
27: Медицинский это как просто 2 мнение, это не последняя инстанция, это просто теоретик, который обучен на всем Пласте интернета, все статьи, все книги медицинские и так далее. Если вы хотите принять какое-то решение, которое касается вашего здоровья, то необходимо проконсультироваться
28: Обязательно с настоящим человеком, с настоящим врачом. А это просто система, которая может помочь вам подготовиться к приёму, обсудить, что вам назначил врач и так далее. Поэтому я прошу относиться к нему именно так, как ко 2 мнению. Давайте проверим.
29: Следующий кейс, вот он пишет, почему я постоянно устаю. Давайте попробуем это сделать. Должен соединить 3 причины. Железо, витамин д и ттг. Посмотрим, соединит ли он это. Давайте пробежимся сразу, как работает система. Вы отправляете какое-то сообщение.
30: После этого запрос ваш нормализуется, векторизуется с помощью джемини и формируется наш мега квери к базе данных. И здесь он у нас выгружает все наши релевантные данные из
31: Базы данных, релевантные вашему запросу. Вот где происходит настоящая магия. Давайте посмотрим, что он у нас выгрузил, так как мы написали по поводу усталости. Сработал гибридный поиск. Это 1 поиск по векторам и поиск по ключевым словам, и он
32: Грузил такие вот данные. Значит, 1, что он выгрузил, это 15 совпадений из нашей базы данных, релевантные данному запросу. Приём терапевта подгрузил приём эндокринолога, подгрузил витамин д, общий анализ крови. Так, отлично.
33: Кровь, железо, витамин д. Все. Дальше он у нас начинает подгружать 10 последних взаимодействий с ботом. Можете посмотреть. Это нужно для того, чтобы сохранить контекст вашего разговора, чтобы бот отвечал логично. Также у нас ееще выгру.
34: Долгосрочная память, так как вы с ботом будете общаться много, там будут сотни, а в будущем 1000 записей, то было бы здорово, если бы он обратился куда-то в базу данных, где вы с ним общались с этим ботом может быть несколько
35: Месяцев назад вытащил оттуда релевантные куски вашему запросу и тоже бы отправил это в контекст для нашей ллм. И вот он здесь их тоже нашёл. И также здесь есть session search дейта это такая, скажем так, сложная.
36: Тема, но я попытаюсь её объяснить. Давайте покажу, как эта функция работает. Мы пишем запрос по поводу железа, и он нам находит 1 сессию. То есть, а здесь у нас около 6 сообщений. Сессию в про витамин.
37: Д сессию ц про щитовидку и сессию д про сон, кофе и волосы как он работает каждая карточка это поле content 1 строки вопрос плюс ответ целиком от ai ранжирует 4 сессии поблизости к запросу текст плюс вектор.
38: Берет топ сессии за 7 дней, из каждой окно плюс концовку. То есть он находит определённое сообщение внутри этой сессии, от него отсчитывает 3 сообщения, которые он забирает, и 2 последних. И у нас получается такая вот схема. Давайте подробно на ней остановим
39: Мы пишем, почему я устаю и выпадают волосы. У нас идёт 1 эскьюэль мега квери. Запрос. Он выполняется параллельно, но, по сути, это 4 подзапроса. 1 это primary дата, что у нас даёт общий анализ крови. Ферритин 8, витамин д, 14. Приём.
40: Терапевта. Анализы и выписки это наши медицинские данные, которые релевантны нашему запросу. Они выгружаются 10 штук. Шорт терм про то, что я как раз вам рассказывал, даёт последние 10 записей из таблицы чат хистори лонг терм. Это
41: Релевантные запросы из chat history, нашему запросу и session search это нити сессии, которые позволяют более точно отвечать на наши запросы это все формируется в build промт, который потом отправится в джемини после.
42: Этого мы получаем релевантный ответ на основании тех данных, которые мы предоставили. Вот наш как раз-таки билд промт здесь отрабатывает такой вот промт, он очень простенький, я буду его дорабатывать, но ради примера, я здесь его оставил джеми, у нас
43: Отрабатывает, и мы получаем такой вот ответ. После этого мы извлекаем наши данные, отправляем их в telegram, и нам необходимо понять, в какую нить, какой сессии это сообщение нужно вставить. Если
44: Он её найдёт по смыслу, и она не дольше 7 дней, то он её вставит. Если нет, то создаст новую сессию и векторизует её и добавит в нашу базу данных. Теперь мы проверим функционал, связанный с загрузкой ваших медицинских данных.
45: В базу данных, и я попросил его придумать какой-то pdf, который мы подгрузим, он его векторизует, и мы к нему обратимся. Посмотрим, насколько хорошо это отрабатывает. Такой вот pdf. Документ получился супер. Давайте теперь отправим наш pdf в бота.
46: Что у нас происходит? Он понимает, что это pdf файл, отправляет его для анализа в джемини, там у нас отрабатывает такой вот prompt, что извлеки данные и верни строго джейсон в таком-то формате.
47: Он думает, сейчас нам все вернёт, сходит парсинг тех данных, которые мы получили, делаем умный Чинкова ие, векторизуем, отправляем нашу базу данных, и нам приходит такое вот интересное сообщение. Документ обработан и сохранён.
48: Тип результата анализов, дата, документ и выявлены какие-то отклонения, данные добавлены в медицинскую базу и готовы к запросам. Давайте сразу проверим, как он достанет наши данные и будет с ними обращаться. Сдавал свежие анализы. Можешь объяснить, что в них не так, и свя,
49: Ли это? У нас запускается наш воркфлоу. Вот он пишет, как мы уже подробно обсуждали сегодня утром твоя усталость и выпадение волос это следствие тканевого голодания. Однако свежие результаты биохимии от 02.06. 2, 0 6 добавляет в эту картину крайне важные новые
50: Двойной дефицит железа плюс витамин б 12 твой ферритин сейчас составляет 24 это лучше февральских. Новая и очень важная Находка. Уровень витамина б 12 упал до 187 с позиции доказательной медицины б 12 критически необходим для работы.
51: Нервной системы. Метаболический сдвиг. Как действовать дальше? Заключение твоего терапевта абсолютно корректно. Сейчас требуется комплексный подход. Медицинская часть. Тебе необходимо обсудить с лечащим врачом подключение препарата витамина б 12. Также мы продолжаем курс железа, строго отделяя его от твоих утренних
52: Чашек кофе. Ну и по поводу образа жизни вы можете обратить внимание, что он это все связывает, потому что из базы данных мы берём релевантные куски данных нашему запросу и отправляем их в нейронку. Она отрабатывает с хорошим промтом и выдаёт нам крутой результат. И тем самым
53: Вы можете, когда вы сходили на какой-то приём, или когда вы получили какие-то интересные, не знаю, анализы или ещё что-то, вы можете это загружать в векторную базу данных и потом к ней спокойно обращаться. Я думаю, вы понимаете уже суть, что это очень сильная.
54: Тема в контексте своего здоровья. Вы можете сходить к нескольким терапевтам, получить эти выписки, загрузить в бота, посоветоваться с ним, поконсультироваться с ним как 2 мнение. И лично я сам активно этим пользуюсь, и вы можете с ним совет
55: Вы можете реально с ним разгонять какие-то идеи, он видит скрытые связи, которые не видите вы, он может это все связать, потому что у него есть полный контекст, релевантный вашему запросу и скажу по себе, он работает прекрасно и подсвечивает какие-то
56: Моменты, на которые я сам мог не обратить внимание. И когда я Иду к терапевту или к нескольким терапевтам, то я загружаю все выписки туда с ним советуюсь, он все это анализирует, говорит, что какие-то врачи интересные, скажем так, персонажи какие-то не очень
57: Вот, и тем самым я пытаюсь найти какую-то истину, какую-то правду для своего лечения и повысить шансы на выживание, так сказать. Вот сегодня мы с вами посмотрели такой интересный кейс, что буквально по 1 пром.
58: Через клод код. Ну, в данном случае через веб версию клода можно сделать такой вот интересный айти продукт медицинского 2 помощника под названием 2 мозг в контексте медицины. И вы посмотрели как можно
59: Удобно с помощью 1 интерфейса создавать таблицы в space функции индексы. Как можно создавать workflow? Как можно создавать ноды, как можно его редактировать и как я уже говорил, это прорывное решение. Поэтому если вам интересно
60: Подписывайтесь на мой канал, я буду выпускать стараться почаще ролики.