ym104432846
Вставьте ссылку на видео из Youtube, Rutube, VK видео
Задайте вопрос по видео
Что вас интересует?
00:00:05
Извлечение данных из текстов:
  • Рассматривается техника извлечения данных из текстов
  • Пример использования – отзывы о ресторанах
  • Генеративные модели помогают структурировать информацию в таблицы
  • Таблица содержит оценки позитивности, кухни, обслуживания и конкретные моменты
00:02:18
Генерация диаграмм с помощью больших языковых моделей:
  • Модели типа GPT-4 имеют встроенный интерпретатор Python
  • Могут создавать простые диаграммы самостоятельно
  • Более сложные диаграммы требуют дополнительных библиотек, таких как Matplotlib и Mermaid.js
  • Код генерируется моделью и используется для построения диаграмм
00:06:09
Примеры генерации диаграмм:
  • Пример создания диаграммы Sankey с использованием Mermaid.js
  • Алгоритм действий ученика представлен в виде блок-схемы с помощью PlantUML
  • Инструменты позволяют визуализировать тексты в удобные и понятные схемы
00:00:00
Применение визуализации для образовательных целей:
  • Автоматическая визуализация текста в блок-схему поступлений в вуз
  • Удобство использования для конспектирования и иллюстрации учебных материалов
0: Давайте подробнее остановимся на технике под названием извлечение данных из текстов и, кроме того, посмотрим, как можно с помощью генеративных моделей рисовать какие
1: Какие-то иллюстративные диаграммы. В качестве примера рассмотрим отзывы посетителей от посещения ресторанов. Ну вот примерно такие отзывы. Здесь я был в макдональдсе 4 раза. Каждый раз это было удивительно, сколько вкусов мороженного я никогда не пробовал.
2: Пробовал явно положительный отзыв. Ну или бургер кинг. Ужасное заведение. Я очень долго ждал, пока заказ приготовится. Бургер был жёстким, соус немного отдавал машинным маслом и так далее. Когда мы видим такие отзывы, нас интересует не только
3: Положительный это отзыв или отрицательный, а, например, нас может интересовать, как люди оценивают отдельно кухню, как они отдельно оценивают обслуживание и вплоть до того, какие конкретно претензии у них есть, посмотрим как
4: Как мы можем эти данные извлечь из такого текста? Итак, мы берём наш список отзывов ресторанов и предваряем его следующим промтом. Значит, мы говорим, у нас есть список отзывов из ресторана. Пожалуйст.
5: Сформируй таблицу, в которой для каждого отзыва напиши название ресторана, оценку его позитивности или негативности по шкале - 5 5, общую оценку позитивной или негативной, оценка кухни ресторана от нуля до 5, оценка обслуживания ресторана.
6: Нуля до 5. Список позитивных моментов и список негативных моментов. И дальше мы приводим список отзывов. В результате получается вот такая вот таблица макдональдс 5 баллов. Отзыв позитивный бургер кинг - 5 баллов. Отзыв негативный.
7: И здесь действительно вычленяются позитивные негативные моменты. То есть, по сути дела, за 1 прочтение списка отзывов мы можем сразу извлечь из них достаточно много разных аспектов. И теперь с такой таблице,
8: Очень удобно работать, потому что с текстом работать было сложно например, если это большой набор отзывов, как понять, какой процент положительных отзывов здесь же, имея таблицу, можно скопировать эту таблицу, например, в эксель и построить какой-то график.
9: Итак, мы извлекли данные из текста в некоторую табличку. Мы можем, конечно, взять эту табличку и отдать её какому-то специалисту или скопировать её в эксель и нарисовать интересующие нас какие-то поясняющие.
10: Диаграммы, но это можно сделать и непосредственно с помощью большой языковой модели. Как это сделать? Дело в том, что генеративная модель, она изначально не может рисовать. Мы можем попросить её выдать результат в виде кода на некотором
11: Языке программирования или на некотором языке разметки, который затем мы используем для того, чтобы соответствующую диаграмму построить инструменты типа gpt 4, они содержат внутри себя интерпретатор языка python, поэтому как
12: Какие-то несложные диаграммы типа Круговых диаграмм, столбцовых диаграмм они могут строить самостоятельно, без привлечения внешних инструментов. Однако если вы используете другие модели или вам нужны какие-то более сложные диаграммы, вы можете воспользоваться такими инструмен.
13: Как мирей джис мирей джиэс это библиотека, которая может строить достаточно большое количество разных диаграмм по текстовому описанию. И вам достаточно сказать. Chat gpt. Пожалуйста, сгенерируй результат в формате.
14: This взять получившийся код и скопировать его в инструмент визуализации. Аналогичные инструменты есть для построения диаграмм план эмэль Марк мап джиэс позволяет строить разные
15: Карты, карты памяти, то, что называется майндмэпс. Ну и ещё ряд инструментов, который может быть полезен. Посмотрим, как нам построить диаграммы по нашим отзывам из ресторанов.
16: Вернёмся к нашему примеру с отзывами мы можем после того, как получилась таблица, сказать, по этой таблице сгенерировали 2 Круговых диаграммы с количеством позитивных и негативных отзывов по кухне и по обслуживанию. Позитивные отзывы это те, у которых балл больше 3.
17: И что мы видим? У нас получаются действительно 2 диаграммы эти диаграммы были сгенерированы из программного кода, написанного на языке python здесь вот можно посмотреть, открыть подробней анализ и увидеть тот фрагмент кода, который использовался.
18: Для построения круговой диаграммы если, например, мы используем какую-то другую языковую модель, например, гига чат, в котором не интегрирована возможность построения диаграмм, мы всегда можем сказать пожалуйста, напиши код на языке python для построения диаграмм и затем этот код.
19: Скопипастить в какой-нибудь инструмент, который умеет такие диаграммы строить. Ну, в качестве ещё 1 примера можем попросить сгенерировать столбцовую диаграмму с количеством отзывов по каждому из ресторанов. Получим ещё 1 красивый график.
20: Который также получен с помощью некоторого кода на языке python ну и, предположим, мы хотим какую-то более интересную диаграмму мы говорим построй диаграмму типа санки, в которой слева название ресторанов, а справа 2 элемента соответствующих.
21: Позитивным и негативным отзывом. Результат представь в виде кода для mermaid джиэс это инструмент для визуализации разного рода диаграмм что мы видим мы видим, что у нас получился некий вот такой вот
22: Очень понятный нам на 1 взгляд код, но мы можем его скопировать, перейти на сайт мир made gs. И здесь есть раздел под названием line editor это red.
23: Который позволяет нам ввести текст на вот этом языке и gs мы сюда помещаем наш код с диаграммой и справа видим графи.
24: Представление этой диаграммы. Теперь можно взять эту диаграмму, скопировать отсюда и поместить в какой-то документ. Ещё 1 похожий на с инструмент. Это план эмэль. Рассмотрим.
25: Ещё 1 пример. У нас есть некоторый алгоритм действий ученика. Ученик пишет мне нужно подготовиться к егэ, когда я сдам егэ, посмотрю, сколько баллов наберу. Если больше 290, то подам документы в высшую школу экономики. Если меньше придётся поступать в вуз попроще.
26: Типа мои, после того, как начну учиться, сразу ещё попробую поступить в школу 21. Как мы можем это визуализировать? Мы можем попросить языковую модель. Представь это письмо в виде алгоритма и нарисуй блок схему в форма.
27: Кода для плант эмэль, что мы видим, что делает чат gpt. Он сначала расписывает весь алгоритм словами, а затем даёт нам код для рисования этого алгоритма. Соответственно, мы, как обычно, копируем
28: Этот код переходим на сайт плант эмэль точка ком и здесь есть закладка онлайн сервер онлайн сервер. Ну онлайн значит можно что-то рисовать, не устанавливая
29: Ничего себе. Видно, что здесь сверху код, а снизу картинка. Поэтому мы помещаем сюда наш сгенерированный код, говорим сабмит и через какое-то время получаем вот такую вот блок схему.
30: Ритма поступления в вуз обратите внимание, что эта блок схема алгоритма была получена нами из исходного текста, то есть мы взяли текст на естественном языке и, практически не думая, автоматически визуализировали его в такой вот наглядной форме, кажется.
31: Что это прекрасный инструмент для визуализации конспектов, учащихся, для построения рисунков к книгам по тексту и для выполнения похожих задач.