ym104432846
Вставьте ссылку на видео из Youtube, Rutube, VK видео
Задайте вопрос по видео
Что вас интересует?
00:00:15
Создание собственного чат-бота:
  • 1. Участники решили разработать собственную нейронную модель с нуля и обучить её самостоятельно
  • 2. Создано задание для Джимини (разработчика), которое передано ему через техзадание
  • 3. В процессе разработки запущен пай-файл с подготовленным ранее кодом, установлена необходимая библиотека и создана тестовая версия чата
00:02:32
Выбор данных для обучения нейронной сети:
  • 1. Обучением нейросети существенно влияют данные, на которых она была натренирована (русский словарь, пьесы поэтов или код Python)
  • 2. Качество предсказания следующей буквы зависит от типа обучающих данных
  • 3. Если нейросеть обучена на Python-коде, запросы, содержащие редкие слова («капибара»), могут привести к непредсказуемым результатам
00:03:18
Процесс обучения нейронной сети:
  • 1. Проведено обучение нейронной сети и создано рабочее состояние чат-бота
  • 2. Представлен таймлапс процесса обучения модели и визуализировано уменьшение ошибки
  • 3. Разработана таблица, отражающая ход обучения модели во времени
00:04:04
Тестирование обученного чат-бота:
  • Участники обсудили возможность улучшения качества генерируемых текстов приложением путем изменения тренировочных данных модели
  • Было отмечено, что текущее качество текста напоминает работу Chat GPT, однако уступает оригиналу примерно на одну версию
  • Обсуждалась необходимость увеличения объема тренировочного набора данных для повышения точности и разнообразия ответов приложения
00:05:35
Улучшение качества текста чат-бота:
  • Нейронная сеть обучена на структурированном тексте объемом более 140 тысяч символов
  • Разработана новая настройка модели, уменьшающая избыточную креативность и позволяющая нейросети дополнять текст самостоятельно
  • Проведен эксперимент с моделью на небольшом отрывке текста, где нейросеть показала возможность продолжения начатого предложения
00:07:52
Обучение нейронной сети для программирования на Python:
  • Для обучения нейросети решено использовать копии обучающих данных, продублированных десять раз
  • Обучение нейросети проводилось в PyCharm, начато с 72000 символов текста
  • В результате обучения была создана и протестирована нейросетевая модель чат-бота для Python, способная выдавать код, близкий по стилю к обучающим данным
0: Я попросил искусственный интеллект создать нового чат бота, и результаты меня реально удивили 1 делом нам нужен качественный пром, чтобы разработать наше приложение на python, и для этого я пошёл в google e studio и прямо так я и написал можем отправлять спустя.
1: Минутку, я получил вот такой вот ответ. Но, честно говоря, он мне не нравится. Дело в том, что джимини предложил просто взять какой-то api ключ уже готового чата и вставить его в наш код, но, очевидно, это было бы слишком просто и неинтересно, поэтому давайте попросим.
2: Его сделать что-то более крутое. Окей, хорошо, на этот раз у нас есть новый ответ. И, блин, я опять вижу, что он пошёл по пути наименьшего сопротивления. На этот раз он предлагает скачать новую модельку уже с готовыми весами и просто прикрутить её к нам.
3: Нашему чату, но это опять не тот результат, которого я хочу добиться. Поэтому давайте прямо так и напишем, что хотим создать свою модельку с полного нуля и самостоятельно её обучить. Отправляю запрос. И наконец то в этот раз я получаю идеальный промот.
4: Теперь можем переходить непосредственно к разработке приложения, открываю джимини и отправляю ему тех задания, а пока он думает, если ты тоже хочешь создать своего чат бота с нуля, то готовый промт я оставлю у себя в telegram канале и также там будет лежать уже готовый чат бот.
5: Кот, который создам в этом видео, буду рад подписке тем временем у нас наконец то есть код для нашего чат бота, и мы можем переходить в pycharm тут создаём пай файл и текстовый документ, благодаря которому мы в будущем скачаем наши библиотеки для этого откры.
6: Командную строку в нашей Папке пишем вот это и запускаем, и, как видим, хоть мне и пришлось чуть чуть повозиться, но библиотеки скачиваются. Далее я вставил в пай файл тот код, который он мне прислал и теперь тем же самым путём открыв командную строку.
7: Папке нашего файла. Я пишу вот эту вот команду, и мне остаётся нажать только запустить. Итак, процесс идёт, и теперь нам нужно подтвердить адрес нашей почты. Зачем это нужно? Ведь у нас обычный чатик. Пожалуй, давайте пропустим это, ага.
8: А теперь питон запрашивает разрешение на использование каких-то функций, пожалуй, разрешим, иначе у нас просто ничего не запустится. И. O смотрите, у нас появился наш чатик, и, как видим, тут есть вкладка обучения и вкладка самого чата, но я вот только сейчас подумал, что у нас
9: Нету совершенно никаких данных, на которых мы можем обучить нашу модель для решения этого вопроса. Я незамедлительно пошёл в chat gpt и спросил, какие вообще есть варианты для обучения нашей нейронной сети. Ответы получились достаточно разными. Для начала он предложил мне просто
10: Запихнуть в русский словарь. Также предлагал использовать пьесы поэтов или даже код на питон. В общем, вариантов у нас есть много. И тут я хочу вам немножечко пояснить то, на каких данных обучается модель, непосредственно влияет на её ответы по своей сути. Нейросеть просто
11: Берет наш запрос и угадывает следующую, наиболее вероятную букву, и, например, если мы обучим её на русском словаре и дадим ей запрос, где напишем капибар, то в ответ с очень большой вероятностью мы получим следующую букву а, но если мы обучим её изначально,
12: На коде python и напишем тот же запрос капибар, то нейросеть, среди данных которых она обучалась, просто не сможет найти что-либо похожее, и в ответ мы можем ожидать все что угодно ну, если говорить более точно, то не просто не сможет найти, а изначально её веса были за.
13: Точно не под это. И после такого небольшого ликбеза предлагаю приступать к обучению сети. 1 делом я нашёл вот такой вот русский словарь и скачал его себе в папку с проектом. Теперь переходим в приложение и загружаем его для обучения нейронной сети. Теперь запуска.
14: И на самом деле этот процесс достаточно занимательный. Тут мы можем удобно видеть, как наша модель обучается и ошибка постепенно падает и по своей сути. Чем больше эпох мы прогоним, тем лучше будет наш чат бот. Тут вы можете видеть небольшой таймлапс, как это все происходило и на
15: Наконец то, спустя столько времени у нас есть чат бот. Также мы можем посмотреть в виде таблички наше обучение модели и видим, что тут тоже с течением времени ошибка уменьшалась. Но это все лишь техническая составляющая нашего приложения. Поэтому, я думаю, самое
16: Время начинать тестировать и давайте перейдём на вкладку чат и пишем, к примеру, привет. На самом деле можно ожидать все, что угодно и что это такое. Посмотрите 1 слово у нас приветывы стано так, составный, по простому говоря, полу.
17: Просто набор русских слов, иногда даже не совсем русских. Например, что такое Тёр фитта, я не знаю. Возможно, это просто я чуть глупенький, если вы знаете, напишите в комментариях и также из смешного у нас есть слово, например, приблюды конце, что
18: Это такое, я тоже без понятия. Тем временем я дал ему уже 2, не самый обычный запрос, где я посмеялся, виде тексты. И, как видим, предыдущий чат у нас стёрся. В этом, конечно, наша иишка не доработала это приложение, но если задуматься, то такая функция нам и не нужна, потому
19: Что не знаю, кому могут понадобиться тексты, в которых просто набор русских слов. Давайте ещё попробуем дать ему более большое предложение. Может, он уловит ход нашей мысли, но он просто продолжил как забавность. Ладно, ладно, но на самом деле это и так превзошло мои ожидания.
20: Честно говоря, я не верил, что у нас получится хоть какой-то более менее похожий на русский текст ответ. И по большому счёту получилось что-то даже более менее похожее на chat gpt только где-то там минус 1 версии. Я нахожу этому логичное объяснение, потому что изна
21: Изначально наши данные, на которых тренировалась модель, представляли собой просто набор несвязных русских слов. И после этого становится понятно, что никакой логики в её ответах мы и ждать не могли. Именно поэтому на 2 этапе тестирования нашего приложения я нашёл более большой и
22: Что самое главное, логично связанный текст про алису теперь наша нейросеть научится находить не просто слова, а взаимосвязи между ними например, Алиса встала рано утром опять возвращаемся в наше приложение, загружаем файл, в котором уже более структурированный текст.
23: Отлично. Все есть в нём более 140000 символов и можем начинать обучение на данном кадре. Вы можете опять видеть залипательный процесс поумнения нашей нейронной сети. Назовём это так, а уже на этом кадре она полностью обучилась, и мы можем начинать
24: Очень интересно, что же у нас все-таки получится? Потому что, видимо, Алиса лась, Кваша, конец. Не слышите лись? Стро, а что? Не быстро сказала Алиса, капец. Что это за фигня? Ну ладно, на самом деле это уже намного лучше, чем было.
25: Нашей 1 нейронной сети. Тут уже прослеживаются какие никакие логические цепочки между словами и, возможно все, что нам стоит, это чуть чуть уменьшить креативность, потому что если выкрутить этот параметр на максимум, то нейросеть начинает не просто следовать тексту, который она изначально
26: Получила на вход, а чуть чуть добавлять от себя. Поэтому уже с новыми настройками давайте попробуем написать хороший и видим, что хороший с ней потом снова за, через ты, не то чтобы это, конечно, сильно помогло. И o смотрите, какой-то зелёный текст появился.
27: Честно говоря, я не понимаю, как он тут мог вылезти, почему он стал зелёным. Тем более это достаточно занимательный вопрос для обсуждения. Можете написать свои догадки в комментариях, а я, пожалуй, пойду дальше. И тут мы имеем что-то типа причала.
28: Алиса повоевала голосом зачем тем, как все так, блин, мне на самом деле это даже читать очень сложно. Текст все-таки получился. Ну, 50 на 50, но это все достаточно легко объясняется тем, что я обучал модельку на 5 эпохах и на мощностях своего компьютера.
29: Но даже учитывая это, получилось достаточно прикольно я захотел провести ещё 1 эксперимент с конкретно данной моделью давайте вернёмся в наш текст, возьмём какой-нибудь отрывок из него. Например, алисе наскучило сидеть с сестрой без дела и, как видим, после него.
30: На берегу реки и, по идее, нейросеть сейчас должна продолжить именно словосочетанием на берегу реки, но не то чтобы так сильно получилось объяснить я это могу лишь тем, что нейросеть обучалась на маленьком количестве эпох, как бы то ни было получилось достаточно.
31: Прикольная нейросеть, которая и так превзошла все мои ожидания, и на данном этапе я предлагаю перейти к обучению её для программирования на языке python я задумался, где взять хорошие данные для обучения новой нейронной сети, и решил, что попросить их у gemini буде.
32: Хорошие идеи по итогу получились вот такие вот обучающие данные, и google ей студия подсказала, что мне стоит их скопировать и продублировать раз 10, чтобы нейросеть точно хорошо обучилась, поэтому я перешёл обратно в pycharm, создал новый текстовый документ пайтон точка т.
33: И сделал Ровно то, что она просит. После этого я перешёл уже в знакомое вам приложение. И, помимо всего, я увеличил количество эпох, потому что обучить нейросеть для программирования это куда более сложная задача, после чего мы можем опять загружать наш новый файл.
34: Отлично. Вот он, прямо перед нами. Как видим, в нём целых 72000 символов. И начинаем обучение. Опять хочу показать, как нейросеть обучалась. Подмечу, что в самом начале она сделала достаточно большой рывок в сторону уменьшения ошибки, а потом прыгала вокруг значения.
35: Что-то около 0 запятая 15. Все это заняло в районе 10 минут. Я даже успел сходить покушать за это время. Но надеюсь, игра стоила свеч и у нас получился реально классный чат бот для пайтона. Вот она уже обучилась и переходим к тестированию для
36: Сначала предлагаю просто уже по обычному написать привет, то есть холодно английскому, потому что мы все-таки обучали её на английском тексте, ну точнее на английском коде. И, как видим, у нас есть какой-то более менее связанный код, но, честно говоря, он вряд ли запустится.
37: Потому что видим то, что тут как минимум не соблюдена табуляция. То есть команды просто прописаны в 1 строчку, но мне кажется, если чуть чуть его доработать, то он запустится. Я ещё заметил, что мы забыли убрать температуру. Ведь когда мы говорим про написание кода, все-таки
38: Это как никак язык, который соблюдает чётким правилам и креативность нам тут не то чтобы сильно нужна, поэтому давайте протестируем ещё раз. Напишем, например death и по итогу мы получили деф процесс в скобочках селф иф нот, ну и дальше идёт код.
39: И в целом он похож на тот, на который мы его обучали это говорит о том, что нейросеть тут буквально зазубрила те данные, которые мы ей скинули давайте проведём ещё 1 эксперимент возьмём вот эту вот строчку из файла python точка txt и по идее, в ответе мы должны получить вот этот
40: Вот код переходим обратно в чат, вставляем, отправляем и да, в целом то так и получилось. По сути нейросеть просто зазубрила те данные, которые мы ей скинули в любом случае получился реально крутой результат. Напоминаю, что все исходные файлы будут лежать у меня в telegram канале будут