0: Здравствуйте, дорогие друзья. В этом разделе курса мы будем говорить про генеративные текстовые модели. И как же составлять для них хорошие и правильные запросы, которые дают
1: Результат. Давайте вспомним, что такие модели, они способны генерировать текст по запросу, и делают они это на основе большого количества данных, которые они восприняли в процессе обучения. Такие модели прочитали почти весь доступный в
2: Текст и на основе этого построили у себя внутри своего электронного мозга некоторую модель языка эта модель языка способна по некоторой начальной фразе предсказывать вероятность следующего слова, если мы научились.
3: Предсказывать вероятность следующего слова. Мы можем предсказать вероятность ещё 1 следующего слова, ещё 1 и таким образом сгенерировать какой-то длинный и осмысленный текст. При этом современные модели типа GPT-3 генерируют очень правдоподобный текст, который
4: Согласован с точки зрения грамматики, согласован с точки зрения каких-то деталей смысловых. Ну вот как в примере с британскими исследователями, которые мы видели с вами раньше, как же они это делают на самом деле, для
5: Того, чтобы учитывать все вот эти аспекты, используется механизм внимания, механизм внимания показывает, какие слова внутри предложения зависят друг от друга. Давайте рассмотрим такой достаточно сложный запрос, например,
6: Мы говорим the animals, динт кросс the street. Because it was too tired, и здесь слово it относится к animal. Если мы следующем предложении спросим ху воз тайд, хорошая модель должна ответить, что animal was tired и для этого.
7: Внутри такой модели она должна проводить параллель между словом it и словом animals если же мы спросим зе энимал дин кросс the street, because it was too wide, в данном случае слово it относится к улице, и это невозможно понять по граммати.
8: Структуре предложения это можно понять только по смыслу в этом случае внутри модели этого предложения слово it должно быть связано со словом улица, и вот этот вот механизм внимания, по сути дела, когда он видит много существующих.
9: Текстов, он начинает понимать контексты. При этом внимание может использоваться для согласования смысловых контекстов как в данном примере, то есть сопоставление слова it с какими-то конкретными объектами, а также и для
10: Для сопоставления грамматической структуры предложения, для поддержки её грамматической корректности и получается, что модель она получает на вход некоторый фрагмент текста, который называется контекстом и, глядя на слова внутри этого фрагмента, пытается сопоставлять.
11: Их друг с другом по разным аспектам внимания, по грамматическому, по смысловому, но при этом смысл внутри индивидуальных слов, наверное, рассматривается внутри, например, там 1 предложения.
12: Дальше. В результате этого формируется некоторый следующий слой таких более абстрактных представлений, и поверх него также используется механизм внимания. То есть следующий слой может, например, оперировать смыслами внутри нескольких предложений, понимать, какие предложе.
13: Какие мысли, за какими в тексте должны содержаться вот эти вот все рассуждения, они происходят в модели всего таких слоёв абстракции, ну, в разных моделях по разному, но в районе 6 и в резуль.
14: That получается на выходе некоторая такая вот модель этого текста в виде опять же векторов чисел, по которым предсказывается вероятность следующего слова, и это слово оказывается согласованным по многим, многим критериям при этом
15: Поскольку наша модель выдаёт нам каждый раз вероятность следующего слова, то мы можем написать собственно текст по разному например, 2 слова могут быть предсказаны примерно с одинаковой вероятностью. И какое из этих 2 слов выбрать ну, это
16: Может выбираться, например, случайно. Собственно, поэтому нейросеть на вопрос почти всегда выдаёт разный ответ. Вот этот вот процесс генерации текста на основе такой модели он может быть устроен более сложно. Например, мы можем рассматривать сразу несколько
17: Несколько возможных направлений генерации и выбирать из них какой-то, который соответствует более осмысленному или более уверенному тексту. Ну поскольку, например, если мы дадим модели, начало, компьютеры могут думать, то следующее слово может
18: Либо об, либо о, если об то об электронах, об электроовцах, если о о числах, о человеке, о себе. И вот каждому Такому переходу соответствует какая-то вероятность. Затем вот в этом дереве вероятности мы можем пропутешествовать и выбрать какой-то путь, который будет, собственно,
19: Говорит нам о том, какой же результат, какой же текст в результате будет использован для продолжения этого начального фрагмента. При этом мы можем варьировать такой важный параметр, как температура температура показывает нам, насколько нейросеть склон.
20: Выбирать другие слова. Если мы используем температуру, равную нулю, то каждый раз будет выбираться следующее самое вероятное слово. И в этом случае модель будет генерировать один и тот же ответ. Но это не всегда хоро.
21: Хорошо, потому что таким образом мы убираем у модели какую-то долю креативности, потому что креативность, она во многом происходит от какого-то такого случайного, неожиданного выбора. Если мы повысим температуру до какого-то очень большого значения, там, например, 10, то
22: Все следующие слова будут как бы более равновероятны, поэтому текст может даже перестать быть осмысленным. Модель будет как бы выбирать из всех слов, очень слабо учитывая вот эту вот умственные способности.
23: Модели, поэтому параметр температуры позволяет нам варьировать, насколько мы готовы получать неоднозначный результат, насколько мы готовы экспериментировать и доверить нейросети креативную функцию обычно
24: Не во всех текстовых моделях можно управлять параметром температуры, например, в chat gpt вот явного такого ползунка в пользовательской, по крайней мере, версии нету, но в каких-то моделях это можно делать и с этой точки зрения.
25: Температура. Важно знать, что это такое, и иногда можно этим параметром пользоваться. Итак, мы получаем модель, которая по входному тексту генерирует его продолжение. Компьютеры могут думать об электроовцах.
26: Что же, как относиться к этому продолжению? Ни в коем случае не нужно думать, что раз мы в модель загрузили большое количество информации, то она ищет в этой информации ответ нет. Модель на основе информации построила свою модель.
27: Языка и свою модель мира. Она знает, какие слова, с какими обычно вместе используются, но при этом у неё нету какого-то фактчекинга, и тот текст, который она выдаёт, он очень правдоподобен, но не всегда корректен подробнее.
28: Об этом мы ещё поговорим. Значит тот факт, что модель может выдавать некорректный текст, называется галлюцинациями модели, потому что она действительно порождает какой-то текст, который не всегда имеет смысл, как в опять же в нашем примере раньше сбрита.
29: Учёными, поэтому очень важно правильно относиться к модели и понимать, что это некоторая такой аналог человека, которому дали прочитать много всего. Он что-то запомнил, что-то может быть не очень. И дальше он даёт нам какие-то
30: Ответы на наши вопросы. Ну ещё 1 небольшая техническая тонкость. Я всегда говорил, что модель читает по словам, она смотрит, какие слова, с какими связаны, это технически не совсем так, потому что модель разбивает текст не на слова, а на токены.
31: Токен это некоторая такая смысловая часть слова, которая, ну, как правило, токен, короче, чем слово, почему лучше разбивать на токены. Дело в том, что есть такие сложные слова, типа дезоксирибонуклеиновая кислота. И в этом слове есть отдельные части, там дезокси.
32: Рибо нуклеиновая, которые несут свой отдельный смысл. И поэтому, если б мы рассматривали отдельное слово как как отдельный токен, то мы не могли бы оперировать вот этими кусочками слов, да, мы не могли бы складывать какие-то
33: Слова, например, генерировать новые, которые по смыслу, например, добавлять какие-то суффиксы, интересные к ним. Вот намного лучше получаются результаты, когда мы опускаемся на вот этот вот шаг чуть ниже и оперируем кусочками слов и
34: Можем таким образом понимать смысл слова, как он складывается из отдельных кусочков. Почему важно немножко помнить про понятие токены, потому что длина контекста модели определяется не в символах, не в словах, а в токенах и
35: И токен это примерно 3, 4 символа. Ну, в зависимости от модели. Вот на самом деле мы теперь понимаем, как модели работают, и можем перейти к некоторым основам промт инжиниринга. Итак,
36: Наша нейросеть может продолжать текст. Предположим, мы хотим использовать её для какой-то задачи. Например, перевести слово с русского на английский. Мы можем дать ей запрос. Переведи с русского на английский собака стрелочка и дальше попросить её продолжить этот текст.
37: Посмотреть, догадается ли она, что нужно написать там dog иногда она догадается, иногда она может не очень догадаться, потому что ей нужно в этом случае очень сложные провести параллели, что её просят сделать.
38: Вот, и понять это намного проще модели, если она видит уже готовый пример. Этот подход называется фью шот prompting, когда мы показываем модели несколько примеров решения задачи, и она действует по образцу. Например, мы ей говорим.
39: Переведи с русского на английский птица bird кошка cat собака, стрелочка и дальше оставляем пустое место, просим модель продолжить и в этом случае она понимает намного лучше, что от неё требуется и, как правило, она продолжит не 1 словом, а.
40: Целым набором ещё каких-то переводов. Соответственно, это называется фью шот prompting, если мы не даём никакого примера решения задачи, а только описываем, что нам нужно это zero shot prompting. Ну, давайте посмотрим на такой практический пример. Полезный такого исполь.
41: Например, следующий запрос пожалуйста, ответь на вопрос ребёнка в похожем стиле, продолжив диалог, значит, ребёнок, расскажи мне о терпеливости, родитель, терпеливость это как бесконечная река, которая течёт сквозь равнины и никогда не заканчивается бла бла бла бла бла дальше.
42: Ребёнок, расскажи мне об искренности дальше. Мы пишем родитель, двоеточие и просим нейросеть продолжить этот фрагмент текста и нейросеть по образцу выше, пишет нам ответ. Искренность это как маленький ручёек, который пробивает себе дорогу через
43: Камни и препятствия. Ну и там дальше что-то ещё. Смотрите что интересно когда мы показали нейросети такой пример, она восприняла его, с 1 стороны, как шаблон. То есть она пишет в таком же стиле, грубо говоря, в таком же формате она восприняла и идею
44: То есть, грубо говоря, в 1 случае терпеливость сравнивалась с бесконечной рекой, дальше искренность, она сравнивается с ручейком. То есть эта вот речная тема, она плавно как бы перешла из нашего шаблона в ответ. Ну вот это пример.
45: Такого в данном случае one shot prompting, когда пример может нам задать собственно выполнение самого действия, нам не нужно подробно описывать, что нужно, просто можем показать пример вот эти нейросети, которые мы только что видели, это нейросети, способ.
46: Продолжать текст no chat gpt модель, которая способна общаться с нами, устроена несколько сложнее ну, предположим, мы хотим спросить такую сеть что такое компьютер? Генеративная сеть может продолжить этот текст?
47: Не так, как нам хочется, она может не ответить на вопрос, а, например, сказать, кто его создал, потому что в текстах из интернета, которые она видела не всегда за вопросом, следует ответ. Иногда за вопросом следует продолжение этого вопроса, и модель она не может понять.
48: Что от неё требуют действительно ответить на вопрос. Поэтому существуют специальные вопрос. Ответные модели. Собственно, разница между gpt и chat gpt состоит в том, что chat gpt это вопрос, ответная модель, которую дополнительно тренировали отвечать на
49: Вопрос. И в этом случае на вопрос, что такое компьютер, она ответит, что компьютер это электронное вычислительное устройство, там бла бла бла бла бла, даст определение компьютера, а не какой-то дополнительный вопрос, как это достигается на самом деле.
50: Современные модели типа chat gpt тренируют в несколько Приёмов. Сначала 1 фаза называется претрейн, и она самая большая, самая сложная, когда берут весь интернет и обучают модель понимать язык и
51: Получают модель, которая продолжает текст. Вот то, о чем мы, собственно, много, много говорили. Мы говорили про модели, продолжающие текст, а дальше используют файнтюнинг, то есть подстройку этой модели на специально вопрос ответных парах, которые пишут люди, то есть нанимают специально
52: Людей, которые в разных областях пишут вопросы и ответы. Ну, например, там я хочу есть на ужин рыбу. Какое вино мне выбрать к этой рыбе? И при этом, как бы человек пишет правильный ответ и создаётся такой вот датасет, каких
53: Ответов и модель учат принимать на вход вопрос и генерировать ответ. Когда она видит много раз, что её просят общаться в стиле вопрос, ответ. Она в дальнейшем на новые вопросы людей начинает тоже отвечать таким.
54: Образом получается то, что называется инстракт gpt, то есть модель, способная отвечать на вопросы. И, наконец, последний этап это реинфорсмент лернинг виз хьюман фидбэк, то есть обучение с подкреплением на обратной связи от человека в этом случае
55: Берут модель и на каждый вопрос просят её дать 10 ответов. И человек выбирает, какой из этих ответов лучше. Вот эта вот финальная стадия, она позволяет ещё больше поднять качество ответов, потому что, ну, условно, модель, она же не всегда может
56: Ответить конкретно, да, вот, и понять там этот ответ достаточно конкретно или нет, без человека невозможно. Поэтому ещё 1 вот такая вот модель, которая улучшает качество ответа, приводит к тому, что на выходе мы действительно начинаем получать максимально
57: Те ответы, которые хотят видеть люди. Вот эта вот дополнительная подстройка, она со всеми большими моделями типа chat gpt проводится, и она приводит к тому, что модель становится, ну, менее, что ли, при этом токсичной. Вот этот
58: Вот этап последний называется выравнивание, то есть модель с помощью специально подобранных вопросов и ответов учит вести себя так, как нам нужно, ну, например, не использовать какие-то не очень пристойные выражения, потому что в интернете, конечно, такие
59: Выражения встречаются и в процессе обучения, нейросеть их выучивает, но затем, в процессе дообучения, её учат вести себя более корректно. Теперь давайте поговорим о том, как же строится диалог с моделью, потому что dialog кажется
60: Выглядит как вопрос ответ. Мы можем спросить модель там а ю sentience ты ощущаешь там, чувствуешь что-то, она скажет yes, i am когда мы хотим спросить её дальше what makes you think so мы продолжаем диалог и what makes you think so относится к предыдущей ре.
61: Сет модель не запоминает внутри себя, она не учится на том, о чем мы с ней говорили, поэтому на самом деле, когда чат gpt продолжает такой диалог, он берет весь предыдущий диалог и засовывает её во входной текст.
62: Модели, ведь модель видит уже весь наш диалог i you sent and yes i am what makes you think so, и к этому генерирует продолжение, и вот дальше в процессе диалога все время история диалога накапливается и вся история диалога запи.
63: В входной запрос модели это приводит к тому, что context model, естественно, очень быстро заполняется. То есть, грубо говоря, весь диалог модель должна увидеть за 1 раз. Если мы будем говорить с ней слишком долго, начало
64: Диалога, она может не влезть в контекст, и тогда модель станет забывать то, о чем мы говорили в самом начале. Это на самом деле такое существенное ограничение моделей. И очень важно это понимать, что модель, когда мы с ней говорим, она не обучается, в отличие от человека,
65: Который кладёт себе в долговременную память какие-то новые сведения. Модель никогда сама в процессе диалога не меняет свои параметры. Потом, возможно, инженеры возьмут наши диалоги, используют их для дальнейшего обучения модели, но это все произойдёт.
66: Уже потом в ручном режиме. Поэтому всю информацию, которую модель помнит, она помнит из контекста. И на самом деле мы можем в этот контекст специально помещать какую-то информацию. Например, мы можем ей сказать. Прочитай, пожалуйста, вот эту статью и ответь на такие-то
67: Вопросы и модель в реальном времени будет учитывать текст статьи и формировать ответ. Вот это называется in context ленинг, когда мы не переучиваем саму модель, а просто даём ей какие-то знания в контекст и говорим, пожалуйста, эти знания.
68: Пользы это примерно как если б мы дали школьнику статью википедии про Санкт-Петербург и сказали, в каком году был основан Санкт-Петербург? Школьник, быстро прочитав википедию, найдёт ответ на это, и он с намного большей вероятностью даст правильный ответ, чем если
69: Будет пытаться извлекать эту информацию из памяти. Ну и, наконец, важно помнить, что длина контекста ограничена. Это может быть у простых моделей контекст небольшой, где-то 2048 токенов. У самых больших продвинутых моделей. Сейчас контекст может быть 200 ты
70: Тысяч токенов. Но сказать, например, почитай войну и мир и перескажи коротко нельзя, потому что война и мир не влезет в контекст модели нельзя сказать напиши книгу, потому что контекст модели, он же используется и при генерации, и когда модель что-то генерирует,
71: Генерируемый текст тоже не должен превысить контекста модели, поэтому модель не может сгенерировать очень много текста, она не может прочитать очень много текста, и задача промт инжениринга как раз понять.