0: Один и тот же фрагмент текста об английских церковных башнях дали нескольким поколениям моделей искусственного интеллекта если 1 версия модели она действительно смогла продолжить этот текст, то после 5 циклов модель начала.
1: Сходить с ума, и вместо продолжения текста об архитектуре она просто начала перечислять названия Языков, а после 9 циклов она уже окончательно сбрендила и начала перечислять названия разноцветных Зайцев ну да, вы не ослышались, что же это?
2: Был за эксперимент. И что же сделали исследователи? А исследователи? Они 9 раз повторили один и тот же цикл, брали 1 модель и обучали её на реальных текстах, текстах людей. Далее эта модель, которую обучили, она созда.
3: Давала новый набор текстов и на этом новом наборе текстов обучали следующую модель та делала новый набор для 3 модели и так далее, и все это повторили 9 раз. И чем более поздние версии моделей были, тем дальше.
4: Эта модель, она отходила от исходного текста и более бредовые вещи, она генерировала такое явление, называется коллапс модели. И вот этот пример с разноцветными зайцами. Это, конечно, уже такая поздняя
5: Очевидная проблема, однако, настоящая проблема, она может начаться гораздо раньше, потому что текст такой модели, он все ещё для обычного человека может продолжать звучать, ну, достаточно нормально, но
6: Model уже начала терять какие-то редкие детали, какие-то исключения и какие-то неочевидные связи и условия. Для этого всего они начинают складываться уже прямо сейчас, в нашей с вами реальной жизни, потому что машинных
7: Текстов, их становится все больше и больше, а новых человеческих материалов из каких-то наблюдений, экспериментов, какого-то личного опыта и так далее. Их пропорциональном размере становится все меньше, меньше и меньше, несмотря на то, что
8: Интернет он не исчез, люди не исчезли, не перестали с друг с другом общаться, но тем не менее следующий ii он будет все чаще и чаще в интернете встречать, какие примеры, именно сгенерированные прошлыми поколениями искус.
9: Интеллекта и значит ли это, что следующий ii он просто обречён питаться вот этими копиями и тупеть, тупеть и тупеть и давайте мы с вами не будем пока спешить с выводом.
10: А сперва мы с вами разберёмся, а куда же пропадает красный шар?
11: Итак, представьте себе такую ситуацию. У нас вот есть такая нарисованная банка, и в этой банке лежит 100 Шаров, 99 Шаров белые и 1 шар красный.
12: Белые шары это обычные реальные ситуации. Красный шар это тоже настоящая ситуация, но редкая, необычная. Теперь мы берём банку номер 2, и нам нужно будет её также наполнить из 1.
13: Банки с шарами. Но делать мы это будем немножко необычным способом. Условно, банка номер 1. Это реальный мир банка номер 2. Это модель, которую мы обучаем, но пока это не важно. Тем не менее, что мы делаем? Мы вслепую берём из банки номер.
14: 1 случайный шар и ложим его в банку номер 2. Далее мы записываем на бумажке цвет шара, который мы вытащили и дальше вот этот шар, который мы вытащили, мы ложим опять его обратно в банку номер 1 и такую проце.
15: Duru мы повторяем 100 раз, и в результате у нас должен появиться список из 100 Шаров, и именно такими шарами мы банку номер 2 и наполняем итак, теперь внима.
16: Мне вопрос, знатоки, а какая вероятность того? То что красный шар, он в итоге не попадёт в новую вот эту сотню вообще?
17: А chance такой 37%, и каждый раз, когда мы вытягиваем вслепую новый шар из 1 банки, шанс на промах мимо красного у нас 99%, a шанс промахнуться.
18: 100 раз подряд у нас 0 запятая 99 в 100 степени, то есть 36 и 6%. Это вот такой игрушечный пример, который нам показывает 1 интересную вещь, когда модель создаёт конечный набор.
19: Новых текстов, новых данных. Вот эти частые варианты белые, они могут появиться очень много раз. А редкий вариант красный, он может вообще не появиться. Теперь представьте, что
20: Вместо вот этого красного шара какой-то редкий сбой в программной библиотеке, то есть какое-то необычное исключение из правил языка. При этом на 99 вот этих обычных вопросах модель она все также продолжит
21: Лично отвечать и вам будет казаться, что ничего не потеряно. Однако вот этот 100 вопрос редкий. Он как раз мог быть именно тем вопросом, с которым вы и пришли к этой модели, потому что
22: Это редкий случай и обычный поиск. Допустим, в интернете он вам просто не помог, если после этого вот человеческий текст вот так взять и выбросить и следующую модель учить только на новой копии, то
23: Вернуть вот это пропущенное, что-то редкое исключение новой модели просто будет неоткуда. Если она его 1 раз уже не воспроизвела, то через поколение система она будет учиться так, будто этого
24: Исключения никогда и не существовало именно так копия и съедает оригинал тем не менее есть и другие примеры, которые противоречат нашим выводам система альфа the.
25: Это система deep mind, которая играет в настольные игры, в шахматы, в сегу, в go и так далее, и эта система, она училась в основном на партиях с самой собой. Следующий пример компа.
26: Мета, которая раньше называлась фейсбук, добавляла при обучении языковой модели лама 3000000 синтетических, то есть генеративно созданных предыдущими моделями примеров кода, и это
27: Это было сделано целенаправленно не самыми глупыми людьми. И вроде бы можно подумать, если машинные данные, если синтетически сгенерированные данные это яд, это то, что должно отравить, то как же нам объяснить вот эти 2 кейса?
28: Может быть, вопрос не только в происхождении данных, может быть ещё и важно то, что происходит с этими данными дальше.
29: И чтобы понять, почему альфа Зера от синтетических данных стала сильнее, а языковая модель в нашем 1 кейсе она стала хуже давайте сначала разберёмся, так что же сломалось в этом эксперименте?
30: Которая описала нейчер. Итак, каждое следующее поколение учили на датасетах предыдущего на целом наборе текста примерно того же объёма, что
31: То и были у исходной модели, у исходной модели, которую обучали уже на реальных, на, ну, назовём условно человеческих данных, для этого эксперимента взяли небольшую открытую языковую модель и коллекцию фрагментов из википедии.
32: На каждом круге брали чистую копию 1 и той же исходной модели, то есть 9 версию не доучивали 9 раз подряд, но менялся учебный материал, то есть сначала это были человеческие тексты, а затем тексты предыдущего.
33: Поколение моделей и на каждом шаге происходили 2 очень интересные вещи частые случаи хорошо переживали копирование, редкие случаи иногда не попадали в новый набор, а случайные какие-то странные.
34: Галлюцинации самой модели, они, наоборот, могли попасть, причём они не просто попадали, они дальше продолжали размножаться и уже становиться частью учебного материала для моделей, которые идут дальше, были.
35: Похожие эксперименты, там происходило примерно плюс минус тоже самое были лица, которые выглядели сначала вполне реалистично, но с каждым новым поколением они становились все более и более похожими друг на друга, поэтому коллапс
36: С модели он может стать таким ровным и даже может быть приятным на вид просто редких вариантов станет в нём все меньше и меньше, и в нашем эксперименте совпало 2 условия во первых, машинные тексты они
37: Постепенно вытеснили человеческие. И 2 условие, что правильность новых сгенерированных текстов никто никогда не проверял. Давайте эти 2 вещи запомним, мы обязательно к ним ещё вернёмся. Кстати, если вам нужен честн,
38: Разговор об искусственном интеллекте без вот этих истерик, Страхов и так далее. Ставьте лайк и подписывайтесь на этот канал, а мы с вами едем дальше. И давайте мы с вами вспомним эту систему альфазеро, про которую я рассказывал, которая играла в настольные игры, и у
39: На партиях самой собой. Почему же все-таки с ней это все сработало и каких-то там шахматных Зайцев у нас не получилось. Альфа Зера, она действительно играла сама с собой. Вот. И при каждом ходе она просчитывала оо,
40: Огромное количество возможных продолжений партии и училась на результате. И в итоге альфа Зера, она достигла сверхчеловеческого уровня в шахматах сеги. И ко. Так почему же, когда
41: Эта система, она обучалась на своих же партиях, все это не закончилось какой-то бессмыслицей, потому что рядом с моделью всегда стоял условный судья, и этому судье ему абсолютно было.
42: Все равно, насколько красивые были ходы, есть правило доски партия либо выиграна, либо проиграна, либо в ничью закончена. Ладно, если у системы была какая-то проигрышная стратегия, она
43: Также оставалась в опыте системы, однако там была уже метка, что эта система, эта стратегия, она привела к поражению. Замаскировать ошибку было невозможно, а в эксперименте, который описывала
44: Вот такого судьи не было, где у нас зайцы появились, потому что для того, чтобы тексту попасть в обучение следующей модели, он просто должен был быть. И неважно. Никто его не проверял. А в альфа зеро каждое решение, каждый ход, он
45: Сталкивался с реальностью, с результатом партии. И тут, конечно, вы можете подумать, что шахматы это достаточно удобный такой закрытый мир, там точные правила и такую похожую проверку не для всего в нашем реальном
46: Мире вообще можно устроить тем более для чего-то такого гуманитарного как написание текстов и давайте мы с вами вернёмся к ещё 1 примеру lana 3 от меты и у них на этот счёт есть статья и они в этой статье пишут то, что они
47: Добавляли сгенерированные решение в данные для обучения модели, но, тем не менее, это не помогало и ухудшало результат. Тогда что они сделали? Они вот этот синтетический код начали проверять. То есть сначала начали
48: Проверять вообще, корректно ли он был написан. Затем искали какие-то типичные ошибки, запускали программы, сверяли результаты с тестами и так далее и в итоге около 1000000 диалогов с кодом прошли.
49: Вот такой созданный ими конвейер тесты, конечно, не дают стопроцентной гарантии, потому что если тест плохой, то и код у нас будет плохой, но это уже было не слепое копирование ответов, то есть у синтетичес.
50: Примера появился плюс минус какой-то экзамен, какая-то проверка. Вот если в шахматах есть результат партии, то код можно запустить. Вот. А теперь попробуйте таким же образом автоматически начать проверять какие-то исторические
51: Нюансы, например, опыт какого-то маленького общества. И здесь, скорее всего, вы такой способ проверки найти не сможете. И вот синтетические данные, они и опасны, потому что у нас есть какая-то
52: Догадка модели, а есть какое-то наблюдение человека и что есть, что в конкретном примере очень сложно бывает отличить
53: И в нашем 1 эксперименте вот этот человеческий набор текстов после 1 шага его больше не использовали, и каждое новое поколение модели оно получало тексты от предыдущего в других экспериментах.
54: Проверяли более такой реалистичный вариант, когда исходные данные, они частично сохраняются, а синтетически они добавляются рядом. И в исследованиях это очень сильно меняло картину, потому что качество, оно
55: Уже не продолжало так сильно ухудшаться поколение за поколением, как вот в 1 примере красный шар, его все ещё можно было снова и снова увидеть, потому что он всегда лежит у нас в оригинальной, в 1 банке.
56: Но также здесь есть такой практический подвох, потому что модель, она на каждом новом обучении не может пересчитывать вот этот бесконечно растущий архив, потому что это требует все больших и больших вычисле.
57: Соответственно, и времени, и денег. Вот представьте, что в архиве уже 9 машинных примеров и 1 человеческий, а модель может прочитать только ограниченную часть. То есть, если специально не сохранять долю оригиналов, они просто будут лежать на диске.
58: И в обучение они будут попадать все Реже и Реже полезные синтетические данные, они устроены немножко по другому. Модель, она может дёшево создавать много кандидатов, а внешняя проверка она оставляет только
59: Тех, которые дали правильный результат. Поэтому процент синтетики, он сам по себе мало о чем говорит. Допустим, 1000000 сыгранных партий, где результат нам известен, и 1000000 каких-то пересказов 1 и той же ошибки.
60: Это 1000000 очень разных учебных примеров окей, тогда давайте просто найдём весь текст, который создал ии, и просто выбросим его, но тут мы сталкиваемся с 1 проблемой, потому что надёжного детектора текста, который написал ii.
61: У нас, к сожалению, нет и вряд ли когда-то будет мы можем сделать детектор для конкретной модели. Но что, если модель изменится, изменится, например, стиль, что если вдруг переведут этот текст на другой язык, что если как-то его сократят?
62: Или перепишут и так далее. Человек, он тоже может писать сухо и шаблонно. А если у вас есть хороший редактор, он вам очень хорошо замаскирует все следы модели, даже если мы научимся со стопроцентной гарантией помечать
63: Текста, которые написаны искусственным интеллектом, у нас все равно останется проблема к доступу к человеческим оригиналам. Копии становится все больше, а оригиналы становятся все дороже, и остаётся вопрос а сколько
64: Сколько же таких внешних данных оригиналов все-таки нужно системе, чтобы она не замкнулась на самой себе в 26 году физикал ревью леттерс вышла работа с простым по смыслу экспериментом. Каждая новая версия.
65: Небольшой математической модели училась на примерах предыдущей, но на каждом круге исследователи добавляли хотя бы 1 новый реальный пример тот, что пришёл из внешнего мира, и в некоторых вариантах эксперимента этого действительно начало.
66: Хватать для того, чтобы система перестала все дальше и дальше уходить от исходных данных и такие данные они становятся очень дорогими, например, работа эксперта, какие-то новые опубликованные эксперименты.
67: Человек, который общается с моделью и говорит на каком-то своём редком родном языке и так далее. И у крупных лабораторий здесь есть 1 большое очевидное преимущество у них есть старые с ним.
68: Интернета, какие-то наборы человеческих данных, каких-то человеческих взаимодействий и конечно же деньги на то, чтобы это все проверять. Поэтому дефицит данных он скорее всего не остановит.
69: Развитие ии, он сделает эти данные таким дорогим частным активом. А вот весь этот публичный интернет, тут будет море Дешёвых Копий и из этого моря будет очень сложно выловить какой-то
70: Оригинал итак, давайте мы ответим на наш вопрос, действительно ли ii может есть собственные данные и тупеть конечно, это может произойти, и происходит это, когда непроверенные машинные копии постепенно заменяют исходные.
71: Данные, а ошибка 1 поколения становится учебным материалом для следующего поколения. И, как я уже говорил, что в этом случае, конечно, в 1 очередь исчезают какие-то редкие случаи, редкие данные, однако разница, она упирается в 2 воп.
72: Вопрос 1, видит ли модель настоящий оригинал и можно ли проверить её через новые примеры чего-то, что придумала не она сама, если оба ответа это нет.
73: То здесь у нас начинается петля, но если оригиналы сохраняются и действительно участвуют в обучении, а синтетический ответ можно сверить с внешним результатом тестом, измерением, экспертной проверкой, правилами игры и так далее. Машинные, да.
74: Они уже способны помогать, и дефицитом в нашем мире становится новый факт, который не будет скопирован из старого ответа и который ещё можно сверить с нашим миром.