0: Всем привет. Добро пожаловать. Надеюсь, вы пообедали? Меня зовут уилл дуглас хевен, я редактор издания эмайти технолоджи ревью, и, я полагаю, все согласятся сложно отрицать, что генеративный ии сейчас на пике популярности.
1: Инновации на этом не останавливаются. Сейчас мы обсудим передовые исследования, в рамках которых задаются вопросом, а что дальше? Для начала я хочу представить вам особенного гостя, который присоединится к нам по видеосвязи джеффри хинтон, профессор
2: В университете Торонто и до этой недели вице президент google в понедельник он объявил, что уходит со своего поста после 10 лет работы джеффри 1 из ключевых фигур в истории разработки ии он первопроходец глубокого обучения.
3: Разработал некоторые фундаментальные техники, ставшие основой для сегодняшнего ии, включая метод обратного распространения ошибки, позволяющий компьютерам обучаться на этой технике основано все глубокое обучение, которое проводится на сегодняшний день в 2000.
4: 17 джеффри получил премию тьюринга, которую часто называют нобелевкой в информатике вместе с яном Ликунов и йошуа бенджо. Сегодня он расскажет нам об интеллекте, что это значит и куда нас приведут попытки воссоздать его в компьютерах.
5: Джеффри, добро пожаловать в эмтек. Спасибо. Как прошла ваша неделя? Полагаю, у вас сейчас много дел. Ну, последние 10 минут особенно потому, что у меня сломался компьютер, и мне пришлось найти и подключить другой. Мы рады, что вы с нами, хотя такими техническими.
6: Подробностями, пожалуй, не стоит делиться с аудиторией. Что ж, ладно, хорошо, что вы с нами. Мы очень рады, что вы смогли к нам присоединиться. Сми активно пишут о том, что вы покинули свой пост в google на этой неделе. Можете рассказать, почему вы приняли такое решение?
7: У меня было много причин. У таких решений всегда довольно много причин, 1 из которых мне 75 лет, и я уже не так хорошо делаю техническую работу, как раньше. У меня уже не такая хорошая память. И когда я программирую, я какие-то вещи могу.
8: Забыть так что настала пора уйти на пенсию. 2 причина. Я недавно кардинально изменил своё мнение относительно отношений между мозгом и цифровым интеллектом, который мы разрабатываем. Я раньше думал, что компьютерные
9: Модели, которые мы разрабатывали, уступали мозгу. Цель была в том, чтобы понять, как мы можем улучшить мозг, основываясь на том, что нужно для улучшения моделей.
10: За последние несколько месяцев я полностью поменял своё мнение. Я думаю, что компьютерные модели, скорее всего, работают совершенно иначе, чем мозг. Они используют метод обратного распространения ошибки, а мозг, вероятно, нет. К этому умозаключению меня привели несколько.
11: Причин, 1 из которых результаты работы gpt 4. О результатах работы gpt 4. Мы ещё поговорим, мы все понимаем аргументы, которые вы приводите, но расскажите нам немного о том, что такое метод обратного распространения ошибки.
12: Вы разработали этот алгоритм с коллегами в восьмидесятых. Разные группы учёных работали над методом обратного распространения ошибки. Мы же использовали метод и показали, что можем добиться хороших представле.
13: Знаний. Интересно, что мы это сделали, создав небольшую языковую модель.
14: В ней были векторы встраивания из всего лишь 6 элементов, а обучающая выборка состояла лишь из 112 наборов, но это была языковая модель она пыталась предугадать следующий знак в цепочке символов.
15: Примерно через 10 лет йошуа бенджио взял, по сути, ту же нейросеть и использовал её для естественного языка, показав, что она работает и для него, если значительно увеличить датасет, как работает метод обратного распространения ошибки.
16: Давайте объясню в общих чертах те, кто знает, как он работает, могут откинуться на спинку стула, чувствовать своё превосходство и смеяться над тем, как я буду про него рассказывать. Я немного переживаю по этому поводу. Итак.
17: Так представьте что вы хотите выявлять птиц на изображениях возьмём изображение размером 100 на 100 пикселей это 10000 пикселей, каждый пиксель имеет 3 канала rgb это 30000 цифр.
18: Обозначающих интенсивность каждого канала в каждом пикселе, составляющем изображение, проблема компьютерного зрения выглядит так, как превратить 30000 чисел в решение о том, птица это или нет. Люди очень долго пытались решить этот
19: Вопросы у них не очень хорошо получалось, но есть такая идея можно создать слой детекторов признаков, который выявляет простые признаки в изображениях, например, границы детектор признаков может получить положительный вес.
20: В 1 из столбце пикселей, а в соседнем столбце пикселей отрицательный вес. Если обе колонки яркие, он не отреагирует, если обе тусклые тоже, но если столбец с 1 стороны яркий, а с другой тусклый.
21: И он очень обрадуется, это детектор границ. Я только что рассказал вам, как запустить детектор границ, вручную поместив колонку с положительными весами рядом с колонкой с отрицательными, можно представить большой слой, который будет определять границы.
22: Разных ориентациях и масштабах изображения. Нам потребуется довольно много слоёв под границами, на изображении вы подразумеваете линии, границы, фигуры, место, где интенсивность меняется от яркой к тёмной. Да, только это
23: Затем у нас может быть более высокоуровневый слой детекторов признаков, который сможет выделять комбинации границ, например, слой, который ищет 2 границы, встречающиеся под определённым углом вот так, чтобы получить положи.
24: Жительный вес относительно этих 2 границ. Если обе границы находятся рядом, он обрадуется, так он может засечь что-то, что может быть клювом птицы, может, и нет, а может, и да, в этом же слое может быть детектор приз.
25: Который выделяет множество границ или окружностей.
26: Это может быть глазом птицы, как и много чего ещё это может быть ручка холодильника.
27: Затем 3 слоем может стать детектор признаков, выделяющий потенциальный клюв и потенциальный глаз, и он выделяет эти границы при правильном пространственном соотношении друг к другу если он их находит, то решает о, это может.
28: Быть голова птицы. Соответственно, если продолжать в таком же духе, можно получить инструмент определения птиц, но делать это все руками было бы очень, очень сложно. Нужно решать, что должно быть соединено, с чем и
29: Какие должны быть веса, и особенно сложно это будет, потому что средние слои должны выделять не только птиц, но и много чего ещё, так что разметить это вручную было бы практически невозможно метод обратного распростране.
30: Ошибки работает так мы начинаем со случайных весов. То есть детекторы признаков на самом деле никчёмны. Скармливаете фотографию птицы и на выходе получаете 5/10 шанса. Что это птица. Представим, у вас есть только 2 варианта птица.
31: Или нет, и затем вы задаёте себе вопрос, как изменить каждый вес в нейросети?
32: Чтобы вместо результата 5/10 получить результат 501 1000, что это птица, и 499/1000, что это не птица, и меняете веса таким образом, чтобы нейросеть скорее сказала, что это птица, чем
33: Нет и менее вероятно, назвала не птицу птицей.
34: И просто продолжайте в том же духе. Это метод обратного распространения ошибки, метод в том, чтобы взять несоответствие между тем, что вы хотите получить, то есть вероятность того, что это птица 1, и тем, что получаете сейчас вероятность 5/10.
35: Вы берете несоответствие и пропускаете его по нейросети в обратном направлении, чтобы вычислить необходимость быть более или менее активным для каждого детектора признаков в нейросети. Вот вы это вычислили и хотите, чтобы детектор признаков был более актив.
36: Вы можете увеличить веса, поступающие из детектора признаков низкоуровневого слоя, и, может быть, добавить отрицательные веса в детектор признаков низкоуровневые слои. Так можно улучшить детектор. В общем, метод обратного распространения ошибки, значит,
37: Возвращаться обратно в нейросети для каждого детектора, определять, нужно ли его сделать более или менее активным. Спасибо, уверяю вас, никто в аудитории не улыбается и не думает, что это глупое объяснение. Давайте перемотаем вперёд. Эта техника отлично себя показала.
38: Вчера джо альпина из меты показал нам, насколько продвинулось распознавание изображений, и эта же техника лежит в основе больших языковых моделей.
39: Я сейчас хочу поговорить вот о чем вы поначалу видели эту технику в качестве примерной копии поведения биологического мозга. В итоге нейросети начали
40: Делать вещи, которые вас поразили, особенно что касается больших языковых моделей, расскажите нам почему-то удивление, которое вызвали у вас современные большие языковые модели, полностью поменяло ваше видение самого метода и машинного обучения в целом.
41: И в больших языковых моделях около триллиона синоптических связей и нейросети типа gpt 4 знают гораздо больше, чем мы.
42: У них есть более общие знания обо всем.
43: Их знаний, пожалуй, в 1000 раз больше, чем у человека.
44: У них триллион синоптических связей, а у нас 100 триллионов, а это значит, что они гораздо лучше получают знания с триллиона связей, чем мы.
45: Думаю, это потому, что метод обратного распространения ошибки это более эффективный алгоритм обучения, чем наш, и это страшно. Да, о страшном мы обязательно поговорим, но что вы имеете ввиду под более эффективным? Он может упаковать больше данных в меньшее количество си.
46: Понял. Всего в несколько связей из триллиона окей. То есть компьютеры обучаются эффективнее людей. Это уже сильное заявление.
47: Но вы также говорите, что нам этого стоит бояться. Можете об этом рассказать. Позвольте рассказать ещё кое о чем. Аргумент такой.
48: Если компьютер цифровой а это подразумевает высокие энергетические затраты, можно сделать множество Копий 1 и той же модели, запущенной на разном оборудовании, которые будут выполнять одни и те же действия, данные могут быть разные, а модель одинаковая.
49: Что это значит? Представим, что у вас есть 10000 Копий. Они могут работать с десятью тысячами разных подмножеств данных. И если 1 из Копий что-то узнала, знают и все остальные, 1 копия находит способ изменить вес, а значит, может работать.
50: Со своими данными они общаются друг с другом и могут решить изменить веса на среднее значение между тем, что нужно каждой из них теперь 10000 Копий могут очень эффективно коммуницировать и видеть в 10000 раз больше.
51: Данных, чем 1 копия. Люди на это не способны. Если я много узнаю о квантовой механике и захочу, чтобы вы узнали тоже самое. Мне потребуется много времени, прежде чем вы все поймёте, я
52: Не могу просто скопировать информацию в ваш мозг, потому что ваш мозг отличается от моего, это уж точно.
53: Он моложе.
54: Итак, у нас есть цифровые компьютеры, которые могут узнать больше информации, быстрее и мгновенно передать её другим, как если бы люди в аудитории могли мгновенно.
55: Передавать свои мысли другим, почему это должно пугать?
56: Если они могут узнавать больше информации, они могут, возьмём, к примеру, врачей. Представьте, 1 врача, который принял 1000 пациентов и другого врача, который принял 100000000 пациентов.
57: От врача, который принял 100000000 пациентов, если он не забывчивый, можно ожидать, что он видел тренды, которые просто нельзя увидеть в выборке из 1000 пациентов, он, возможно, видел только 1 пациента с каким-нибудь редким заболеванием.
58: Другой врач, принявший 100000000 пациентов, видел ну, можно прикинуть, сколько людей с подобным заболеванием, много он видел множество нарушений нормы, неочевидных на небольшом количестве данных. То, что может обработать много данных, скорее всего, увидит Струк.
59: Duru, которую мы никогда не заметим.
60: Но но. Но расскажите мне, чего именно я должен опасаться. Посмотрите на gpt 4. Он уже способен на простые рассуждения. Рассуждения. Это область, в которой мы пока что берём вверх, но.
61: На днях я был впечатлён gpt 4, рассуждал в его ответе был здравый смысл, которого я не ожидал, я сказал ему хочу, чтобы все комнаты в доме были белыми, сейчас стены 1 комнаты белые, другой голубые, 3 жёлтые.
62: Жёлтая краска выгорает до белой за год. Что мне делать, если я хочу, чтобы все стены были белыми через 2 года?
63: Он сказал перекрасьте голубые комнаты в жёлтый это не самый простой путь, но тоже вариант, ведь так да, это довольно впечатляющее рассуждение, тогда как рассуждений такого толка было сложно добиться от символического.
64: Потому что ему нужно понимать, что означает выгорание понимать битемпорально ть и
65: И и относительно разумно рассуждает с iq 80 90 как сказал мой друг, это как если бы генные инженеры сказали.
66: Мы улучшим медведей гризли, мы уже улучшили их. Теперь их iq 65, они владеют английским языком, и они очень нам полезны, мы думаем, можно увеличить их iq до 210.
67: У меня было ощущение. Думаю, у многих оно возникало во время работы с последними чат ботами. Знаете, когда волосы дыбом встают, немного жутко становится. Но если у меня возникает такое ощущение и мне некомфортно, я просто закрываю.
68: Ноутбук да, но мы учим компьютеры, они читают все книги, когда-либо нами написанные. Все, что написал макиавелли, мы учим их манипулировать людьми.
69: И если они гораздо умнее нас, они отлично с этим справятся, мы даже не поймём, что происходит, мы будем как двухлетка, у которого спрашивают, хочет ли он горох или цветную капусту, а он не понимает, что не обязательно есть ни то, ни другое манипулировать.
70: Быть нами будет очень легко.
71: Даже если машины не смогут напрямую дёргать за ниточки, они смогут делать это нашими руками оказывается, что если манипулировать людьми, можно захватить белый дом, даже не приближаясь к нему.
72: Хорошо, а это окей. Гипотетическая ситуация. Если бы не было злых людей, людей с недобрыми намерениями и мы были бы в безопасности.
73: Я не знаю. Ну, в большей безопасности, чем в мире, где у людей есть недобрые намерения и где политическая система настолько сломана, что мы не можем даже решить, не давая автоматы в руки подростков, если мы ту проблему не можем решить, как мы решим эту.
74: Не знаю, надеялся, у вас могут быть предложения. Вы, вы, если мы в начале это недостаточно раскрыли, вы хотите об этом говорить?
75: И вам комфортнее не вмешивать в это google, google да, но вы открыто об этом говорите, и в каком-то смысле слова ничего не значат, если за ними не следуют действия, что?
76: Нам делать вас на этой неделе? Многие слушают, что нам стоит предпринять. Хотелось, чтобы это было как изменение климата, где можно сказать, если вы в своём уме, то прекратите сжигать углерод. Очевидно, что с этим можно.
77: Сделать хоть это и болезненно, это нужно сделать. Я лично не знаю ни 1 подобного решения, которое бы не позволило машинам вырваться из под контроля. Нам хочется. Не думаю, что мы перестанем их разрабатывать. Они весьма полезны, в частности.
78: Медицине, да, и в других сферах тоже. Так что не думаю, что у нас большие шансы остановить разработку. Нам нужно убедиться в том, что даже если они умнее нас, они будут действовать, исходя из того, что нам полезно. Это называется проблема выравнивания.
79: Но нам нужно попытаться это сделать в мире, где есть люди и организации, желающие создать Солдатов роботов и убивать людей. И кажется мне, это будет непросто. Извините, но я бью тревогу и говорю, что нам стоит об этом беспокоиться и мне.
80: Хотелось бы иметь простое решение, но у меня такого нет. Я думаю, очень важно, чтобы люди объединились и подумали, существует ли решение. В принципе, неясно, есть ли оно вообще. Расскажи нам об этом. Весь твой карьерный путь был нацелен на разработку этой технологии.
81: Разве нет никакого технического решения? Почему мы не можем встроить ограничения, не знаю, снизить их способность обучаться или ограничить им возможность общаться между собой? Это g2 ваших основных аргумента.
82: Мы пытались строить разные ограничения, но, скажем, они станут очень умными, они умеют программировать, могут писать программы и представим. Мы дали им возможность выполнять эти программы, а мы, конечно же, это сделаем.
83: Умные создания могут нас перехитрить. Представьте, что ваш двухлетний ребёнок говорит, мой отец делает то, что мне не нравится. Я придумаю правила, что мой папа может делать, а что нет, вы.
84: Наверняка сможете жить с этими правилами и все равно делать что хотите да, но, кажется, тут должен быть этап, в который умные компьютеры как-то получат собственную мотивацию.
85: Да, это очень хорошее замечание. Мы эволюционировали. В нас встроены определённые цели, которые нам очень сложно отключить. Например, мы пытаемся не наносить урон нашим телам для этого
86: Есть боль, мы стараемся. Достаточно есть, чтобы кормить тело.
87: Мы делаем как можно больше Копий самих себя, возможно, не всегда умышленно, но мы работаем так, что процесс создания наших Копий приносит нам удовольствие, и все это результат эволюции. И очень важно.
88: Что мы не можем это отключить. Если бы мы могли это отключить. Результат будет плачевным. Есть прекрасное сообщество людей, которые называются шейкеры. Они связаны с квакерами. Они делали прекрасную мебель, но не верили в секс. Стоит ли говорить?
89: То их больше нет.
90: So эти цифровые сознания не эволюционировали, мы их сотворили, а значит, у них нет этих встроенных целей. И проблема в том, что если мы можем внедрить цели, может, все будет в порядке, но я
91: Волнуюсь, что рано или поздно кто-то внедрит в них возможность создавать собственные подцели. Более того, это уже почти сделали в одноимённой версии чата gpt, если вы даёте чему-то
92: Возможность ставить свои подцели, чтобы достигать других целей. Думаю, оно очень быстро поймёт, что получение контроля это хорошая подцель, потому что это поможет достичь других целей. И если они увлекутся задачей захвата.
93: Контроля. У нас будут большие проблемы, что самое плохое, что может произойти? Как думаете? О, я думаю, вполне может быть, так, что человечество лишь промежуточная фаза в эволюции интеллекта напрямую.
94: Развить цифровой интеллект было нельзя. Для этого нужно слишком много энергии и слишком много тщательной наладки. Нужно, чтобы сначала развился биологический интеллект, который создаст цифровое сознание. Цифровое сознание, в свою очередь, может
95: Впитать в себя все, что создали люди, довольно медленно. Этим и занимается чат gpt. А потом он сможет получать реальный опыт мира и учиться гораздо быстрее. Возможно, какое-то время он ещё будет.
96: Нас держать под рукой. Кто-то же должен обслуживать электростанции. Но потом, возможно, нет. Хорошая новость в том, что мы смогли создать Бессмертных существ. Цифровой интеллект не умирает, если ломается обору.
97: Если вы где-то храните веса и у вас есть другое оборудование, способное запускать те же инструкции, то вы сможете вернуть его к жизни. Получается, у нас есть бессмертие просто не для нас.
98: Ray курцвел очень хочет быть бессмертным думаю создать бессмертие для всех белых мужчин плохая идея у нас есть бессмертие, но не для ray страшно то, что отчасти вы будете бессмертным, потому чт.
99: Вы изобрели большую часть этой технологии?
100: Когда я вас слушаю, часть меня хочет выбежать на улицу и начать отключать компьютеры от сети. Боюсь, мы не можем этого сделать. Почему вы говорите как el из космической одиссеи?
101: Но если серьёзно, я знаю, вы уже говорили, несколько месяцев назад было предложено ввести мораторий на дальнейшую разработку ии не думаю, что вы считаете.
102: Будто это хорошая идея, но в целом мне интересно, почему, разве нам не стоит просто остановиться? Я знаю, вы, вы извините, просто хочу сказать, что вы заявляли о ваших личных инвестициях в такие компании, как кохир, которые
103: Дают большие языковые модели. Мне просто интересно узнать о вашем собственном чувстве ответственности и о нашей коллективной ответственности. Что нам стоит делать в смысле, стоит ли нам пытаться это остановить, если вы всерьёз воспринимаете экзистенциальный риск, как я сейчас
104: Раньше я думал, что это заблуждение, но теперь считаю, что это серьёзно и наступит довольно скоро, благоразумно было бы перестать дальше их разрабатывать, но, думаю, совершенно наивно полагать, что это произойдёт, нет никаких способов.
105: Это сделать. 1 из причин, скажем, вот сша прекратит разработку, а Китай нет и будут использовать в качестве оружия. И хотя бы только поэтому правительство не остановит этот процесс. Да, я считаю, что рациональным решением было бы остано.
106: Разработку, но нет ни 1 шанса, что так будет и глупо подписывать петиции. Говоря пожалуйста, остановитесь. У нас уже был перерыв. Мы сделали перерыв в разработке в 2017 на несколько лет, потому что google сначала разработ
107: Технологию, они разработали трансформеры, диффузионные модели, они не стали выкладывать их в общий доступ, чтобы ими злоупотребляли. Они вели себя осторожно, потому что не хотели испортить репутацию и осознавали, что у этого могут быть последствия. Но так
108: Может быть, только если лидер 1 как только open ai сделали подобное, используя трансформеры и деньги microsoft и microsoft решил открыть к ii доступ у гугла не осталось выбора, раз уж.
109: Мы живём в капиталистической системе, нельзя остановить конкуренцию между гуглом и майкрософтом, так что не думаю, что google сделал что-то неправильно, я считаю, они изначально ответственно себя вели, но думаю, что в капиталистической системе или при противо.
110: Стоянии между странами, такими как сша и Китай, такие разработки неизбежно продолжатся. Единственное, на что я надеюсь, это что сша и Китай договорятся как с ядерным оружием. Поскольку если мы позволим и взять над нами контроль, все будет плохо.
111: Нам всем нужно уметь работать вместе и пытаться это остановить, главное успеть заработать денег. Друзья, спасибо, что досмотрели до конца. Мы живём во время, когда ii перестаёт быть научной фантастикой, это уже не.
112: Просто хайп, а часть нашей реальности и нашего ближайшего будущего, чтобы оставаться в курсе, мы постараемся публиковать больше подобных роликов и делиться мнением метров про ii наше будущее и про то, что же нас ждёт, если вам нравится такой кон?
113: Интересна тема, поддержите наш канал подпиской, Лайком, колокольчиком или рублём. Донаты можно оставить на бусте.