0: Теперь поговорим о нейросетях для генерации изображений, и тут надо тоже понимать, что исторически уже как бы наработался некоторый опыт взаимодействия.
1: С ними, потому что сами по себе нейросети, которые могут создавать те или иные изображения уже больше 10 лет, существуют просто основной проблемой их широкого распространения было на самом деле 2. 1 это
2: Ограниченность производительности железа, но она не такая важная, сколько больше сам результат. То есть то, что получалось ранними генеративными нейросетями. Для создания изображений, оно было скорее в области экспериментов и
3: Чем каких-то изображений с высоким продакшн велью. И вот если посмотреть это пример изображения google deep dream из 2015 года, в тот момент это уже считалось, что как бы прорывным видом изображений как бы казалось, что вот уже здесь различаются какие-то объекты.
4: Оно что-то похожее, вроде бы какие-то волки и так далее, но все равно оно было опять же скорее в области такого широкого набора экспериментов и реально оно стало именно вот таким массовым популярным вот из за чего как бы то есть к той точке
5: Котором мы сейчас пришли, когда стал вот такой уровень изображения появляться. Но вот этот пример это свежая генерация. Но основная, наверное, причина в подходе, который позволил нам прийти от этого уровня к изображению, к вот уже этому уровню.
6: Изображений. Причина именно в подходе, который произошёл, потому что если, ну, с железом у нас развитие, оно шло и как бы там оно просто незначительно увеличило качество изображения, то методологически произошёл очень интересный, как бы
7: Эффект люди, которые занимались до этого разработкой нейросетей, связанных с генерацией изображений, они до этого всегда работали, во первых, с фотографиями в основном и пытались пересоздавать фотографии, а во вторых, они пытались с нуля.
8: На чистом листе создавать изображение, и в этом отчасти была ошибка.
9: В какой-то момент появился такой класс нейросетей, который называется диффузионные нейросети. Сам принцип диффузии он взят напрямую из физики и, собственно, вот в этом моменте как раз прорыв и случился вместо того,
10: Чтобы брать и изначально с пустого пространства создавать какие-то объекты и пытаться их визуализировать, где получается в любом случае высокий процент ошибок. Здесь уже получается эффект, что мы постепенно создаём из набора какого
11: Шума, уменьшая этот самый шум качественно изображения, то есть в фундаменте всегда лежит какой-то набор случайного шума, опять же там во степень случайности, может быть совершенно разной, но для того, чтобы изображение
12: Получилось, у него есть набор некий первичного визуального контента, при этом лишённого смысла, то есть это просто набор каких-то пикселей в той или иной степени случайности, как изначально до этой модели дошли, брали изображение.
13: Какой-либо и добавляли на него шум. То есть брали чистое изображение, например, не знаю, фотография кота. Вот добавили на него шум, стало изображение с котом чуть более шумным, показали его алгоритмы, потом добавили ещё шум и так постепенно
14: Добавляя шум, показывая алгоритм, довели до состояния, когда на картинке ничего, кроме шума, не осталось. Но при этом алгоритм знает, что там лежит код. Дальше мы показываем системе много изображений котов, и со временем у него складывается понимание, что вот
15: Есть некий объект, который называется код, и визуально он может выглядеть вот таким образом таким, таким и таким. И следующий шаг мы даём изображение шума и говорим, вот здесь код спрятан в этом шуме. Убери, пожалуйста, шум с него и в этом как раз гениально
16: Диффузионной модели происходит, что это по факту система не которая вам изображение генерирует, она по сути очищает изображение от лишнего шума, но чтобы там что-то получилось, у неё идёт команда, собственно говоря, подсказка, те самые промты, про которые идёт речь, это мы
17: Сказываем ей, что в этом шуме должно быть спрятано, что было спрятано, и тем самым оно, имея набор визуальных представлений о, например, том же самом коте, пытается этого самого кота вытащить. При этом здесь очень интересный эффект ещё связан с
18: Тем, как у людей мозг работает, потому что есть очень интересный эффект, который называется передол. Вот сейчас на изображениях как бы показаны различные объекты, которые люди чаще всего воспринимают, как будто бы там изображены лица. При этом мы с вами
19: И видим, что лиц никаких здесь нету. Есть просто набор каких-то объектов, у которых по факту есть 3 отверстия, 2 из них как бы что-то похожее на глаза, что-то похожее на рот. Это очень такой древний фундаментальный механизм в мозге, который
20: Отвечал за выживаемость, потому что оно позволяло определить, есть ли перед нами какое-то живое существо, его, скажем так, настроить по отношению к нам, то есть оно агрессивное, не агрессивное и так далее, и вот этот механизм считывать и распознавать лица, он нас настолько глубоко
21: Что мы в любых вещах, которые хотя бы отдалённо напоминают лица, пытаемся их распознать. И тем самым эффект того, как это работает внутри нейросети того, как работает в мозгу очень похожий. То есть мы видим какой-то набор чего
22: То-то похожего сравниваем это с тем, что нам знакомо. И уже из этого создаём более конечный какой-то образ. Поэтому у нас получается, что вот основным прорывом случилось то, что мы взяли и начали использовать для машин некоторые приёмы.
23: Которые работают в том, как человеческий мозг воспринимает изображение. Таким образом, этот подход позволяет нам получить гораздо более высокий уровень качества финальных изображений и уже получать изображения, которые гото
24: Для работы в более привычном для Широких масс людей среде больше как бы привычном контексте, тем самым позволяя это использовать как какие-то артефакты для уже внедрения в повседневную, как бы
25: Производственную деятельность.