ym104432846
Вставьте ссылку на видео из Youtube, Rutube, VK видео
Задайте вопрос по видео
Что вас интересует?
00:00:00
Объем видеопамяти и нейросети:
  • 8 ГБ - самый популярный объем видеопамяти у пользователей Steam
  • Нейросеть весом 20-6 ГБ требует в 2,5 раза больше памяти видеокарты
  • Автор проверяет производительность различных моделей нейросетей на 8, 16 и 24 ГБ видеопамяти
00:00:53
Использование видеопамяти нейросетями:
  • Пример расчета объема памяти, занимаемого моделью Queen 3.5 на 9 млрд параметров
  • Расчет использования памяти для хранения промежуточных результатов (кэш)
  • Формула расчета необходимого объема видеопамяти для конкретной модели
00:02:40
Результаты тестов производительности нейросетей:
  • Перечислены модели нейросетей, которые поместились в 7,5 ГБ видеопамяти
  • Представлены результаты решения математических и программных задач различными моделями
  • Указаны объемы памяти, занятые моделями, и количество оставшихся токенов для общения
00:04:12
Работа больших моделей нейросетей на ограниченных ресурсах:
  • Возможность запуска модели Queen 3.6 на 35 млрд параметров на видеокарте с 8 ГБ видеопамяти
  • Подробности механизма распределения памяти между видеопамятью и обычной оперативной памятью
  • Увеличение скорости обработки благодаря использованию оперативной памяти
00:06:14
Выбор оптимальной модели нейросети для разных объемов видеопамяти:
  • Модели нейросетей, подходящие для 16 ГБ видеопамяти
  • Сравнение производительности моделей GPT-J, Jam 4 и Queen 3.8
  • Рекомендация выбирать между скоростью и точностью в зависимости от доступных ресурсов
00:09:49
Тестирование творческих способностей нейросетей:
  • Задание на написание песни дано различным моделям нейросетей
  • Оценка рифмовки и содержания песен, созданных разными моделями
  • Лучшая песня написана моделью Jam 4 на 31 млрд параметров
00:11:10
Скорость работы нейросетей и зависимость от оборудования:
  • Измерения пропускной способности памяти различных видеокарт
  • Корректировка скорости работы моделей в зависимости от характеристик оборудования
  • Влияние оперативной памяти и процессора на общую производительность
00:11:55
Сравнительный анализ новых моделей нейросетей:
  • Информация о новой модели Prisma AI Bonsai
  • Сравнение производительности моделей Bonsai, Queen 3.8 и Ornith
  • Рекомендация тестирования моделей на собственных задачах перед окончательным выбором
0: 8 гигабайт самый частый объём видеопамяти у игроков стима такой у каждого 4 16 гигабайт, почти у стольких же вот нейросеть, которая весит 20 и 6/10 гигабайта в 2 с половиной.
1: Раза больше, чем вся память такой видеокарты, и она на ней работает около 30 токенов в секунду с 1 условием.
2: Какую нейросеть ставить на 8, 16 и 24 гигабайта? Я взял 9 моделей, дал каждой не больше памяти, чем у вас, и прогнал на своей видеокарте 250 задач по математике и 160 задач по программированию, все на русском.
3: А ещё попросил каждую написать песню разберёмся, что на самом деле занимает память, как в неё влезает то, что влезать не должно и кто победил на каждой карте.
4: Так почему 20 гигабайт не влезают в 8 и что вообще лежит в видеопамяти, пока нейросеть отвечает, возьму модель поменьше квен 3 точка 5 на 9 миллиардов параметров. 1 и самое большое веса каждый
5: Параметр это число в исходном виде на него уходит 16 bit сжатая версия, которую я взял, тратит около 5 9 миллиардов умножить на 5 beat и поделить на 8, чтобы получить байты, выходит чуть больше 5 гигабайт столь.
6: И весит файл 5 и 3/10. 2 память разговора, чтобы не перечитывать всю переписку. Перед каждым словом. Модель хранит промежуточные результаты для каждого уже прочитанного токена. Кусочка текста это кэш и
7: Он растёт с длинной разговора. У этой модели его хранят только 8 слоёв из 32, поэтому выходит около 32 килобайт на токен 8000 токенов, четверть гигабайта 32000 около гигабайта 3.
8: Рабочие буферы самой программы, которая запускает модель их я меряю вместе со всем остальным, и ещё место нужно windows и браузеру, под них я оставляю полгигабайта, итого правила ролика все, что нужно модели на разговор в 8000.
9: Токенов должно уместиться в 7 с половиной гигабайта из 8 в 15 с половиной из 16 и в 23 с половиной из 24. По этой формуле любую модель можно прикинуть за 10 секунд. Параметры на биты делим на 8.
10: Плюс кэш и запас, и сразу видно, почему модели изначала в 8 гигабайтах делать нечего одни её веса в 2 с половиной раза больше карты, но сначала модели, которые влезают честно бюджет 7 с половиной гигабайт.
11: Целиком в него влезли 4 модели маленькая Джемма 4 и 4 би от google queen 3 точка 5 на 9 миллиардов от алибабы орнит 1 точка 5, её сжатую версию за месяц скачали больше 5000000 раз и.
12: Джемма 4 на 12 миллиардов результат Джемма на 12 миллиардов решила 230 задач по математике из 250 и 145 задач по программированию из 160 квен 3 точка 5 202.
13: 23 и 137, маленькая джема 219 и 134, и это при 3 с половиной гигабайтах орнит 209 и 116 с орнит вышло интересно по тестам самих авторов.
14: Программировании. Она далеко впереди. Квэн 3 точка 5, 70 и 6/10 против 53 и 2/10 у меня, наоборот, 116 против 137 тесты разные. У авторов исправление ошибок в настоящих проектах у меня
15: Функции по описанию на русском, но далеко впереди на моём тесте не подтвердилось у победительницы есть цена Джемма на 12 миллиардов занимает 7 и 4/10 гигабайта из 7 с половиной на разговор остаётся около
16: 12000 токенов и пишет она, 77 токенов в секунду. Квен 3 точка 5 занимает 5 и 2/10 разговора. Влезает около 75000 токенов, а скорость 125. Итог для 8 гигабайт целиком.
17: Нужен самый точный ответ на короткий вопрос. Джемма на 12 миллиардов. Длинные документы и переписка квен 3 точка 5. Но в начале я обещал модель на 20 гигабайт. На этой же карте 20 гигабайт в 8.
18: Условия 32 гигабайта оперативной памяти, и вот почему это вообще возможно queen 3 точка 6 на 35 миллиардов это смесь экспертов. В каждом из её 40 слоёв 256 небольших подсетей экспертов на-ка.
19: Каждое слово маршрутизатор выбирает 8 из них, и ещё 1 общий эксперт работает всегда из 35 миллиардов параметров на 1 слово работают около 3. Примерно 12 часть значит держать всю модель на видеокарте необяза.
20: Внимание и общий эксперт остаются в видеопамяти, а остальных экспертов можно переложить в обычную оперативку столько, сколько нужно. На каждое слово. Процессор читает оттуда только выбранных меньше гигабайта, а не все 20 вам.
21: Cpp это 1 параметр запуска я отдал оперативке экспертов 30 слоёв из 40 и видеокарте осталось 7 и 3/10 гигабайта, скорость около 30 токенов в секунду, а ум прежний, веса те.
22: Же, что на карте в 24 гигабайта я перепроверил в этом режиме 100 задач. Разница в 1 итого 228 задач по математике и 148 по программированию, по программированию это больше, чем у любой модели, которая влезла це
23: А если также запихнуть обычную модель без экспертов квен 3 точка 8 на 27 миллиардов, на видеокарту влезает меньше половины её слоёв, а около 9 гигабайт остаются в оперативке скорость 3 с половиной токена в Секун.
24: В 9 раз медленнее, хотя её file меньше, ей на каждое слово нужны все веса, а экспертам только малая часть, в этом весь трюк теперь условия процессу с queen 3 точка 6 нужно 14 с половиной.
25: Гигабайт оперативки, а рядом ещё windows и браузер на 32 гигабайтах это помещается на 16 уже нет, а 16 у 41% игроков стима для них есть 2 модели, полегче тоже со смесью экспертов джипи.
26: Ios на 20 миллиардов от open ai в оперативку уходит 4 и 8/10 гигабайта, скорость 44 токена в секунду 229 задач и 141, и jam 4 на 26 миллиардов 8 и 8/10.
27: Гигабайта оперативки 32 токена в секунду 223 и 148 16 гигабайт здесь сильные модели влезают целиком и выбор другой взять модель поменьше и сжать её мягко или взять боль.
28: И сжать сильнее Джемма 4 на 12 миллиардов, сжатая мягко до 8 бит, 230 задач и 147, Джемма 4 на 26 миллиардов смесь экспертов, которую google дообучил прямо под 4 бита 200.
29: 23 и 148 gpt ос 229 и 141 и queen 3, точка 8, сжатая сильнее обычного около 4 бит на вес 226 и 144 по уму почти.
30: Ничья разница в несколько задач, а вот по скорости пропасть на моей карте gpt ос пишет 216 токенов в секунду, Джемма на 26 миллиардов 170, Джемма на 12 60 а кв.
31: 3 точка 8 42 почему так, чтобы написать 1 слово обычная плотная модель читает из памяти все свои веса Джемма 4 на 31 миллиард весит 17 гигабайт и моя карта.
32: Прочитывает её около 40 раз в секунду, это примерно 3 четверти предела её памяти, значит, скорость письма упирается прежде всего в память. А если такую плотную модель втиснуть в 16 гигабайт, выйдет 7 токенов в секунду, и это
33: На моей карте у rt x 40 60 тиай на 16 гигабайт память в 3 с половиной раза медленнее 288 гигабайт в секунду против 1008 все модели на ней замедлятся примерно во столько же раз. Это оце.
34: Не замер. Плотная квэн 3 точка 8 опустится примерно до 12 токенов в секунду, а Джемма на 26 миллиардов останется около 50. Итог для 16 гигабайт, Джемма 4 на 26 миллиардов луч.
35: Результат в программировании среди тех, кто влезает целиком, и 170 токенов в секунду 24 гигабайта. Такая карта у 5% игроков, поэтому коротко, здесь главный выбор ум против скорости самая.
36: Умная модель всего теста Джемма 4 на 31 миллиард 235 задач по математике из 250 и 151 по программированию из 160, но она плотная и пишет 41 токен в секунду а queen.
37: 3 точка 6 изначала теперь целиком на видеокарте решает 228 и 148 и пишет 157 токенов в секунду, почти в 4 раза быстрее, и остаток памяти рядом с джеммой влезает около 50.
38: 8000 токенов разговора рядом с queen 3 точка 6 около 158000 итог для самых точных ответов Джемма на 31 миллиард для длинной работы и скорости квэн 3 точка 6. А теперь?
39: Песня каждой модели я дал одно и то же задание текст песни про видеокарту на 8 гигабайт, которая мечтает запустить большую нейросеть куплет, припев, куплет, припев, строки рифмуются, некоторые справились своё.
40: Разно 20 терабайт, что я в себе хранил это queen 3, точка 5 квантиру веса чтобы не вылететь на улицу орнит, и в тишине я молча молчу квен 3 точка 8 простая проверка рифмы показала разницу между 7.
41: У моделей Джемма, полностью рифмованных четверостиший заметно больше, чем у queen, а дальше слепой тест 10 текстов под буквами без названий моделей лучшим я выбрал текст под буквой д, это jam 4 на 31 миллиард.
42: Песню про карту на 8 гигабайт лучше всех написала модель, которой для нормальной работы нужно 24. Вот как она звучит в суно. Запустить бы нейросеть. Огромный массив, чтобы
43: Мир изменился, стал ярче и жив, но гигабайты шепчут тебе не видать. А я продолжаю в мечтах улетать.
44: Теперь подвохи, 1 скорость все мои цифры сняты на rt x 30 90 тиай, её память прокачивает 1008, гигабайт в секунду, у 40 60 272, у 30 60 на 12, гигабайт 3.
45: 360 у 40 60 тиай на 16 288 у 50, 60 и 50 60 тиай 448. Пока модель целиком на видеокарте. Делите мои токены в секунду примерно во столько раз, во сколько ваша память. Ме
46: Длиннее таблица на экране это оценка, а не замер, а вот скорость с экспертами в оперативке от видеокарты зависит меньше её держит оперативная память и процессор у меня это ddr 4 на 3200 и кор ай 7 12.
47: 700. Если у вас похожие мои цифры для этого случая ближе к вашим 2, чьи цифры с орнет вы уже видели, а сжатую квен 3 точка 8 от компании prisma эмэл бонсай авторы обещают с 90 восьмью процентами качества.
48: Оригинала. На математике так и вышло 223 задачи против 228, в программировании 135 против 146 это 92%. И в 8 гигабайт она влезает только впритык. Часть слоёв уходит на процесс
49: 29 токенов в секунду, 3 режим gpt ос нельзя заставить отвечать без рассуждений я поставил самый низкий уровень, и она коротко думает перед каждым ответом остальные отвечали сразу 4, сам тест школьный.
50: Задачи и короткие функции показывают, понимает ли модель условия и умеет ли считать и писать код, но это не ваши задачи перед выбором дайте 2 3 финалистам десяток своих обычных вопросов, это вечер работы, и он скажет больше
51: Любой таблицы и 5 время queen 3, точка 8 и орнит вышли в августе, бансай в сентябре, и эта таблица тоже устареет формула нет, параметры набиты, кэш, запас и скорость памяти ва.
52: Карты, шпаргалка по всем картам на экране сохраните кадр.
53: Гигабайты решают, что влезет скорость памяти как быстро, а кто умнее, только замер спасибо, что досмотрели и спасибо всем, кто поддерживает канал, если было полезно поставьте лайк и подпишитесь, а в telegram канале только.
54: Главное из мира искусственного интеллекта прорывы, важные релизы без шума QR на экране. До встречи в следующем разборе запустить бы нейросеть огромный массив, чтобы.
55: Мир изменился, стал ярче и жив, но гигабайты шепчут тебе не видать. А я продолжаю мечтать.