0: Каждый день миллионы людей делают одно и то же. Мы открываем чат gpt, GigaChat, дипси или алису, кто что любит, пишем запрос, напиши пост про тренды в маркетинге, придумай 10 идей для свиданий, объясни, как работает квантовый компьютер, как будто мне
1: 5 лет нажимаем enter и получаем ответ, иногда гениальный, иногда так себе, но почти всегда связный, осмысленный текст. Это стало для нас обыденностью как заказать такси или.
2: Посмотреть погоду. Но задумывались ли вы хоть раз, что на самом деле происходит в этот момент? Как эта штука генерирует ответ? Откуда она вообще знает слова? Это какая-то магия, искусственный разум, который вот вот захватит
3: Спокойно, никакой магии. И мир пока в безопасности. Я объясню на пальцах без инженерных заклинаний и терминов, от которых хочется сразу закрыть вкладку. Что такое большая языковая модель? Как она думает? Почему?
4: Иногда полную ерунду несёт, как работает режим размышлений, когда она на ваших глазах рассуждает и как умудряется искать информацию в интернете лучше, чем большинство из нас, кожаных Мешков, которые до сих пор гуглят скачать бесплатно и без
5: СМС моя задача сегодня сделать так, чтобы после этого ролика вы не просто писали в ii запросы и ждали ответ, а реально понимали с чем имеете дело и самое главное управляете как следствие получали от нейросетей максимум пользы.
6: Итак, в основе любой большой языковой модели или ллм, или лож лангвич мадл лежит до смешного простой принцип готовы языковая модель, просто система, которая предсказывает следующее слово все серьёзно, вот и весь секрет.
7: Помните старые кнопочные телефоны с функцией т 9, или, как сейчас ваш смартфон предлагает следующее слово когда вы печатаете сообщение, вы пишите, пойду поем, а он подсказывает, что борща, возможно. Так вот, большая языковая модель.
8: По факту это тот же самый т 9, только прокаченный до невероятного уровня. И когда вы задаёте вопрос, например, столица Франции, это модель не знает ответ. В человеческом понимании у неё нет сознания, нет понимания, да, и
9: Что такое Франция, она особо и не знает и где она на карте, ей это абсолютно все равно, но она с огромной скоростью вычисляет каждое слово и какое оно будет с наибольшей вероятностью идти дальше, основываясь на миллиардах текстов, которые она прочитала до этого.
10: Время обучения с вероятностью процентов 99 следующим словом будет Париж. Модель добавляет это слово к тексту теперь у неё есть столица Франции, это Париж, и она снова задаёт себе вопрос а что же дальше? Может быть точка, а может быть, запятая?
11: И какой-нибудь факт о Париже, и она снова считает вероятности, выбирает слово, добавляет его и так далее, так далее, так далее. Слово за словом, шаг за шагом. Она генерирует весь ответ. Это не сознание, это
12: Очень сложно, но все же математика и статистика, модель строит наиболее вероятную последовательность слов в ответ на ваш запрос. И теперь важный момент. Но почему же тогда ответы каждый раз разные? Спросите вы, если это
13: Это математика, то? Ну, возможно, ответ должен быть один и тот же, верно? А вот и нет. Здесь есть маленькая, но очень важная хитрость в настройках модели есть параметр, который называют температура. Думайте о нём как
14: Ручки креативности. И если выкрутить температуру на 0, модель всегда будет выбирать самое самое вероятное, следующее слово. Ответы будут точными, но очень сухими и однообразными. А если поднять температуру, то модель начнёт иногда.
15: Выбирать менее вероятные, но все ещё подходящие слова, а иногда на самом деле неподходящие, появляются неожиданные обороты, метафоры, разные стили. Так и рождается ощущение, что вы общаетесь с живым существом, у которого есть фантазия, хотя на самом деле это
16: Просто игра в вероятность с элементом случайности. И ещё 1 момент, который многих удивляет, модель не работает совсем словами. Она работает с так называемыми токенами токен это кусочек слова. Например, слово предсказание может
17: Быть разбито на 3 токена. Это предсказание и короткое слово код это 1 токен. И, кстати, в английском языке токен чаще всего 1 слово, а в русском больше, потому что русский язык сложнее. Почему так происходит? Зачем?
18: Чем так. А потому что модели проще оперировать маленькими стандартными кусочками, чем бесконечным количеством целых слов. Это как в целом. Ну, конструктор лего. Из ограниченного набора деталей можно собрать что угодно. И вот что ещё важно.
19: Понять внутри модели каждый токен превращается в длинный список чисел это своего рода вектор его цифровой паспорт, который кодирует значение слово банк в контексте я пошёл в банк за деньгами и на берегу реки.
20: Был крутой банк будет иметь разные числовые представления, модель учитывает контекст и подстраивает значение. Именно поэтому она может различать амонимы и понимать, о чем именно идёт речь, не идеально, конечно, но на удивление.
21: Очень хорошо. Отсюда и появляется своего рода контекст. Окей, предсказывать следующее слово это понятно, но откуда у модели такие глубокие познания обо всем на свете из книг, которые она прочитала только?
22: В её случае книги это почти весь интернет, а не как у меня в шкафу. Процесс обучения модели называется претрейнинг или предварительное обучение. Представьте, что вы взяли гигантский объём текстов. Это миллиарды, триллионы букв текстов, всего чего-то.
23: Только можно было, что создали кожаные мешки, всю википедию, миллионы книг, научных статей, блогов, форумов, постов из соцсетей и начали скармливать это модели, и чтоб вы понимали масштаб, если бы 1 человек решил прочитать весь объём.
24: Данных, на которых обучали GPT-3, а это старая модель, читая без перерыва 24 часа в сутки и 7 дней в неделю, ему бы понадобилось более 2500 лет. А модели, которые появились
25: После GPT-3 обучена на ещё большем количестве данных, и вот модель читает весь этот текст с 1 единственной задачей научиться предсказывать следующее слово она берет предложение, закрывает последнее слово и пытается его.
26: Гадать. Сначала у неё получается полная чушь, случайный набор букв, но каждый раз, когда она ошибается, специальный алгоритм чуть чуть подкручивает миллиарды её внутренних настроек, и этими настройками называются параметрами или весами у
27: 4, например, этих параметров сотни миллиардов. Каждый параметр это маленькое число, и все вместе они определяют как модель думает. И так триллионы раз триллионы примеров, триллионы ошибок, триллионы крошечных корректировок.
28: В результате этих бесконечных упражнений модель не просто запоминает тексты наизусть она начинает улавливать закономерность, грамматику, стили, логические связи, причинно следственные цепочки она даже понимает, что после
29: Зима близко часто идёт что-то про вестерос, она узнает, что у воды химическая формула h2 о, она впитывает в себя огромный Пласт человеческой культуры и знаний, и, увы, наши предрассудки и ошибки тоже, потому что в интернете
30: Хватает и того, и другого, чтобы вы понимали масштаб вычислений. Если бы вы могли делать миллиард математических операций в секунду, миллиард сложений и умножений и начали бы считать все то, что считается при обучении.
31: Крупнейших моделей вам бы понадобилось бы больше 100000000 лет. Это не опечатка. Я не опечатался 100000000 лет, именно поэтому для обучения используют 1000, а то и десятки, а уже, наверное, сотни тысяч.
32: Специальных чипов gpu, которые умеют читать параллельно и очень очень быстро они же видеокарты, вы про них точно знаете, но даже после этого всего безобразия модель ещё не готова быть именно вашим помощником, быть предсказателем слов не значит.
33: Быть полезным ассистентом. Поэтому есть 2, но не менее важный этап. Это дообучение с обратной связью от людей, от нас, кожаных Мешков. На этом этапе 1000 живых людей оценщиков работают с моделью, они задают ей вопросы.
34: Ответы. Вот это хорошо. Супер. А здесь ты нахамил. Так нельзя. Люди так не общаются. Ну, хотя общаются, но типа, формально так нельзя. Здесь ты выдумал факт, этого не существует. Это плохо. По сути, это своего рода
35: Дрессировка как с собакой, правильное поведение мы поощряем неправильное, корректируем только вместо лакомства математическая корректировка параметров именно этот этап и превращает сырой мозг, который просто хорошо угадывает слова.
36: В того самого вежливого, полезного и в большинстве случаев адекватного ассистента, с которым мы общаемся каждый день, здесь вот и кроется в целом ответ на вопрос, почему модель иногда галлюцинирует, уверенно выдаёт факты, которых не существует, и пишет всякую чушь.
37: Помните её базовая задача предсказать наиболее вероятное, следующее слово если в её обучающих данных было много текстов, где определённые слова стояли рядом, она просто воспроизводит эту связку, даже если в реальности такого факта и не существует, она не врёт специа.
38: Правильно, у неё нет такой задачи, она просто генерирует статистически вероятный текст, поэтому проверять за ней критически важная задача это ваша ответственность. Модель, инструмент мощнейший. Я бы даже сказал, что в мире ничего похожего то и нету, но не истина.
39: В последней инстанции. И вот теперь мы подходим к слову промт его вы часто слышали по факту это запрос в нейросетку, это своего рода пульт управления. Мы поняли, что модель предсказывает следующее слово, но как она понимает, что мы от неё хотим. И вот
40: Как раз-таки этот пульт и входит в игру промт. Запрос это инструкция, это наша команда, это не просто вопрос. Наш инструмент управления моделью. По сути программирование на естественном языке и качество этого программирования напрямую.
41: Влияет на качество нашего ответа. Есть такое правило мусор на входе, мусор, на выходе золотое правило. И давайте разберёмся в механике на 2 примерах. 1 плохой пример написать пост. И вы пишите
42: Соответственно, плохой промт. Напиши пост про и что видит модель, слово и какое следующее слово? Наиболее вероятно, да, этих вариантов просто огромное количество. Это может быть, это влияет, развивается, опасен.
43: Учится, тренируется, предсказывает модель, пойдёт по самому усреднённому и статистически безопасному пути, она начнёт генерировать максимально общий текст, потому что вы не дали ей никаких ориентиров, результат будет
44: Пресным и бесполезным, без воды по факту, без хаоса. Это не просто инструмент, это, не знаю, что-нибудь интересное. А вот теперь как бы выглядел хороший промт. Представь, что ты автор популярного telegram канала о технологиях кибер.
45: Миша, твоя аудитория айтишники и предприниматели, напиши короткий ёмкий пост 3 4 абзаца о том, как языковые модели меняют сферу, допустим, разработки по стиль экспертный без занудства, без технических терминов. В конце задай вопрос подписчикам.
46: Что происходит в данном случае на уровне вероятности? 1 ты автор telegram канала о технологиях. Эта фраза мощнейший фильтр по факту мы задали роль. Модель мгновенно повышает вероятность появления слов харра.
47: Ктерных именно для этой сферы. Там, допустим, репозиторий, фреймворк, автоматизация, там, возможно бизнес одновременно, она резко понижает вероятность слов из других стилей. И, допустим, пиццу мы печь сегодня точно не будем 2
48: Когда мы задали аудиторию айтишники и предприниматели, это ещё 1 суждение модель понимает, что можно использовать профессиональную лексику, и не нужно объяснять, что такое айпиай вероятность появления терминов возраста.
49: Хотя мы сказали ей супер технические термины не использовать 3 короткий пост 3 4 абзаца это структурные рельсы, это по факту формат ответа, его архитектура, модель понимает, что текст не должен быть длинным и пост.
50: После основного контента с высокой вероятностью должен идти вопросительный знак, так как у нас был призыв к обсуждению и по сути, хороший промт это не просьба к модели. Так бы, как мы с человеком бы общались, это по факту её настройка вероятностного ком.
51: Вы своим промтом создаёте стартовые условия, в которых генерация текста в стиле блогера становится наиболее вероятным исходом вы отсекаете триллионы ненужных вариантов, заставляя модель двигаться в уз.
52: Нужном именно вам коридоре, поэтому не ленитесь прежде чем что-то попросить, подумайте как дать модели максимум контекста. Роль обязательно задайте, опишите аудиторию, формат, стиль, цель и это не
53: Вежливость это прямое управление математикой, лежащей в основе языковой модели, простое предсказание следующего слова отлично работает для многих задач письмо написать супер, пересказать статью, ещё лучше перевести текст. Да вообще.
54: Пожалуйста, это изи, но что, если задача реально сложная, комплексная, например, решить математическую задачу в 3 действия или проанализировать договор на 20 страниц, а то и на 100, или разобраться в логическом парадоксе?
55: Если модель будет просто пытаться сходу угадать ответ слово за словом без остановки, она, скорее всего, ошибётся, потому что сложные задачи требуют промежуточных Шагов нельзя перепрыгнуть пропасть в 2 прыжка, но можно построить мост именно.
56: Для этого придумали то, что называют режим размышлений идея в целом гениальна в своей простоте вместо того, чтобы требовать от модели немедленный ответ, мы её учим думать вслух по сути, она рассуждает по шагам.
57: Складывает задачу на части в целом. Ну, вспомните, вашу же школу, вы же не писали в тетради ответ к задаче сразу по математике. Ну, может быть, конечно, кто-то и писал, но учитель за это часто ставил двойку. Вы писали, дано найти ре,
58: Определённые какие-то шаги вы точно описывали и потом ставили ответ. Это помогало же вам самим не запутаться и прийти к верному решению, а учитель как раз мог проверить ход ваших мыслей и найти, где именно вы свернули.
59: Не туда. Если случилась проблема с языковой моделью. Тоже самое. Когда включён режим размышлений, модель начинает генерировать не сразу финальный ответ. Она сначала думает так разберёмся. Сначала мне нужно найти вот это значение, потом подставить
60: В эту формулу проверить вот это условие выполняется или нет? Ага, нет, не выполняется, значит, где-то ошибка, беру другой путь, и с каждым шагом рассуждения становится частью контекста, и следующий шаг строится уже с учётом.
61: Предыдущего опыта и только когда вся цепочка рассуждений полностью выстроена, модель выдаёт финальный ответ зачем все это было сделано всего 2 причины 1 точность модели с режимом размышлений решают сложные задачи.
62: Радикально лучше математика, логика, программирование, анализ везде, где нужно последовательное рассуждение режим размышлений даёт огромный прирост качества 2 причина прозрачность мы видим, как модель пришла к выводу.
63: Можем проследить её логику, найти ошибку в рассуждениях если она есть. Это уже получается не чёрный ящик, который выдаёт ответ непонятно откуда это инструмент, где можно посмотреть логику проконтролировать и
64: Смотреть где модель ошиблась или ошиблись вы когда писали ваш фронт, так что когда вы видите как deep сик в режиме размышлений или chat gpt пишет, думаю и начинает расписывать свой план, знайте.
65: В этот момент модель реально использует более продвинутый метод генерации. Она не притворяется, что думает, она строит цепочку рассуждений, чтобы вам максимально точный и осмысленный результат передать. Кстати, именно поэтому
66: Модели вроде дипси кр 1 или open eye оо 1 стали так популярны, они изначально заточены под режим размышлений когда вы им даёте сложную задачу, они не пытаются выпалить ответ сходу они останавливаются, раскладывают.
67: Вам задачу. Проверяют себя, иногда даже возвращаются назад и пересматривают свои же выводы. И это принципиально другой уровень работы. Если вы до сих пор не пробовали использовать режим размышлений для сложных задач, обязательно попробуйте.
68: Будет заметна сразу, если у вас 5 и 2 gpt, сейчас, на момент видео, он актуальный, обязательно выберите режим Финк в deep сике, также выбрать модель размышлений и в другой любой модели, чаще всего если.
69: Либо кнопка, либо выбор модели с размышлением. Попробуйте. Вы точно не останетесь равнодушными. Ну что ж, теперь пришло время поговорить о слоне в комнате. Да, он рядом с нами. Любая модель обучена на
70: Данных до определённой даты. У неё есть так называемый норич кат офф. Дата отсечки знаний. Все, что произошло после этой даты, модель просто не видела во время обучения. Она этого не знает. Она не знает, кто выиграл чемпионат.
71: Мира в прошлом месяце не знает, какой сегодня курс доллара, не знает, что вышел новый айфон. Когда выйдет следующий. Как же тогда современные ассистенты отвечают на вопросы про вчерашние новости? Как они находят актуальную информацию? А на самом деле
72: Ответ офигенно прост они научились пользоваться инструментами, и в 1 очередь поиском в интернете. Когда вы задаёте вопрос требующих свежих данных, модель делает примерно следующее она сначала осознает, что в её памяти ответа
73: Нет, это важный момент. Модель понимает границы своих знаний. Они в целом понимают, что чаще всего 24 год у них финальный. Дальше она формирует поисковой запрос. И тут начинается самое интересное, по сути, модель.
74: Превращает ваш вопрос в несколько чётких оптимизированных запросов для поисковика и делает это в разы лучше среднего человека. Мы, люди, часто гуглим как попало, пишем целыми предложениями, добавляем лиш.
75: Слова не используем фильтры, а модель это формирует идеально только ключевые слова, только релевантные уточнения. В целом она делает это все правильно. Дальше модель отправляет эти запросы в поиск, получает результаты, быстро все прочитывает до
76: 10 сайтов в секунду отбирает самую релевантную информацию, отсеивает мусор, а потом берет найденные свежие факты, добавляет их в свой контекст, как бы загружает себе в оперативную память и на основе этой новой информации генерирует именно
77: Для вас ответ, причём она формулирует его красиво структурировано, потому что базовые навыки работы с текстом у неё уже есть, ну и, по сути, модель в реальном времени проводит мини исследований, а иногда и не мини в зависимости от вашего запроса и за
78: Несколько секунд она делает то, что на то, чтобы у вас ушло минут 20, а может быть даже и 30. Представьте открыть десяток вкладок, прочитать кучу статей, сравнить информацию из разных источников, отфильтровать рекламу и выдать концентрированную выжимку. И это рабо.
79: Не только с новостями. Модель может найти актуальную документацию, например, по программированию, по тому же или по вашему какому-нибудь оборудованию, найти свежие исследования, посмотреть цены на товар, посмотреть расписание рейсов, посмотреть ваших конкурентов, все, что есть в интернете.
80: Она может найти, и вот почему я говорю, что ii гуглит лучше большинства из нас. Мы ленимся, мы открываем 1 ссылку, мы читаем по диагонали, мы считаем, что разобрались, модель же методично обрабатывает десятки источников, сравнивает их и выдаёт вам структуру.
81: Результат она не устаёт, не отвлекается на рекламу и не уходит смотреть котиков после 3 ссылки. И знаете, что самое крутое, эта способность развивается. Современные модели умеют не только гуглить.
82: Они могут запускать код, работать с файлами, подключаться к базам данных, вызывать внешние сервисы. Это называется function, calling, вызов, функции. По сути, модель становится не просто таким умным собеседником, а уже полноценным.
83: Цифровым ассистентом, который может действовать в реальном мире пока в ограниченных рамках. Но прогресс идёт с бешеной скоростью. Ну что ж, пришло время подводить итоги, что мы сегодня с вами узнали. Большая языковая модель, это
84: Не искусственный супер интеллект и не техномагия это невероятно мощный, но вполне объяснимый инструмент для работы с текстом в своей основе она просто предсказывает следующее слово, но делает это настолько хорошо.
85: Что результат выглядит как осмысленная речь, она обучается на гигантских объёмах текста из интернета, впитывает все наши знания, закономерности языка и, к сожалению, наши человеческие ошибки тоже. Далее она проходит дрессировку с помощью
86: Живых людей, которые учат её быть полезной, вежливой и безопасной для сложных задач. Она использует режим многошаговых размышлений, раскладывает проблему на части, рассуждает последовательно, а для получения свежей информации виртуоз.
87: Пользуется поисковиком в интернете, причём делает это быстрее и качественнее большинства из нас. Понимание этих принципов ключ к эффективной работе с ii когда вы знаете, как устроен этот инструмент, вы можете выжать из него максимум, а там максимум практи.
88: Бесконечен. Вы понимаете, почему модель иногда ошибается? И знаете, как это исправить. Вы понимаете, когда стоит включать режим размышлений, а когда хватит простого и очень быстрого запроса, вы перестаёте бояться. Вы
89: Начинаете управлять. Искусственный интеллект это данность, это наша новая реальность. И в этой реальности выигрывает тот, кто разбирается, как все устроено, а не тот, кто просто жмёт на кнопки и надеется на техно чудо. Не бойтесь экспериментировать, Зада.
90: Давайте сложные вопросы, просите модель рассуждать, проверяйте её ответы чем лучше вы понимаете, как она работает, тем более крутые результаты вы будете получать, а на сегодня у нас все с вами был кибер Миша, не забывайте подписываться на наш YouTube.
91: Канал на наш telegram ставьте лайки и пишите в комментариях, о какой ещё технологии из мира ii вы бы хотели узнать или как этот же и вас уже успел обдурить, и не забудьте посмотреть прошлый ролик про историю создания нейросетей и вы очень
92: Очень сильно удивитесь, что