0: О, здорово. Катаны, пришёл с вами поделиться впечатлениями о своей совершенно великолепной вчерашней ночи, которую я провёл с локальными лм моделями, то есть фактически с локальными искусственными интеллектами немного.
1: Немало это было очень интересно. Это было очень познавательно и в какой-то степени немножечко, наверное, даже сменило некую парадигму в моём мышлении, и мне хочется об этом поговорить. Мне хочется об этом поговорить. Давай.
2: Давайте это обсудим, дорогие друзья. Собственно, значит, что я использовал для запуска локальных моделей. Использовал я программу лм студио. Вы, конечно же, можете воспользоваться любым другим вариантом. Это не сложно, да, то есть на самом
3: Деле. Меня долгое время, собственно, вот до вчерашней ночи останавливало от запуска локальных моделей некое такое предубеждение, что, наверное, это сложно. Во первых, наверное, че то надо с этим разбираться уныло и долго, да, во вторых, я думал,
4: Потому что на моём ноутбуке я попросту не смогу ничего вменяемого запустить. Да, у меня ноутбук вот такой вот маленький, Лёгенький, совершенно такой вот бытовой, что называется, здесь нет дискретной графики, здесь ultra 7 процесс.
5: 32 гигабайта оперативной памяти, он Лёгкий, он весит 980 грамм и, ну, казалось бы, что здесь можно запустить, чтобы это работало. Я думал, что здесь можно запустить, ну, что-то типа там gpt 2, у которого спрашиваешь, так сказать, какая
6: Столица у великобритании, он тебе отвечает. Банан, лошадь, корова, автомат. Здравствуйте. Да, вот. И каково же было моё удивление. Вот, собственно, прошлой ночью, когда я понял, что на самом деле локально, в том числе вот
7: На такой совершенно не мощный, абсолютно базовый ноутбук можно установить.
8: Большую языковую модель, которая может быть практически полезной, то есть полезной. На практике. При помощи этой модели можно решать реальные задачи, которые могут быть у вас, можно писать и агентов можно писать код, можно делать что-то
9: Реально практически ценное, это будет работать совершенно бесплатно на вашем ноутбуке. Это 1, 1 инсайд, который я получил. И я сейчас покажу, безусловно, как это все устанавливается, как это все работает. Совершенно никакой проблемы в этом нет. Все посмотрим, все потыкаем. И 2
10: Insight, который я получил, заключался в том, что на самом деле разница между там платным чат gpt между платным платными моделями антропка клод, да, и бесплатными опенсорсными моделями, которые
11: Можно, в том числе установить даже на слабое железо. Так вот, разница между этими моделями не катастрофическая, она не драматическая, она, безусловно, наверное, есть, но сказать, что это разрыв.
12: Между землёй и небом. Вот по состоянию уже, даже сегодня, по состоянию на март 2026 года, так сказать, уже нельзя.
13: И это интересно, это, это, это интересный вывод, который я лично для себя сделал, потому что 1 дело, когда это какая-то платная модель, которая че то ты не понимаешь, где она там крутится на каких-то там супер компьютерах, там дорогих
14: Бла бла бла и там вот так сказать имеют доступ ко всему этому, вот чтобы потыкать, там люди только инженеры этой компании, там open ai условно, да, или антропин, а все остальные это вот только платно, только с какими-то ограничениями там жёсткими лимитами и так далее.
15: Так далее, и так далее, и так далее, или за кучу денег. И все равно там, даже если ты кучу денег платишь, все равно там, как говорят, мощности иногда подрезаются, потому что не справляются с потоком запросов и так далее, и так далее, и так далее. Короче говоря, это вот некий некий там олимп, да, некий олимп.
16: К которому ты можешь вот только прикоснуться, на самом деле нет, на самом деле нет, все примерно тоже самое, да, пусть медленнее, да, с некоторыми оговорками. Но на самом деле примерно все тоже самое можно запустить на своём локальном компьютере. И более того, даже на самом базовом
17: Простейшем, вот таком вот лёгком ноутбуке, даже без дискретной графики. Короче говоря, для запуска модели я использовал это windows. Машина использовал лм студио. Безусловно, вариантов много. Есть олама, куча других вариантов. Я уверен, вы без проблем совершенно найдёте.
18: Подходящий для вас вариант. В моём случае это лм студия. Мне она в значительной степени понравилась. Это совершенно бесплатный софт. Вы просто заходите прям в гугле лм, студию открываете, скачиваете, устанавливаете, запускаете. И что же вы здесь видите, а?
19: Видите, вы здесь вот такую вот замечательную кнопочку модел сеч. Если на неё нажать, то вы увидите огромное количество моделей, которые вы можете скачать и установить на ваш компьютер. Ну какие-то модели, безусловно, не установятся на ваш компьютер, не смогут работать, потому что
20: Они слишком большие для вашего компьютера, но многие модели вполне себе запустятся, скачаются, запустятся, в том числе на вашем компьютере. Если мы в поиске введём квен 3 5, то мы найдём здесь 2 вот таких, например, 2 вот таких варианта. Квен 3, 5, 9 би это модель с девятью миллиардами.
21: Параметров и queen 3, 5, 35 би, a3 б, a3 b. То есть это модель с 30 пятью миллиардами параметров, но активных из них только 3 миллиарда, то есть это 3 миллиарда параметров используются при инференсе следующего токена, то есть эта модель более компакт.
22: С точки зрения потребления ресурсов и более быстрое с точки зрения генерации токенов на слабом железе. Вот я скачал обе этих модели. Соответственно, 9 миллиардная моделька весит 6 с половиной гигабайт моделька на 35 миллиардов параметров с
23: 3 активными миллиардами параметров весит 22 0 7 гигабайта, у меня здесь 32 гигабайта оперативной памяти, обе модели помещаются в оперативную память и работают на ней, повторюсь, даже без дискретной графики.
24: Ну, кстати говоря, если по какой-то причине вы здесь вводите квен 3 5 и не находите вот эти модельки, вы можете просто тупо открыть сайт в вашем замечательном браузере элэм студио точка эйай слэш модул слэш квэн квен 3 5 9 би. И здесь вот можно нажать кнопочку юз модул ИНН.
25: Studia это официальная модель от квена видите квэн слэш квэн 3 5 9 би. Для того, чтобы скачать модель в lm studio ну вот я какую-нибудь модельку выберу, которая у меня не скачена ну просто вот ждём дон лот, дожидаемся, пока она загрузится и пос.
26: После этого мы сможем замечательным образом её использовать. Представляете, че, каким образом можно использовать эти локально установленные лм модели? Ну, самый простой, самый базовый, понятный вариант, это, конечно, чатик, хотя это, конечно, и может быть
27: Полезно, но, безусловно, это такой очень базовый сценарий использования большой языковой модели, но так или иначе все начинают, наверное, конечно, с чатиков, поэтому можем нажать здесь вот кнопочку создания нового чата. И мы здесь можем видеть вот такой дропдаун лист, выпадающий список, да, пик и модул.
28: Выбрать модель. Ну, давайте выберем самую мощную модель queen 3, 5 35 би, a3 бэ. Ну, самую мощную я имею ввиду из тех, которые у меня установлена в lm studio. Так вот, значит, контент контекст ленс это длина контекста по умолчанию здесь стоит 4000.
29: 6 токенов, я нолик справа добавлю, это замечательным образом тоже у меня запустится. То есть 40960 токенов. У меня будет длина контекста и жмём лот модел. И сейчас эта замечательная модель с диска будет загружаться в оперативную память моего.
30: Замечательного ноутбука, пока загружается эта моделька, обратите внимание внизу на 2 иконки синк. То есть у этой модели есть режим рассуждения, режим думания в кавычках, да, который мы можем включать или отключать для нашего конкретного сценария использования модели где-то
31: Этот режим полезен. Режим думания рассуждения, да, где-то он менее полезен. Опять же, я сейчас все покажу, как все это работает. Вообще. Просто очень интересная штука. Очень интересная штука. И 2, ну это не галочка, это просто информационная такая панелька зис модул кэн процесс, имидж инпутс. То есть вы може
32: Загрузить изображение, и моделька его проанализирует. Че там на этом прекрасном изображении вообще находится прошлым летом. То бишь около полугода назад я делал видео про ii агентов, и я там разрабатывал несложного ии агента, который, значит, из
33: Вордовских документов, pdf документов, эксель документов вырезает реквизиты компании. Эти реквизиты компании в структурированном виде передаются в мою тулзу, написанную на питоне, моя тулза, генерит, счёт и акт, ну и потенциально любые другие бухгалтерские документы для этого
34: Контрагента, то есть контрагент присылает мне реквизиты в виде документа. Как правило, да, я этот документ скидываю своему и агенту, и агент выдирает оттуда реквизиты и автоматически генерирует корректно счета и акты с этими реквизитами. То есть мне не нужно заниматься этим вручную
35: Это мега мега, удобно, я использовал, собственно говоря, для всего этого буйства модельку GigaChat. Почему? Ну, собственно, потому, что мне было интересно, справится ли с этим GigaChat, во первых, а во вторых, потому что мне sber, конечно, заплатил крыло самолёта за рекламу шутка.
36: Вот так вот я был удивлён сегодняшней ночью и поражён, что на самом деле бесплатная модель, которая запускается на этом ноутбуке, способна выполнять ту же самую задачу. Прикиньте, че, прикиньте, че при этом
37: Это не происходит как-то катастрофически долго, да, то есть не сказать, что это с GigaChat м. Происходит, например, там 10 секунд, а с локальной моделью, запущенной на таком слабеньком ноутбуке, это происходит 2 дня. Да? Нет, ну да, может быть дольше, там не 10 секунд, а 20.
38: Вот это происходит. Ничего страшного совершенно в этом нет. Так вот, дорогие друзья, моделька загрузилась и мы можем её использовать. Давайте режим синк пока отключим и вот простенький какой-нибудь код попросим эту модельку написать. Твоя роль профессиональна.
39: Python разработчик напиши функцию, которая считает числа фибоначчи, верни только код без пояснений опаньки отправ.
40: Этот prompt система сначала будет обрабатывать промт процессинг промт 100% и понеслась душа по кочкам вот она, наша замечательная функция, которую мы попросили модельку написать, происходит ли это сильно медленно, дорогие друзья, да нет.
41: Да нет, это произошло довольно быстро, довольно быстро. Вот функция фибоначчи. Не буду я сейчас проверять. Правильно? Неправильно, наверное, правильно, но так или иначе она написана, она написана, она работает. Конечно, если бы мы включили режим синк, это происходило бы дольше. Безусловно, это происходило.
42: Бы дольше. Я сейчас подготовил для вас пример как раз в режиме ссылка. Я задал вот такой вот промт этой модели, опять же, это просто промт для примера, да, сейчас в комментах набегут люди, которые будут писать, что вот там, используя мета prompting, надо писать более длинные промты, там чётче.
43: Ограничивать задачи, которые ты делаешь, безусловно, мы сейчас не об этом говорим. Мы сейчас говорим о том, насколько модель, установленная локально на не очень мощном ноутбуке, способна быть полезной с практической точки зрения, насколько она способна, например,
44: Писать какой-то более менее вменяемый код. Так вот, такой промт был ты профессиональный паттон. Разработчик с двадцатилетним опытом. Напиши код, который получает данные с url, ну, с использованием url lib питоновской библиотеки из веб сервиса, используя http метод get и возвращает json с этими данными.
45: Обработай все возможные ошибки, возбуждая косновные исключения типа web service, error с переданными в него пояснениями о возникшей ошибке, использует python 3 13 с типизацией вот такой вот промт значит конечный результат модель мне дала за 14 минут ну вот 8 минут.
46: Ну, она думала ещё там какое-то количество минут, собственно, генерировала вот этот ответ. Да, безусловно, 14 минут это, в общем то, долго, долго, можно так сказать. То есть какие-нибудь платные модели справились бы с этим быстрее, но
47: Друзья, это бесплатно и это работает на слабеньком ноутбуке. Ещё раз. Я хочу, чтобы вы это понимали и это осознавали. И при этом тот результат, который получен здесь, он вполне себе сопоставим с тем, что вы получите в платном чат gpt и в платном клоде, да?
48: Же ещё раз вот на этом слабеньком ноутбуке это сопоставимый результат. То есть мы приходим к тому, что мы можем скачать бесплатную пососу модель, развернуть его, в том числе на слабеньком железе, или если там у нас есть более мощное железо, развернуть на более мощном железе или купить более мощное железо под
49: Какие-то наши там бизнесовые, не бизнесовые задачи и крутить там модели, получать пользу уже представляете? То есть это то что доступно не какому за какие-то потенциально большие деньги там платные.
50: И сегодня то олимпу.
51: Какие-то наши там бизнесовые, не бизнесовые задачи и крутить там модели и получать пользу уже сегодня. Представляете? То есть это то, что доступно не какому-то олимпу за какие-то потенциально большие деньги там платные.
52: Модели и так далее, которые там недоступны для россиян, потому что постучаться в api значит open ai, api open ai нельзя с российского айпишника они говорят о братан, несмотря на то, что у тебя там платный аккаунт и так далее, там куплены токены.
53: Токены, сорян, российский айпишник. Мы с тобой работать не хотим, да, то есть есть вопросы там, санкций, блокировок, ограничений, бла, бла, бла. Так вот это доступно, просто локально, просто локально это можно установить. И это работает. И такой вот код написала эта моделька.
54: Да, я не вчитывался в него там глубоко подробно. Ну так, типа беглым взглядом выглядит вполне себе неплохо. Веб сервис рор отнаследован от эксепшена. Кастомное исключение для ошибок взаимодействия с веб сервисом позволяет передавать бла бла бла сохраняет селф, значит статус код, если он пришёл
55: От веб сервиса, да, сохраняет, сохраняет причину. Там какой-то проперти дискрипшен навешен. Есть какой-то request конфиг конфигурации запроса для строгой типизации параметров установлен, таймаут. Установлен, значит, user agent, который
56: Который будет использован для запросов. Видимо, к этому замечательному веб сервису. Да, вот устанавливаются хедеры, юзер, агент, аксепт, аксепт, ленгвич. При помощи url lib все написано, да, так, как я просил обрабатывается исключение. Давайте посмотрим юникод.
57: Error, да, то есть, если пришёл, пришли не юникод, данные поймали, значит обрабатывается. Че ещё обрабатывается? Обрабатывается ошибка. Json дико террор обрабатывается. Http ошибка обрабатывается. Url ошибка?
58: И отлавливается таймаут оо причём так, как я и попросил в изначальном промте во всех этих случаях возбуждается кастомное исключение веб сервер error, в который, в которое, в это кастомное исключение передаётся, значит сообщение о возникшей проблемной ситуации дорогие друзья.
59: Ну и, собственно, вот if name равно мейн классический блочок, да, в котором происходит тестирование этой функции. И вот даже моделька написала разбор ключевых решений. Типизация использует современный синтаксис. Ну так, беглым взглядом вроде, да, вроде современный синтаксис.
60: Наследование исключений, безопасность ресурсов, устойчивость к кодировкам, конфигурация ну и он говорит, что вообще типа возьми реквест или http x, так как они предоставляют более удобный ипиай, автоматическую обработку сессий ссл и таймаутов, чем низкоуровневый юрл лип, но тем не менее есл.
61: Вот по какой-то причине я не хочу зависеть для какой-то своей утилиты от внешних инструментов, то вот и при помощи url lib тоже можно всю эту петрушечку делать url lib это кто не знает, это стандартная библиотека языка программирования python конечно, если мы говорим о разра.
62: Работки агентской, когда мы не пишем в чатик, а у нас есть и агент, который позволяет использовать большие языковые модели для разработки, то есть там более умные, более правильные алгоритмы, которые могут запускать внешние инструменты и так далее, и так далее, и так далее. Такие-ка
63: Cloud code, такие как там, кодекс, такие как че там есть open код, ну и так далее. Их сейчас там много плодятся буквально каждый день их, безусловно вы сами можете разработать, используя большие языковые модели, то, ну конечно, вот под капотом для всех этих
64: И агентов вы можете использовать, в том числе локальную модель, которая развёрнута и установлена у вас здорово, это здорово, конечно же. То есть то, как я показываю вам разработку вот этой функции, там, фибоначчи, да, или разработку вот этой функции. Это просто для примера, я показываю вам в чатике, н.
65: Конечно, вы можете использовать эту модель и полноценно для, в том числе разработки ваших и агентов или для использования под капотом уже существующих и агентов, которые написал кто-то за вас, да, если мы вот сюда вот нажмём, нажмём девелопер
66: Девелопер, здесь мы можем обратить внимание, что есть server settings, то есть мы можем запустить сервер, который будет предоставлять эйчтитипи эйпиай, при помощи которого мы сможем по сети стучаться в наши модельки, которые у нас есть в нашей элэм студио и, собственно говоря,
67: Коммуницировать с ними, да, то есть здесь есть и open, ai, compatible, ипиай и какой-то свой там rest ипиай. Всем этим замечательным образом можно пользоваться. То есть, вообще говоря, вы можете, ну, типа, купить какой-нибудь относительно мощный компьютер д,
68: Туда установить лм. Студию или любой другой инструмент разворачивания локальных больших языковых моделей и просто по сети стучаться туда. И инференс будет происходить на этой там потенциально мощной машине, а вы простеньких и агентов несложных, не ресурсоёмких, будете запускать лока.
69: На ваших не очень мощных, тонких, потенциально даже клиентах, я не знаю, из телеграмма, из telegram, бота или откуда угодно, дорогие друзья, ну так вот, значит, писал я прошлым летом штуковину, которая, значит,
70: Достаёт из неструктурированных документов реквизиты в структурированном джейсон виде. И я задался вопросом, а можно ли, собственно говоря, это сделать при помощи локальной вот такой модельки? Я взял реквизиты.
71: Яндекса выдранная из их вордовского документа, у меня учатся на курсе хардкорная веб разработка сотрудники яндекса, поэтому у меня есть реквизиты яндекса ну это, собственно не коммерческая тайна реквизиты компании, вот и поставил такую задачу достать реквизиты в виде json из этого текст.
72: Структура джейсона мне нужна следующая, на примере реквизитов другой компании. Вот реквизиты какой-то компании, собственно говоря, какая-то компания вк, вк из вк тоже у меня учатся на хардкорной разработке. Кстати говоря, приходите, да, вот минутка, так сказать, приглашения. Приходите на хардкорную веб разработку, если хотите, про
73: Качаться в веб разработке. Вот верни строго джейсон в указанном формате. Вот. И, собственно говоря, вот моделька квен 3 be queen 3 с половиной 35 би отвечает вот таким вот замечательным джейсоном. Да, причём, если мы возьмём модель
74: Послабее на 9 миллиардов параметров. Она тоже справится с этой задачей. Тоже вернёт джейсон совершенно без проблем. Я думаю, что, честно говоря, даже можно взять, наверное, на 4 миллиарда параметров. Это тоже будет достаточно для того, чтобы решить вот эту несложную задачку из текста.
75: Реквизиты. Понятно, что здесь реквизиты в тексте, они, ну вот в таком довольно простом варианте для вырезания не всегда это так, там где-то в экселе присылают в каких-то более сложных форматах. Не всегда это настолько очевидно, но моделька в любом случае с этим справится. Дороги
76: Нельзя и вернёт вам реквизиты в json формате, ну и конечно, можно посмотреть, как это работает в виде ii агента, который просто на вход принимает какой-нибудь документ с реквизитами и возвращает json.
77: Ну вот в данном случае я запускаю срц мейн, передаём на вход документ, да, передаём на вход документ, документы лежат, документ с реквизитами лежит в директории документс яндекс точка док икс. Собственно говоря, можно открыть даже этот документ. Я покажу, что это обычный вордовский.
78: Документ, да, с реквизитами яндекса яндекс док икс.
79: Ну вот on обычный вот такой вот документ с реквизитами яндекса. Вот, соответственно, моя утилита открывает этот вордовский документ, достаёт оттуда текст. Этот текст передаётся в большую языковую модель, которая развёрнута в lm studio и lm studio возвращает
80: Из этого текста структурированный джейсон с реквизитами этой компании соответственно, я этот json могу дальше использовать в своих утилитах по генерации там Нужных бухгалтерских документов давайте запустим эту историю, ну вот таким вот образом модельку не будем передавать на вход, она там по умолчанию, по
81: Умолчанию, как раз нужное нам вот здесь, в логах, в лм студии, мы можем видеть пришедшие запросы, как это все происходит. Вот в данном случае у нас сейчас обрабатывается промпт, который, значит, наш, наш код передал в эту большую
82: Языковую модель. Здесь, кстати говоря, на этом ноутбуке сейчас ещё и записывается скринкаст, что, конечно, тоже поджирает ресурсы этого компьютера. Поэтому в реальности генерация токенов и работа модели происходит ещё даже быстрее. Вот обрати внимание, да, это уже генерация токенов пошла для
83: Ответа. И здесь мы сейчас увидим, собственно, тот самый джейсончик, который генерирует для нас модель на основе данных, которые мы ей передали на вход. Итак, реди замечательным образом. Да, success экстра.
84: Этот реквизит Фром документ и в history мы можем эти замечательные реквизиты найти. Обратите внимание. Вот они, пожалуйста, реквизиты в джейсончике. Мы эти реквизиты можем использовать так, как нам нужно, да.
85: Legal name, ИНН, огрн, подписант, банковские реквизиты и так далее. Представляете? И вот в реальном времени просто это сработало. Я показал, насколько быстро это происходит при этом ещё раз. Здесь сейчас использовалась под капотом модель мо.
86: Да, мы можем для такой задачи использовать гораздо более маленькую модель, она будет быстрее работать. Её потенциально можно запустить ещё на более слабом даже железе, чем мой текущий ноутбук huawei. Классно, классно. Ну то есть это, это действительно
87: То, что открывает, в том числе новые возможности, а то качество продуктов, которое вы будете получать, используя модели или даже то качество результатов, которые вы будете получать, используя модели, будь то платные модели.
88: В облаке или будь то, значит, бесплатные модели, которые развёрнуты у вас локально там, в вашем приватном облаке, в вашем ноутбуке, на вашем стационарном компьютере, там неважно, да, оно во многом будет зависеть сейчас уже не только и, может быть, даже не столько
89: От качества модели, чем от качества ваших Промтов, от качества вашей обвязки, от качества ваших тулзов, от качества того контекста, который вы подаёте на вход модели от качества там данных в mcp серверах.
90: В раг системах и так далее, и так далее, и так далее. То есть, по сути от качества обвязки вокруг этой модели. И это потрясающе то, что сейчас можно получать результаты, не пользуясь вот этим олимпом, да, который там где-то
91: В каких-то чужих облаках крутятся, а использовать бесплатные небольшие модельки, которые в том числе работают неплохо даже на самых таких базовых бытовых ноутбуках, причём ещё раз, да, при проектировании
92: Этого ноутбука вообще не ставилась. Задача сделать супер мега мощную машинку, да, это, это меньше килограмма весит 980 грамм. И даже здесь такая модель запускается, работает и решает поставленную задачу. Да, если для меня разница
93: Там достанутся эти реквизиты из документа за 10 секунд, или за 20 секунд, или за 30 секунд. Вообще нет, вообще нет такой разницы. Вообще нет такой разницы. Я готов подождать 30 секунд, но зато это будет бесплатно. Это будет там потенциально без доступа к интернету, без доступа к каким-то
94: Платным моделям, которые сегодня работают, завтра не работают. Прокси vpn бла бла бла, классно, классно. И это действительно открывает ещё 1 Пласт новых возможностей, которые у всех у нас появляются с большими языковыми моделями. Ну кстати,
95: Вот этот агент, который я показывал в прошлом видео прошлогоднем прошлого, прошлым летом, да, где я писал агента, который достаёт реквизиты и на основе этих реквизитов генерит, там счета, акты и так далее. Можно сделать на основе этого материала такой более расширенный
96: Материал по тому, как пишутся и агенты, с сохранением состояния, с сохранением истории, чтобы там реквизиты брались и из чатика, и из документа, и так далее, и так далее. Если вам интересно, пишите в комментах, запилим, в том числе такой материальчик дорогие
97: Нельзя. Спасибо, что посмотрели это видео. Надеюсь, было полезно. Остаёмся на связи до следующих выпусков. Пока, пока, пока, пока.