0: А ты знал, что можно собрать рабочего и агента на своём компьютере бесплатно, без подписок с доступом к твоим файлам. И это не chat gpt в браузере это терминал, локальная модель и настоящий агент, который выполняет задачи в этом выпуске.

1: Покажу полный путь от поиска модели на хаген фейс до запуска агента через клод код или goose, протестируем реальные задачи кодинг анализ файлов автоматизации на маленьких локальных моделях и поймём, насколько вообще они к этому.

2: Сегодня приспособлены люди роботы. Привет, это просовет. Меня зовут дядя де. Чтобы нас поддержать, подпишитесь на канал и поставьте лайк и комментарий к этому видео. А чтобы разворачивать проекты любой сложности, используйте селектел, топовые видеокарты, бесплат.

3: Миграция, кастомные конфигурации, подробнее по ссылке в описании, как уже сказал, пройдём полный путь, будет много практики, поэтому готовьте свои мозги, пальчики, терминалы, локальные машины и все в этом духе. Перед тем, как запускать что-либо, нужно понять, где вообще брать модели.

4: Как они называются, что значат вот эти вот сложные обозначения? Давайте разберёмся. Есть хаггинс, это как github, но только для нейросетей. Там лежат сотни тысяч моделей всяких датасетов и куча разной интересной эммелин й истории. Но не пугайтесь, нам нужны

5: Локальные модели. Давайте покажу, что искать. Когда вы изобретёте на хаген фейс, начнёте поиск по локальным моделям, то часто увидите вот такие вот сложные названия. Как вообще разобраться, что это значит. Погнали в начале, конечно, идёт название самой модели и сразу во

6: Тех названиях моделей. Есть количество параметров. Например, мы с вами будем запускать модельки гемма 4 в разных вариациях 4 миллиарда параметров и 26 миллиардов. Здесь вы видите 26 миллиардов параметров версию и a4 б зна,

7: Что там 4 миллиарда активных далее нам всегда нужно выбирать вот этот формат джи джи ю эф это упакованная версия модели которая влезает на обычный компьютер. Это такой контейнерный формат как zip или мп 4. Внутри него лежат веса модели такие

8: Организаторы настройки, и мы можем без лишних заморочек запустить на нашей локальной машине. Ещё часто в названиях моделей есть такая приписка айти или инстракт, что говорит о том, что модель понимает инструкции вот в этом формате взаимодействия модели и

9: Пользователя всегда выбирайте именно такие версии ну и, наконец квантизация модели это бывает совершенно разные обозначения эф пи 16 что значит полная версия точность 16 bit бывают квантизации кью 8, cure 4, q 3 q.

10: 2 и так далее. Чем выше квантизация, тем более качественная и менее урезанная модель. Поэтому если ваша локальная машина позволяет запускать версии с большей квантизацией, то выбирайте циферки побольше. Ну и погнали к реальному при

11: Пример. Вот я захожу на сайт Хагин фейс, он встречает нас таким интерфейсом в поиске я могу ввести название модели, которые хочу установить. Предлагаю вам последовать моему примеру и работать с модельками гема. Это модели от google. На данный момент они очень вкаченные. Действительн.

12: Крутые по уровню большие версии этих моделей совпадают с уровнем модели gpt 4 о, которая вот когда-то давно в целом вызывала большое количество фурора, уже в и комьюнити, просто вводим в название гемма, и дальше мы видим разные версии модели, которые

13: Мы можем выбрать начнём с установки модели гемма 4 e4 би. Это значит что у модельки 4 миллиарда параметров и видите у неё здесь сразу есть приписка айти что значит инстракт и дальше вы можете почитать на хагене се все вот эти вот характер

14: Ктеристики модели, тут большое их количество, разные банчмарки для разных версий, но нам следует идти вот в это, в эту область. И смотрите, тут вечеринка такая, у опенсорсных моделей есть, так называемые файнтюне, это когда модель взяли и что-то в ней изменили.

15: Могли изменить сильно могли изменить, не сильно дотренировать её, как-то докорректировать. Например, бывают модели расцензур рованные, где нет никаких этических ограничений. Я покажу 1 из таких моделек, если вы хотите использовать абсолютно базовую версию и не

16: Искать что-то более замороченное, то сразу следует идти в раздел квантизации, выбрать нужный нам формат как я говорил это гг юф. И в данном случае вот провайдер ансло, часто вы его встретите, предоставляет такой формат и можно сразу посмотреть количество скачи

17: Тут их огромное количество, что уже говорит как минимум о том, что модель пользуется популярностью. Переходим сюда. И вот здесь, вот в этом разделе вы сразу можете посмотреть, насколько модель подходит под ваше устройство, будут ли запускаться её разные версии.

18: Вашей локальной машине. Для этого, конечно, нужно настроить в аккаунте хаген фейс, что у вас за устройство? Нажимаем вот на этот чудный шестерёнку и добавляем сюда ваш хардвейр, то бишь ваш характеристики вашего устройства, я уже добавил в свой apple м 4.

19: Про 24 гигабайта оперативы. И, соответственно, когда теперь я захожу на страничку любой модели, я вижу эту чудную зелёную, жёлтую или красную галочку, которая говорит мне о том, что model потянет или не потянет на моём устройстве. Базово выбирайте модель средней версии.

20: 4 бита это квантизация кью 4 км это самая такая стандартная и базовая квантизация, которая в целом подходит для большего количества задач модель не сильно умная, но и не сильно тупая выберем её и дальше нам нужно выбрать провайдера как это все дело запустить?

21: Я вам предлагаю использовать олама. Для этого, конечно, оламу нужно установить, делается катастрофически. Просто заходим на сайт олама дот ком и либо устанавливаем десктопную версию, либо устанавливаем по этому керл запросу, который нам сразу здесь на

22: На страничке видим и предлагается альтернатива download алама. И выбираем, собственно, скачать для вашей операционной системы десктопное приложение. После этого десктопное приложение нужно запустить. Вы можете, кстати, общаться с моделью.

23: Прям в привычном вам интерфейсе чата. Но я дальше все настройки буду показывать через терминал. Вернёмся на хаген фейс, выберем нужную нам команду. Мы выбираем провайдера, в котором мы будем запускать эту модель. Я выбираю олама, и мы сразу видим ту

24: Команду, которую нам нужно ввести в терминал. Переходим в терминал команду, вводим. Все очень просто. Загрузка модели начинается. И по этой конкретной команде вы сразу запустите модель после того, как она загрузится. Если вы хотите просто модель скачать без

25: Запуска, то запишите сюда команду олама пул, точно также нажмите enter, и модель загрузится. Я их сейчас загружать не буду, потому что у меня уже установлено приличное количество этих моделей. Мы можем ввести команду олама лист и посмотреть на весь список тех моделей.

26: Которые у нас установлены. И, конечно, на то, сколько места они занимают. Учтите, что вам нужно какое-то количество места на вашей, на вашей карте. Видите, большие модели занимают по 18, 16 гигабайт для наших с вами сегодняшних Тестов я буду использовать

27: Файнтюненные сию локальной модели, гемма её 4 би. Она называется вот таким вот образом. Некий мидол её зафантанирует перейти по этой ссылочке тоже её скачать, она у меня же уже загружена, её

28: Главное преимущество в том, что она расцензур рована, у неё выключены абсолютно все гардрейл, ограничения, вы можете общаться с ней на любую тему, и это прикольно в целях того, чтобы YouTube не ругался на этот ролик, я не буду ничего противозаконного.

29: Или противо этического сегодня вам показывать в работе с этой моделью, но по моему опыту самые разнообразные темы с ней можно обсуждать достаточно смело, чтобы её скачать. Аналогичным образом нажимаем юз дес модел, выбираем олама и получаем команду, которую нужно ввести в терминал.

30: Я эту модель запущу и сразу покажу вам то, что она работает. Вы можете начинать общаться с ней в чате прямо здесь через терминал. Она мне катастрофически быстро ответила. Если вы хотите увидеть чуть больше статистики о том, как модель вам отвечает, с каким количеством

31: Токенов, секунд и так далее, то, соответственно, можете ввести вот такой вот такую команду set verbose и вы сразу увидите определённую метадату по вашему рану, запуску модельки. Но смотрите, какая проблема возникает прямо сейчас для того, что

32: Чтобы использовать локальные модели, которые мы загрузили через олама, как и агентов, чтобы у них был доступ к инструментам, к нашим файлам, к нашему контексту, как мы привыкли, работая с клод код или другими агентами харнесса и аламы. Недостаточно. Что же делать? Обязательно вам расскажу.

33: Скажу после короткой интеграции, коей являемся мы сами, совсем скоро стартует наш интенсив и разраб, где мы за 4 недели будем создавать продукты, проекты, автоматизировать свою рутину и идти от идеи к реальным клиентам при помощи и инструментов.

34: Мы катастрофически сильно прокачали эту программу, этот поток это уже 4 запуск у нас будет 4 недели с полноценным обучением и менторством от наших разработчиков. 1 неделю будем говорить про start, идею, настройку окружения, затем поговорим про и разраб.

35: Ботку и создание сквозного проекта конечно, пообсуждаем инфраструктуру завершение продукта, разные настройки быстрого деплоя ci cd как настраивать оплаты безопасности отладки, ну и в конце у нас будет защита проектов, и, более того, у нас есть партнёры.

36: Будет возможность получить стажировку в ai дев компании, оплачиваемую и даже от партнёра нашего канала селектел, получить сервер абсолютно бесплатно для того, чтобы сразу начали запускать свои продукты и срезали свои косты на тесты и гипотезы.

37: Курс я Сергей эль, мой коллега архитектор в области и разработки Евгений Шикунов, айти, руководитель и разработчик и ещё разные приглашённые эксперты. Честно будет очень насыщенная программа. Поэтому, если вы готовы инвестировать силы и время для того, чтобы действительн

38: Достичь результата и освоить эту новую область, то приходите на ряде тарифов. Вы получаете доступ ко всем нашим курсам по и агентам по созданию и аватаров, и видео базовому. Промкин у и в общем, все, что мы уже создавали и за время нашей работы

39: Накопили и нагенерировали контента. Поэтому выбирайте подходящий вам тариф и увидимся на интенсиве. Стартует совсем скоро, 11 мая. В этом ролике я показываю вам те модели, которые вы действительно можете использовать, как и агентов, но если вы захотите

40: Дальше в эту область погрузиться, углубиться, то всегда обращайте внимание на катастрофически важную характеристику локальных моделей которые вы будете скачивать а именно tool коллинг вот эта вот штука или tool юз тул коллинг вот этот параметр всегда должен присутствовать в

41: Описание модели. В противном случае модель не будет обучена использовать инструменты. Это главная фишка и агентов. И вот эта вот файнтюненные, урированные версия модельки имеет тул колинг и базовая версия гемма 4 имеет толкоин. Давайте посмотрим.

42: Как их настроить и как запихать их в клод код или гуся. Если прям по шагам. Смотрите, я нахожусь сейчас в какой-то Папке и неплохо бы узнать абсолютный путь к этой директории, который выглядит вот таким вот образом. У меня есть ряд моделей, которые я могу узнать.

43: При помощи команды олама лист. И тут у меня есть уже модели отредактированные, приспособленные для запуска, как и агентов. Возьмём самую базовую версию модели, например, на 26 миллиардов параметров. Вот она у меня есть, если вы повторите мой путь и скачаете модельку гемма 4.

44: 26 миллиардов параметров при помощи уламы, то вы увидите именно такое значение. Сейчас у этой модели. Во первых, неправильное контекстное окно не то, которое нам нужно. И во вторых, в неё не записано использование инструментов. Нам нужно с вами со

45: Дать модел файл, так называемый и немножко его изменить. Базовая команда выглядит следующим образом. Сначала мы с вами вводим команду олама шоу, после этого через вот этот вот флаг двойной дефис, вводим значение модел файл. Дальше название той

46: Модели, которую мы хотим менять обязательно. Я меняю сейчас гемма 4, 26 би. Я буду вводить именно её название. После этого мы прописываем путь к новому модел файлу, который мы с вами создадим через вот такую вот галочку. И я хочу этот модел файл

47: Создать в моей директории, в которой я сейчас и, собственно, а, ну практически в которой я нахожусь, я её запишу в users. Дэниэл, май иай, потом темп. И дальше вот здесь вот я введу название этого нового модул файла. Давайте мы его немножечко пере.

48: Назовём это будет гемма 4 yt, чтоб мы с вами не запутались, то есть этой командой мы просто создадим файлик с настройками модели, который мы потом откроем с вами и отредактируем ещё раз вот это вот название модели, которое мы будем.

49: Менять. Вот здесь вот вам нужно изменить просто на название, которое вы хотите придумать для вашей новой модели, ну и, соответственно, прописать абсолютный путь к той директории, куда этот файлик будет положен нашим терминалом и вызовом нашей команды. Я

50: Ввожу эту команду и получаю. Ничего. Но я только что сделал этот файлик. Предлагаю его найти. Я открыл в визуальном редакторе зет свою папку. Май иай, мне нужно найти папку тумп, и в ней должен оказаться этот модул файлик.

51: Вот он, смотрите, гемма 4. Войти модул файл. В данном конкретном случае мне нужно в этом файлике провести несколько операций. Во первых, модель идёт с виженом, она может понимать картинки, у меня не получилось заставить её это делать, поэтому я убираю вот эту вот строчку.

52: Которая предопределяет её вот эту вот способность, просто её отсюда стираю. Далее для того, чтобы алама видела, что у модели есть инструменты, нужно ввести 2 вот таких вот значения. Кстати, все обязательно, конечно же, там в telegram каналах или где-то по ссылок.

53: Я эти инструкции предоставлю. И там у меня найдёте в канале. Переходите, смотрите. И вот эти вот 2 строчки ещё раз определяют, что у модели есть возможность использовать инструменты. Это хорошо. Ну и дальше ещё 1 параметр.

54: Который перезапишет контекстное окно модели, потому что базово они все идут с контекстным окном 4000, хоть у них есть возможность там до 120000 это контекстное окно расширить. Но как только вы скачали модель, у неё вот это вот дурацкое контекстное окно в 4000, нам нужно это перезаписатт

55: Если хотите использовать контекстное окно, там 32000 токенов, то мы это перезаписываем вот таким вот параметром. Параметр num city xxx 32 768. Это должно быть точное число, если хотите меньшее количество токенов использовать про perplexity

56: Смотрите, какое конкретное число вам нужно ввести и на самом деле все нажимаем сохранить. После сохранения, переходим в терминал снова и вводим уже команду. Для того, чтобы создать модель. Выглядит она следующим образом. Смотрите, улама криейт, дальше.

57: Название модели, которую мы с вами определи, определили ранее напомню, у меня это гемма 4 yt давайте я так это название сюда и введу гемма 4 yt и дальше путь.

58: К этому файлу, который тоже мы с вами создали ранее. Вот здесь он у меня снова неправильный, здесь у меня ведь такая переменная точно также гемма 4 yt в нашем конкретном, моём конкретном случае это все будет называться, даже давайте нажмём enter, не

59: Shell module файл я где-то ошибся, а именно я ошибся вот здесь не нижнее подчёркивание, а дефис нажимаем, снова собираю модель и обратите внимание, сейчас мы создадим новую версию модели, и она снова займёт место на нашем компьютере.

60: Что конечно немножко страшно, если у вас его там мало введу сначала команду clear для того, чтобы терминал очистить после этого введу команду олама лист и мы увидим, что вот она появилась родненькая гемма 4 yt лейтест, мы можем её

61: Запускать теперь в наших агентных средах. Я её прямо сейчас удалю, потому что у меня уже есть такая же адаптированная версия модели, но на 64000 контекстного окна. Видите, она называется у меня здесь вот таким вот образом. Поэтому, чтобы она лишнее место на моём компьютере не занимала.

62: Удалю эту модель при помощи команды олама рм и наименование модели. Если вы хотите теперь проверить, что все заработало, что у модели появились нужные параметры, мы введём с вами команду олама шоу и добавим название этой модели здесь, в капабилити.

63: Мы увидим заветный комплишен, что было всегда тулс. И thinking мы добавили вот эти 2 параметра. Теперь модель использует, использует инструменты, использует режим резонёра, думающая. Погнали, запустим её в агенте. Алама не так давно завезла. Очень

64: Удобную команду, которая позволяет запускать модели локальные через клод код, и выглядит она следующим образом. Катастрофически все просто. Вы в принципе можете ввести команду олама

65: Ланч клод и выбрать здесь любую модель, которая у вас есть. У меня тут ещё облачная подписка на ламу и все мои локальные модельки тоже здесь есть. Видите, вы можете просто их выбрать в таком удобном интерфейсе, либо в противном случае просто сразу через флаг выбрать нужную.

66: Вам модель, причём есть несколько режимов. Вот есть режим Берр моуд, который является таким минимальным режимом, который не загружает проектный контекст, не загружает ваши эмсипи, скиллы, всякие фоновые процессы, он для слабого железа подойдёт лучше. Ну и для версии

67: Модели, которые, у которых контекстное окно меньше. Также вы можете через разные флаги прям конкретно ограничить разные инструменты. Например, только использовать терминал, только использовать чтение файлов и в принципе можете очень кастомизированно запускать локальные модели модели.

68: Через клод код проблема следующая. У меня они работали там достаточно плохо. То есть по моим экспериментам все это запускалось. Ну прям коряво. Те версии моделей, которые я использовал, были очень слабые, и они прям не могли вызвать инструменты. Ну вот что-то в клод коде.

69: Так работает какая-то у них там своя схема вызовов, которая не стакается немножечко на данный момент вот с этими маленькими локальными модельками, которые я пробовал запускать. Поэтому несмотря на то, что ролик называется клод код и агенты и все вот это вот если он так называется, я вам

70: Предлагаю использовать гуся. Прекрасная штуковина, гораздо менее нагруженная разными функциями, но позволяет запускать локальные модельки только так. Заходим сюда либо качаем терминальную версию при помощи команды. Что сделать достаточно просто я использую именно её, либо

71: Мы качаем десктопное приложение, но терминал мне нравится. Ван лав. Буду работать через него. Ну и дальше все катастрофически. Просто мы с вами гуся вводим. Я думаю, как только вы его скачаете, вы пройдёте определённый этот установщик визарт, который поможет вам все.

72: Но дальше для того, чтобы поменять вашего провайдера внутри гуся, мы вводим команду гус конфигур, после чего нажимаем конфигур providers, я выбираю олама, локал опенсорс моделс энтер не перенастраиваю никакие хосты не

73: Перенастраиваю адванс настройки и просто выбираю ту модель, с которой я хочу взаимодействовать. Они сразу у нас здесь с вами все появляются. Вот наши супергематоген. Сейчас вот эту версию модельки, которую я создавал ранее, у неё 64000 конте.

74: Текстного окна нажимаю enter, мы, точнее, гусь, конфигурирует все это дело, и дальше нам остаётся запустить гуся опять же несколькими командами. Если мы запустим гуся только при помощи команды гус, то мы сразу в него загрузим все.

75: Те системные, ну точнее ваши кастомные настройки вашего вашего агентного окружения, которые вы, вероятно, уже создавали, если смотрели мои предыдущие ролики, всякие эйдженси, клод Эмди, различные скилы, возможно, туда подтянутся. То есть некоторые, давайте ему напишем привет.

76: Может, он нам даже покажет, сколько контекста он уже выжрал в таком режиме. То есть некоторое количество сразу системных инструкций в него залетит, как минимум, там клод Эмди, эйджен Эмди, который у меня есть. Но опять же, все описание всех тех инструментов, как ра.

77: Работать со скиллами, с туду, листами, с вызовами всяких curl команд bash command вот этого всего прекрасного чуда это все сразу попадёт в контекст модели, а это значит, что если у неё маленькое контекстное окно, то она как бы это все?

78: И не вывезет. Смотрите, она уже катастрофически долго думает. То есть помните, насколько быстро ответила мне вот эта самая базовая версия модельки, когда я запускал её через улама, ну окей, она там догрузилась, запустилась. Дальше будет отвечать быстрее, но тем не менее,

79: Она сразу поняла. Отличная площадка, юзер дэниэл май ияй. С твоим хранилищем знаниям. Она уже знает создание контента па, исследование обучения, разработка кодинг обсидиан волд. Она знает, что у меня. Я использую обсидиан, как все вот это вот визуальное окруже.

80: И мы видим с вами, что 15000 контекста было выжрано сразу просто тем набором файлов, которые уже есть как бы внутри моей рабочей директории, вариант запуска модели, который я нашёл достаточно интересным. И тем не менее,

81: Как будто бы удобным для ряда случаев выглядит вот таким вот образом. Я сотру сейчас Макс тернс. Не буду, наверное, объяснять, что это, но вот такую команду вы можете ввести точно также вы запустите гуся, и в таком случае он уже не будет подтягивать сюда всякое описание.

82: Scp описание, которое у вас есть в клод Эмди, но тем не менее, у него будет доступ к различным командам и в целом достаточно агентной модель будет перед вами посмотрите, насколько сильно изменился её ответ и количество токенов, которое было ей.

83: Использовано за раз - 6000 токенов мы сразу сэкономили, скажем так, он уже говорит, что он гус, потому что у него нету вот этих клод Эмди и информации о том, что за проект, с каким он работает. Тем не менее, он сразу понял, в какой рабочей директории он находится. Ну и все-таки вы

84: Некоторую информацию о моих проектах и обо мне об этом отчитался, ответил гораздо быстрее. Ну и 3 режим запуска модели через гуся выглядит следующим образом. Гус сешн ноу профайл, если я не ошибаюсь, вообще никакие инструменты сюда не подтягиваются, это

85: Просто возможность ваша работать с локальной моделью в интерфейсе гуся, но как бы вообще без каких бы то ни было инструментов, но, видимо, я вам все-таки наврал. Она прекрасно знает, кто я все-таки подтянула информацию о себе точнее.

86: Обо мне и даже чуть больше, чем в предыдущем запуске, и тоже 6000 токенов выжрала, наверное, потому, что здесь как раз-таки её девелоперовской инструменты всякие bash команды не подтянулись я выдам вам это как домашнее задание.

87: Браться. В чем разница между этими 2 способами запуска? Ну и на самом деле дальше я провёл несколько Тестов, работая вот с этой маленькой моделькой на 4 миллиарда параметров. Расцензур рованной и работая с большой моделькой на 26 миллиардов параметров. 1 тест выгля.

88: Следующим образом вы можете прочитать этот пром. Я прошу модель достаточно подробно. Какой мне создать проект? Простенький консольный таск, трекер в текущей Папке. Описываю все, что мне нужно сделать, от неё получить. Ну и откровенно говоря, обе

89: Модельки с этим справились, но 1 моделька нафакапил много. Во первых, сам результат программы получился не идеальный. Она где-то дублировала ответы, дублировала те задачи, которые были в моём таск листе. Во вторых, добавляла абсолютно ненужные разделители, о которых я не

90: Просил тест, она провела неполноценно, самостоятельно консоль запустить не смогла и тем не менее сказала мне, что окей, я все сделала и все работает хорошо, поэтому откровенно. Результат достаточно слабый, хоть она это и выполнить смогла, в то время как модель на 26 миллиардов параметров вполне себе выпол.

91: Очень недурно эту задачу. И у меня вообще нет нареканий. По крайней мере, на том уровне, на котором это все работает по чистоте кода. Наверняка там есть огрехи и проблемы, но в общем и целом с таким форматом несложных задач модель справляется

92: Следующей моей задачей было проверить как раз-таки агентные способности, умение вызывать инструменты, умение вызывать скиллы и, что интересно, моделька маленькая, в принципе, как бы поняла, что нужно вызвать скилл, она его не смогла, тем не менее, вызвать, потому что она запуталась в

93: Instrumental она начала использовать это как tool, а не как скилл, то есть по сути, если, наверное с более грамотными инструкциями она бы смогла это сделать, но здесь она зафакапил, потому что у меня все-таки большое количество, там 16000 контекста сразу на вход и model за

94: Путалась. Несмотря на то, что контекстное окно у неё более 60000 токенов тест она провалила, она написала абсолютно нерелевантный пост. Тем не менее она обработала тот пост, который я её просил. Сделала мне саммари. Как никак. Это какой-то результат, хоть и не тот.

95: Который я ожидал, скил, она не вызвала и не смогла получить нужный контекст, чтобы выполнить работу в том формате, котором я от неё ожидал. Ну и абсолютный треш, конечно, с моделькой гемма 4 26 миллиардов. Она у меня на железе запускается плохо.

96: Ну то есть она очень слабо тянет и у меня загружается не только gpu но и cpu когда вы модель запускаете или она у вас была только что запущена вы можете в отдельном окошке терминала посмотреть это при помощи команды олама пс. У меня вот видите маленькая модель сейчас запущена и здесь 100% gpu за.

97: Юзанна контекст бла бла бла если здесь у нас не только gpu на 100%, но и cpu то модель уже работает достаточно плохо, медленно, ну и вот такое количество минут как бы модель потратила, чтобы мне ответить и не ответила я все это закрыл ошибка не ошибка на самом деле печаль для такой.

98: Супер базовой для моей рутины рабочей задачи. Модель, к сожалению, не подошла. Ну и наконец, ещё 1 задачка, которую я хотел вам показать в прямом режиме, но че то мне стало уже лень. Поэтому здесь вы видите результаты. Я прошу модель использовать брейв эмсипи для того, чтобы пойти и собрать

99: 3 последних ролика с моего YouTube канала и сделать json файлик на компьютере мне об этом отчитаться маленькая модель сумела выполнить задачу, но она не нашла релевантные ролики, самый последний и не сделала джейсон файл, а только прислала мне в json формате её ответ.

100: А с большой модели опять полная катастрофа. Она думала 10 минут и не смогла ничего выполнить. Думаю, если выбирать модели, чуть чуть более подходящие под моё железо, то они будут работать лучше. Но, к сожалению, эта версия модели на 26 миллиардов параметров тотально не справляется.

101: С моими задачами внутри агентных Арнесовна. И на этом, в принципе, все. Моей главной задачей было показать вам, как запускать локальные модели в качестве и агентов. И честно, по моему, пока что абсолютно не применимо в ряде

102: Задач, может быть супер простеньких задач, может быть, но скорее локальные модели сейчас больше идут на какие-то такие скриптовые штуки, когда у вас есть просто рутинная работа по обработке каких-то данных, или самариа, или заполнения таблиц, или переводы. И вы вызываете этот интеллект

103: Скажем, при помощи скрипта и выдаёте ему просто такими пачками, батчами или или короткими отдельными задачами на обработку. Тот или иной кусочек текста с большим контекстом. Они вроде, ну как бы и да, но вроде как бы и даже на моём железе модель 26 миллиардов.

104: Запускается уже туго, а это хоть какой-то приемлемый уровень интеллекта, потому что, ну, 4 миллиарда совсем, честно говоря, поттупливает и слаба и на кодингом задачах, и на ресерчерс, и на агентских, и все в этом духе. Надеюсь, ролик оказался полезным. Ставьте лайки, комментарии под

105: С вами был продуктивный совет, дядя д. Куча полезной информации по ссылкам в описании. Увидимся в будущих выпусках. Пока.