ym104432846
Вставьте ссылку на видео из Youtube, Rutube, VK видео
Задайте вопрос по видео
Что вас интересует?
00:00:00
Использование OpenClo:
  • Участники обсудили использование инструмента Open KLO (ранее известного как Mold Bot и ClodBot), который представляет собой агента, устанавливаемого на компьютер или сервер, способный выполнять различные задачи, включая работу с почтой, календарем, браузером и запуск ИИ-агентов
  • Рассматривалась возможность развертывания Open KLO на облачных серверах или Mac Mini для личного использования, с целью мониторинга чатов и выполнения различных вспомогательных задач
  • Автор видео отметил экономическую целесообразность приобретения Mac Mini вместо аренды облачного сервера, учитывая стоимость последнего ($2000/месяц против ~$50 000 единовременно)
00:05:50
Локальные модели и Open Clo:
  • 1. Рассматривается возможность запуска локальной нейронной сети (локальная модель) вместо использования API запросов к внешним сервисам
  • 2. Обсуждается целесообразность развертывания простой локальной модели на основе OpenCLo, несмотря на ограниченные возможности такой модели
  • 3. Планируется исследование вариантов оборудования (например, Mac Mini или другие серверы), подходящего для запуска локального экземпляра нейронной сети
00:07:06
Настройка локальных моделей:
  • Участник обсуждения выбрал Mac Studio (M2) вместо Mac mini (M4), поскольку новая конфигурация имеет больший объем памяти и большее количество ядер
  • Установленная локальная модель на Mac Studio показала высокую производительность благодаря использованию унифицированной памяти Apple Silicon, доступной одновременно центральному и графическому процессорам
  • Настройка OpenCL на Mac Studio оказалась удобнее и быстрее, чем на удаленном сервере, особенно благодаря удобству управления через интерфейс macOS и интеграции экосистемы Apple
00:15:46
Проблемы производительности локальных моделей:
  • Обнаружена проблема производительности системы при обработке нескольких параллельных запросов, что ведет к увеличению времени отклика
  • Рассматривается возможность использовать локальные модели на небольшом сервере (Mac Studio), который практически не нагревается и потребляет мало энергии
  • Экспериментируется с различными версиями open-кода и open-роута, включая использование китайской модели Minimax, которая показала приемлемые результаты
00:22:23
Работа с локальными моделями и OpenRoouter:
  • 1. Рассматривается возможность оптимизации процесса работы через использование агрегатора моделей (опен роутер)
  • 2. Упоминается опыт спикера, ранее использовавшего open clo на облачном сервере
  • 3. Указано, что спикер затратил около 11 долларов на подключение сервиса
00:22:54
Расходы на использование OpenClo:
  • 1. Участники обсудили использование различных рекламных ключей (open кло, глм, минимакс), затраты составили около $3–7 за два дня
  • 2. Один из спикеров поделился опытом работы с агентами и отметил регулярность запросов через open кло
  • 3. Рассматривается возможность дальнейшего тестирования инструмента кодинга и внедрения персонального ассистента
00:24:11
Система управления контентом и агентами:
  • Разработана система сбора информации через агента-ресечера, собирающего данные из интернета и сохраняющего их в базу данных
  • Информация из базы данных обрабатывается вторым агентом (директором), принимающим решения о публикации постов, создании видео или разработке сервисов
  • Локальная модель ресечера самостоятельно суммирует тексты и фиксирует результаты в базе данных
00:26:43
Telegram-боты и интеграция с OpenClo:
  • Разработан Telegram-бот с несколькими тематическими топиками (контент, телеграм-коды, обновления)
  • Создано несколько типов постов: короткие посты автоматически обрезались до первых 300 символов, позже стиль поста был скорректирован
  • Организована структура работы с контентом: есть агент, собирающий информацию, директор принимающий решения и разработчик сценариев для видео
00:32:19
Возможности автоматизации с OpenClo:
  • 1. Разработан способ удалённой активации нейронки через голосовое управление, позволяющей инициировать выполнение задач (рефакторинг проекта, создание новой ветки, фиксацию изменений)
  • 2. Рассматривается возможность автоматического пуша и мёржа изменений, однако решение о предоставлении ботам полных прав на деплой принимается индивидуально для каждой среды разработки
  • 3. Предложено создать систему контроля и проверки выполненных ботом действий перед запуском изменений на продакшен-серверах
00:34:52
Безопасность и управление правами доступа:
  • 1. Новый сотрудник (middle-разработчик) получает доступ к разработке постепенно после проверки опытными коллегами через пулл реквесты
  • 2. У сотрудника создается отдельная почта или осуществляется дублирование писем для просмотра общей корпоративной информации
  • 3. Сотрудник не имеет полного доступа к удалению корпоративных писем из почтовых аккаунтов, однако способен просматривать содержимое своей почты и корпоративную информацию
00:35:54
Перспективы развития и будущие планы:
  • 1. Участники обсуждения рассматривают возможность покупки Max Studio или сборки собственного сервера для тестирования и запуска моделей
  • 2. Предлагается использовать open роутер с большим списком моделей (включая опенсорсные), чтобы предварительно протестировать пригодность модели перед покупкой оборудования
  • 3. Рассматривается идея снять сравнительное видео по настройке и стоимости эксплуатации Mac Studio и самостоятельно собранного сервера
0: Здорово вайб кодеры и нейро энтузиасты. Сегодня я расскажу зачем я купил mac studio, почему не mac mini. Хотя из названия видео вы наверное уже и так все поняли и.
1: Да, сегодня мы поговорим про open кло, про локальные модели, и, я думаю, будет интересно. Я поделюсь своим опытом, который у меня сформировался где-то за неделю, наверное, использования. Скажу своё мнение.
2: Стоило ли вообще покупать Макс студио или можно было бы обойтись без этой покупки. И начну я, пожалуй, с предыстории. Вы все, скорее всего, знаете, что такое open кло. Но если вдруг нет, то в 2 словах объясню это такой и
3: И агент, который ставится на компьютер, ну либо на сервер, и у него достаточно много возможностей. То есть он может делать практически все то, что можно делать за компьютером, то есть ходить в почту, отвечать на емейлы, интегрироваться с календарём.
4: Ну, то есть просматривать этот календарь, открывать браузер в нём, там что-то работать, запускать ии агентов по типу клод кода или кодекса давать им какие-то задания. Сам может себя настраивать. И достаточно интересная штука.
5: Чуть чуть подробнее я про него поговорю чуть позже, но суть в том, что да, вот этот агент, он начал хайповать где-то месяц или 2 назад. Я точно не отследил начало вот этой вот волны. Конечно, я про него слышал, но по большому счёту начал разбираться.
6: С ним я около недели назад, что не так много на самом деле, вот как раз про этот опыт я хочу рассказать, в принципе, свои впечатления от него, что я по этому поводу думаю, насколько он вообще интересен как инструмент. Ну и что с волной хайпа вот этого
7: В open кло, который назывался молд бот. До этого и клод бот, он назывался, в общем, в итоге у него сейчас название open кло. Если что, это все один и тот же инструмент. Если вы где-то слышали другие названия, он в какой-то момент
8: Стал популярным, и люди начали массово скупать мак мини для того, чтобы разворачивать опен кло на мак мини и чтобы он работал на mac mini, вместо того, чтобы запускать.
9: Облачный сервер и разворачивать, собственно, его на облачном сервере. Ну и я, конечно, тоже про все это слышал. И вот у меня появилось немного свободного времени. Я подумал, что нужно с этим инструментом что-то попробовать сделать.
10: Посмотреть, что это вообще такое, почему он привлёк так много внимания, нужно быть в курсе, как минимум, да, что вообще происходит. Возможно, есть что-то интересное и начал немножко углубляться в этот вопрос. Развернул сначала open кло на
11: Облачном сервере, подключил туда telegram бота. Там это делается максимально просто 1 командой устанавливается сам open клоб. Потом запускается настройка. Он спрашивает несколько вопросов, спрашивает про удобный интерфейс для
12: Взаимодействия 1 из таких интерфейсов это как раз telegram bot мы просто создаём теллеграм бота, копируем ключ доступа и отдаём опен кло все он подключён и можно сразу общаться с open кло агентом через telegram.
13: Это прикольно, там много разных вариантов. И slack есть, и дискорд, и ещё что-то. Ватсап тоже, поэтому выбрать есть из чего. Но я выбрал теллеграм, попробовал с ним немного пообщаться. Думаю, ну да, классно, прикольно. Попробовал там че то по
14: Настраивать. Не могу сказать, что прям сходу с ним разобрался, но параллельно я просто посчитал, что так, ну вот облачный сервер у меня выходит, там 2 000 ₽ за месяц, да, можно было бы найти какой-то
15: Может быть, подешевле, но вот мой сервер выходил 2 000 ₽ за месяц, кроме самого опен кло, я на нём явно разворачивать ничего не буду. Ну, то есть держать какие-то другие сервисы я не хочу, поскольку опен кло имеет много возможностей, да, там можно
16: Настраивать все эти разрешения, но тем не менее, опен кло может иметь достаточно много возможностей. И, соответственно, это как сила, так и ответственность, как мы все знаем, нейросети ответственность не несут. Поэтому теоретически он
17: Может все нафиг потереть, поэтому держать на 1 сервере open кло и что-то ещё какой-то production server наверное небезопасно и я посмотрел в общем ценник на мак мини он стоил там ну какой-то самой простой конфигурации в районе 50 000 ₽.
18: И я просто посчитал, что окей, вот мой сервер стоит 2 000 ₽ в месяц, макмини стоит 50 000 ₽. То есть где-то за 25, получается, месяцев у меня macmini окупится. Ну да, это там 2 с чем-то года. Окей, думаю, ну круто.
19: Прикольно. Тем более что на macmini можно развернуть ещё какого-нибудь бота дополнительного, который не production, там сервер на продажу, а просто вот лично для меня, например, который будет там мониторить сообщения в чате. Вот у нас там чат вайбово есть и
20: Туда нужен как раз telegram bot меня давно уже об этом просят и я подумал блин, ну можно там ещё и бота развернуть, если он навернётся ничего страшного, я как бы за него деньги не беру там ну перезапущу или заново там из гитхаба подкачаю, сделаю в общем не проблема может быть ещё что т.
21: Пригодится, может быть найтен, там можно хостить. Я подумал, да, я думаю, ну классно. То есть, в принципе, можно купить макмини, стоит он относительно недорого, и можно вот локально просто разворачивать какие-то сервисы, работать с ними и будет он там 24 на 7 крутиться. Занимает он мало места. Я вот
22: Показал мак студио, он побольше, да, макмини, он там прям совсем вот небольшой какой-то. Ну и я подумал, да, прикольно, надо глянуть какие есть варианты. Начал смотреть, во первых, предложения на рынке, ну, макмини купить, потом какие-то видосы смотреть начал, в итоге наткнулся.
23: На видосы, где люди разворачивают ллм на своём локальном ну макмини тоже и mac studio, и в общем, я перешёл от этого open кло к теме локальных моделей и подумал, что да, это реально интересно.
24: Начал ещё поглубже копаться в этот вопрос, думаю блин, а если я хочу не только open клоу себя локально развернуть, потому что сам по себе он работает по api. То есть мне в любом случае нужно отправлять запросы к каким-то нейросетям не знаю, кантроп ку.
25: Open роутеру к чату gpt неважно, просто мне нужно отправлять запросы, чтобы модель у меня обрабатывала мои запросы опен кло, чтобы он работал. То есть самих мозгов в open кло нету. Это просто, ну, агент, который разворачивается, но
26: Запросы отправляются на модели k провайдерам, ну и в общем, я начал копаться в этой теме, смотреть какие-то варианты макмини или других каких-то серверов, чтобы можно было не только open клотом запустить, который по.
27: С моделями общается, а чтобы ещё и локально модель какую-нибудь запустить, да, пускай простенькую, конечно, это вряд ли будет уровень опуса или каких-то других крутых моделей, но тем не менее, хотя бы какую-то простенькую модель было бы классно развернуть.
28: Делегировать ей какие-то задачи про задачи, которые можно решать с помощью open клой, по крайней мере, какие я для себя нашёл, тоже чуть позже скажу. В общем, да, я подумал, классно было бы развернуть ещё и локальную модель. Единственный опыт.
29: Запуска локальной модели у меня до этого был на моём макбуке, и тогда он за минуту нагрелся до температуры солнца, мне кажется. Ну то есть он реально обжигал руку. Короче, было неприятно, и я её сразу
30: Выключил, естественно. При этом она очень долго отвечала. И тогда я вообще забил на то, что можно какие-то локальные модели запускать, потому что мне показалось, это вообще гиблое дело. Проще за апи или за подписку платить. Но тут я подумал, ну вроде бы запускают.
31: Видосах, кто-то че то рассказывает, у них даже что-то работает. Ну интересно попробовать, даже если это не будет что-то запредельное, по крайней мере поработать с локальными моделями, хотя бы простенькими получить этот опыт. Я подумал, да, мне будет интересно.
32: В общем, в итоге я сравнивал между нескольких моделей бюджет у меня был ограничен, и у меня был выбор либо взять macmini на м 4, либо взять mac studio на м 2, но сильно мощнее, то есть в итоге я взял mac studio.
33: У него 32 гигабайта вот этой объединённой памяти. Юнифайт, кажется, мемориально называется. В общем, если че то напутал, извините, в общем, эта память доступна сразу и графическому процессору, и обычному процессору, и все это вообще
34: На 1 чипе и работает это типа очень классно. И я начал смотреть, что вообще нужно для того, чтобы запустить локально модель. И я понял, что объём этой памяти как раз очень сильно влияет на то, какую
35: Модель можно развернуть у себя вот локально. И так оно и оказалось. То есть, когда я потом подключал локальные модели, выбор этой модели сводился именно к тому, чтобы она поместилась у меня в память. И кроме того, что на
36: М. 2 max студио было больше памяти, и ядер, по моему, там тоже больше было, в общем, по характеристикам всего было больше вот единственное, что было меньше, это цифра после буквы м, не м 4, а м 2 и кроме того.
37: Что характеристики вроде были поинтереснее, хотя, конечно, не м 4, а м 2, но тем не менее я ещё находил какую-то табличку, в которой были сравнения пропускной способности памяти gpu то есть ну вот графической памяти би это кажетс.
38: Называется, или вот примерно так, и у м 2, вот у этой вот конфигурации она была там сильно больше, чем у макмини. Короче, в итоге я взял mac studio, да, такая, в общем, предыстория. И теперь давайте уже ближе.
39: Наверное, к делу. Что с этим можно делать, что я с этим делал? Вот к этому перейдём, у меня было по большому счёту, да, 2 задачи это попробовать поиграться с локальными моделями и попробовать настроить open кло, чтобы он был действительно полез.
40: Сразу скажу настраивать опен кло на Макс студио мне понравилось гораздо больше, чем на удалённом сервере, как минимум потому, что на удалённый сервер я подключался через терминал по ссаш а maxx studio это супер удобно с макбука.
41: Просто вот так вот смахиваешь в бок, а у тебя 2 экран уже Макс студио, то есть у меня сначала при 1 запуске я подключал там маленький экранчик, клавиатуру и мышку, просто чтобы настроить и включить Maxx studio 1 раз. И
42: После этого я уже просто с макбука по локальной сети подключался к управлению экрана. Это супер удобно. То есть буквально вот как альта нажать, да? Ну или команд тап на маке переключение между окнами только 1.
43: Из этих окон это Макс студио на удалённом управлении наверное на других серверах это тоже можно было бы сделать ну не про vps я сейчас говорю а если бы я брал не Макс студио, а допустим сам сервак собирал вот такой вариант?
44: Я рассматривал, но по какой-то причине я его отбросил. Честно, сходу сказать не могу, то ли там действительно хуже по характеристикам получалось, то ли просто мне не захотелось про это, не буду сейчас подробно рассказывать, потому что на мой
45: Взгляд я ещё недостаточно хорошо разобрался с тем, как выбирать вообще железо под локальные модели, и поэтому не буду вообще про это ничего говорить, но настраивать опен клой вообще все остальное на mac studio было реально удобно, потому что, ну, экосистема apple, в общем.
46: Вы понимаете, интегрируется все хорошо друг с другом все классно связано, очень удобно. И когда можно на экране посмотреть вообще, что происходит, какие есть файлы, что-то там переписать, переименовать, подредактировать. Это супер круто. Причём потом я на
47: Maxx studio накатил ещё и клод код, и курсор накатил, я, в общем, начал работать с этой конфигурацией опен кло уже не только руками и там через сам open кло как-то пытаться, а уже и через клод код и курсор и да.
48: Это было проще, гораздо проще, чем если бы я это все разворачивал на виртуальном сервере. Хотя, кстати, клод код на виртуальном сервере тоже можно запустить и, наверное, точно также настраивать. Так вот что в итоге получилось, начал я.
49: В 1 очередь, с запуска локальной модели. Для этого я скачал программу лм студио большой её плюс в том, что она работает. Ну, я вот боюсь соврать, но, в общем, с форматом моделей мэл икс это
50: Такой формат моделей, ну тут написан ui эмэль фреймворк фо apple silicon бай apple, короче модели млик, они супер круто работают на эпловских вот этих процессорах.
51: Новых, которые м. Серий и разница действительно чувствуется, потому что в какой-то момент я скачал случайно не мл x версию, а классическую вот эту джиджи юф, и она работала очень медленно, а в то
52: Время, как мл x работал супер быстро, программа эмэль студио позволяет, во первых, искать модели вот здесь есть модели, которые я уже скачал, тут ещё есть раздел для поиска моделей, здесь можно вписывать какие-то названия.
53: Смотреть, какие есть вот форматы моделей и скачивать необходимые, ну, допустим, вот какой-то queen, 3 вэль 4 би. И здесь есть разные версии, ну, квантизации, модели, вроде бы это так называется, может быть.
54: Не всегда, но суть в том, что модель можно ужать, как бы округлить её ответы немножко, да, веса вот эти она будет занимать и требовать сильно меньше памяти, но при этом в качестве работы потеряет
55: Ну, не настолько сильно, как она ужалась. То есть работать будет адекватно, но при этом она не будет требовать там 100 гигов или 200 для того, чтобы её запустить, а можно будет запустить там в 16 гигабайт. Это классно, да, то есть здесь подключён, я так понимаю.
56: Хагин фейс это как гитхаб для моделей. Ну вот, типа того, там их запускать можно вроде и за апишку платить, но я им не особо пользовался, хотя последнее время я вот как раз начал туда смотреть, информацию о моделях искать, и это тоже, ну, прикольный момент. То есть, когда я
57: Начал пробовать запускать локальные модели. У меня появился какой-то вот новый интерес и я начал заходить и искать какую-то информацию, которую я раньше вообще не особо интересовался. То есть я использовал там свой Санет опус.
58: Haiku и мне в принципе хватало, а теперь уже более углублённо начинаю смотреть там какие-то опенсорс модели, какие-то их характеристики. Ну это прикольно. То есть вот в плане саморазвития это, конечно, классно сработало здесь однозначно. Плюс, то есть, да,
59: В m studio можно, во первых, скачать модель, во вторых, её здесь же запустить какие-то настройки, настроить, например, максимальная длина контекста вот здесь может быть настроена, их можно, собственно, да, запускать, причём запускать как просто
60: В чате. Я не помню, что я здесь спрашивал. Ну не суть, давайте просто напишем ей hello и посмотрим, насколько быстро она ответит. На самом деле. Не факт, что быстро, потому что кроме того, что её можно запускать здесь как в чате, её можно запускать ещё как сервер.
61: То есть здесь параллельно с ним работает сервер. Ну вот видно, да, что 2 процесса сейчас идёт. Ну, вроде бы это так и есть, да, 1 процесс, это у меня там уже open кло работает с этой моделью, a1 процесс, это мы вот здесь спросили.
62: Но я вставлю потом, если что, какую-то вставочку, где 1 процесс проходит, да, и она достаточно быстро отвечает. Сейчас вот, да, тупит. Ну это сразу, мы уже подошли к Такому моменту, да, что когда есть 1 какой-то запрос, она
63: Работает достаточно быстро, но как только появляется 2 параллельных запроса, ну вот тогда уже начинаются, ну не тупники, просто время работы уже сильно замедляется и время ответов тоже. То есть, да, вот видно, что на hello она до сих пор не ответила.
64: Да, но если поддерживать только 1 поток параллельно, да, вот этого, ну, запросов, то отвечает она достаточно быстро, хорошо, это классно. Короче, покажу там вставочку или уже вставил, не знаю, вы увидите, это нормально, с ней можно работать, она достаточно быстро.
65: Отвечает. И на этом этапе я здесь пока что, наверное, все-таки отключу этот запрос. И вот на этом моменте меня уже достаточно сильно приколола вообще вся эта ситуация, что у меня стоит какой-то, ну, небольшой сервер. Ну реально.
66: Небольшой, даже относительно просто пк mac studio, достаточно маленький да, конечно больше, чем макмини, но тем не менее он не шумит, он практически не греется ну он может быть максимум тёплый. То есть я вот его трогаю, он максимум тёплый до того.
67: Чтобы он был горячий, очень далеко не шумит и занимает мало места. И он вот на нём запускаются локальные модели, я к нему могу по локальной сети подключаться. То есть я могу, например, запустить open код локально у себя на
68: Макбуке прописать туда апишку вот своего локального Макс студио и работать с моделями, которые запущены там понятно, что параллельно там, ну, 2 чата оказалось проблематично и при этом
69: Если какой-то другой ещё запрос, допустим, от бота будет тоже будет долго, но, окей, хотя бы 1 поток он поддерживает, это уже, ну, было интересно, прикольно. Это было гораздо круче, чем тот момент, когда я запустил у себя на
70: Макбуке лэму, и он разогрелся там за 1 минуту нереально сильно это уже работало. Я подумал, блин, да, классно. И, кстати, пока мы далеко от этого чата не отошли, хотел ещё сказать, что помимо того, что просто можно в чате общаться,
71: Здесь также эмсипи можно подключать. Ну, короче, классно. Вот. И когда я поиграл с вот этим локальным чатом, попросил его свой вот этот классический тест сделать крестики, нолики, потестил там несколько разных моделей.
72: Тоже на самом деле было увлекательно. 1 модель запускаешь, пробуешь сделать крестики, нолики вытыкаешь, запускаешь другую модель, пробуешь заново, смотришь на разницу, и разница действительно ощущается. То есть queen кодер делал сильно красивее и приятнее крестики нолики.
73: Чем обычный квен. Ну, обычный, я имею ввиду. Ну, я пробовал вот этот, queen, 30 б, а, 3 б, вот этот, вот эту версию квен 3 и 5. Не помню, вроде тоже пробовал. Ну, короче, queen кодер сильно лучше работал с
74: И было интересно это все посравнивать потом да, я начал разбираться с open кло. В общем, установил его, запустил его, подключил к нему теллеграм, бота настроил локально вот эту ллм, подумал.
75: Блин, как классно. Теперь я могу писать своему. Клод. Ой, клод боту опен кло. Вот open кло. Я уже сам заговариваюсь. В общем, да, настроил оупен кло, запустил агента, подключил туда бота.
76: Подключил туда вот эту локальную модель, подумал, блин, ну как классно я могу в чате писать своему боту? И он отвечает, у меня с локальной модели. И эта локальная модель работает вот буквально вот здесь у меня на серваке это было кайф.
77: И до сих пор кайфово. Потом я начал пытаться настраивать там разных агентов, чтобы разные задачки, короче, там делать. И столкнулся с проблемой, что да, параллельно несколько запросов обрабатывать проблематично. То есть у меня
78: В open кло получается сейчас несколько агентов, и только 1 из них работает на моей локальной модели, а все остальные работают по апи open роутера. Я поставил там тоже какую-то китайскую
79: Модель минимакс я по моему поставил, пробовал глм, но она чуть подороже. В итоге я на минимакс пока что остановился, вроде бы нормально работает. Вот это тоже интересно. Я таким образом пришёл к тому, что начал вообще смотреть на open.
80: Сосны модели и начал их пробовать, потому что до этого, ну какая разница, если ты платишь за подписку, ну или там за апишку. Ну уж лучше тогда пользоваться классными антропин моделями. Да, здесь
81: Открыл для себя опенсорс модели. Ну, понятно, что они попроще, но они тоже работают. И это вот даже немножко такой спортивный интерес. То есть как заставить не такую мощную модель работать
82: Качественно. То есть понятно, что если мы там подрубим опус, ну, естественно, он там сам все на лету схватывает, все классно понимает, с ним сильно заморачиваться не приходится, но как только ты вырубаешь модель попроще и хочешь от неё качественный результат и стабильный.
83: Тебе приходится уже настраивать саму систему таким образом, чтобы она, ну, чтобы модель в этой системе стабильно и качественно отвечала и делала то, что тебе нужно. И это интересно. То есть немножко это
84: Похоже, наверное, на ситуацию, когда вот давно, давно, давно были слабые компы, там было мало памяти, и нужно было сделать какую-то прикольную игру, и чтобы она в эту память поместилась, а памяти мало. И вот люди как-то выкру.
85: И даже есть, если не ошибаюсь, какие-то то ли соревнования, то ли что-то ещё по разработке игр, вот с наименьшим весом. Ну, в общем, отдельная тема неважно. И здесь похожая история. То есть как сделать эту систему такой
86: Чтобы она работала на простой модели. Это интересная задача, на самом деле интересная, потому что, да, когда ты работаешь только с антропиха, как-то вот на это внимание не обращаешь, но понятно, что с этим можно было бы и столкнуться.
87: Если бы я пробовал делать какой-то сервис, например работал бы по апишке и там искал какую-то модель. На самом деле надо поискать. Есть там сервис по генерации стайл Гайдов. Может быть там можно какую-то модель попроще поставить.
88: Действительно, потому что сейчас там Санет работает, ну, либо как-то оптимизировать этот процесс. И очень классным решением, да, оказался опен роутер в данной схеме. То есть это агрегатор моделей. Вот, в общем, страница опен роутера, давайте гляне.
89: На мою активити, наверное, не знаю. В общем, всего я потратил здесь 11 баксов, но это я его раньше начал подключать. Там работал ещё open кло, который я на облачном сервере разворачивал с самого начала в
90: Ключах. Ну вот какие-то тестовые ключи. На самом деле последний это вот этот кай опен кло. Я так своего агента назвал, и он потратил 5 $ за сколько? За 2 дня, наверное, и сначала он тратил его на
91: Глм, но она подороже. В итоге я переключил на минимакс. По сути, вот эти 1 с половиной доллара на глм они улетели достаточно быстро, где-то. Ну, может быть там в течение часа, поэтому, по большому счёту, за 2 дня вот 3 и 7 $.
92: Ну, я не знаю, много это или мало, но меня вполне устраивает. То есть, учитывая, что у меня open кло работает вот 24 на 7 на протяжении последних пары дней, и он достаточно, ну, регулярно, в общем, какие-то запросы.
93: Сошлёт, сейчас расскажу, че он вообще делает open кло. Да, вот Нафига вообще он нужен, давайте про него поговорим. То есть с локальными моделями. Ну, вроде плюс минус я че то рассказал про свой этот experience за последнюю неделю, про open кло, зачем он вообще нужен? Ну, для вайб.
94: Кодинга. Я пока что его не то чтобы прям вижу как основной инструмент. Хотя есть варианты, я обязательно это попробую сделать из того, что я успел попробовать сделать. Я настроил несколько агентов. 1 из них это персональный ассистент, которому
95: Я могу в чат писать, задавать какие-то вопросы, он может посмотреть в базе данных какую-то информацию. База данных у меня используется postgres, и у неё включены там модуль векторов, то есть у записей, которые делаются в
96: Создаётся также там поля с векторами и за счёт этого нейронки могут делать вот этот семантический поиск, то есть не по точному включению там слова в заголовок или в какое-то содержание, а по
97: Смыслу и это классно. И собственно, все агенты у меня могут ходить в эту базу данных и оттуда брать информацию и мой персональный ассистент, соответственно, тоже. То есть я могу его спросить что-то, и он из базы данных мне что-то вытащит. Это интересно, но что вообще за база данных?
98: База данных в основном формируется другим агентом ресечером. Это вот как раз агент, который нон стопом крутится. Ну, он там делает задачу, там может выключаться минут на 15, да, то есть каждые там, 15 минут он запускается и начинает искать информацию в интернет.
99: На темы, которые я ему задал, ну, в конфигурации написал, и что он делает, он ищет какую-то информацию, сохраняет её в базу данных. После этого там, ну, соответственно, накапливается достаточно много информа.
100: Информации, есть ещё 1 агент, у меня он называется директор. В общем, он принимает решение, что делать с этой информацией. Из базы данных он пробегается по записям и в зависимости от того, что он там находит, предлагает либо написать про это пост в теле.
101: Либо снять про это видео, либо сделать какой-то сервис, разработать. Пока что такая система относительно несложная. В общем, просто под себя её попробовал сделать и в принципе,
102: Оно работает, это очень интересно. То есть ресерчер действительно бегает. И вот как раз ресерчер работает на моей локальной модели, потому что он больше всего ходит в интернет. И, в принципе, для того, чтобы суммаризировать текст, ну, не нужно там каких-то больших усилий, в принципе ему хватает.
103: Вот этой локальной модели. И, собственно, да, вот он все это записывает, а директор принимает какие-то решения на этот счёт. Я все это ещё пока что отлаживаю и в принципе, оно работает, ну как просто, как, как система ни 1 ещё
104: Годного поста или какой-то идеи для разработки, или для видео ещё не было сгенерировано этой системы. То есть по большому счёту, ну не то чтобы она мне много пользы пока что принесла, но я её ещё настраиваю. Я только, только вообще, она за
105: Работала, и только только я начал настраивать всю эту систему. Давайте я в telegram покажу, как вообще выглядит вся эта история. То есть у меня сначала был просто бот, который вот в личные сообщения мне писал, я ему что-то спрашивал, он мне что-то
106: Говорил классно, но потом я узнал, что можно сделать telegram, чат с топиками, и там в каждом топике будет своё какое-то вот, ну, направление, своя какая-то тематика. И вот здесь есть контент, например,
107: Что здесь есть, есть telegram, пост, вайб, кодинг и традиционалисты. Кто прав? Ну, можете прочитать этот пост, который он сгенерировал. Ну, я могу, так сказать, это неплохо. Ну, то есть я это публиковать не буду, потому что, ну, просто мне кажется,
108: Кажется, это не особо интересно публиковать, но, в принципе, как пост нормально куда-нибудь мог бы сгодиться. Понятно, что у меня есть там какие-то свои критерии дополнительно, что я буду публиковать, что нет, но давайте посмотрим на это. С другой стороны, может быть 1 в 1 я
109: Не буду публиковать, но как идея, которую можно куда-то заложить там в посте или в видео рассказать или просто поресерчить, поискать какую-то информацию на этот счёт в принципе интересно можно, но это 1 пост. Я имею ввиду, что тут есть куча постов, которые можно так
110: Смотреть. Причём вот можете глянуть, я в какой-то момент ему задал вот такой запрос, это ещё в процессе, там настройки, здесь, там какие-то черновые штуки непонятные. Ресерч пост. То есть эта команда у меня отвечает за то, чтобы 1 агент поресерчил, а другой
111: Потом пост на эту тему написал, вот telegram клод код, последнее обновление. И вот он поставил её в очередь. То есть эта задача была в очереди в базе данных, и потом я его спрашиваю, а че там по задаче? Он говорит, слушай, ну пока что она в ожидании и агент.
112: Её не брал, хотя он запускался, и я вот с ним начал разговаривать, че то спрашивать его, как там задача, он там смотрит в базу данных, отвечает мне, ну, блин, это прикольно. Потом что произошло? Ну я там че то настроил, вот он начал выполнять.
113: Эту задачу. И, собственно, где-то здесь он этот пост написал. Сначала он писал короткие посты, но я это потом исправил, то есть он обрезал просто первые 300 символов, так это получалось. Потом есть тут раздел decisions, в который, а, ну вот тут, наверное, посты в основном, то есть он сначала
114: Скидывает мне на проверку, ну например, пост на пруф, твиттер, вот он, да, ну и какой-то, какие-то вот посты он тут делал. То есть поначалу это было, ну, короче, тестовый какой-то формат. Мне просто нужно было проверить, что он может искать информации.
115: Что-то мне предлагать так чтобы настроить эту систему, какие-то требования свои прописать свою стилистику, там постов туда загнать. Это уже после было. Ну короче вот че то он тут пишет, да предлагает какие-то посты кроме постов по моему
116: Он тут особо ничего не предлагал ещё, потому что это все в процессе настройки было, но как-то раз он попробовал предложить мне сделать, ну, разработать какой-то сервис, но, по сути этот сервис уже был разработан и, естественно, я не стал
117: Этим заниматься. Вот этот Ганоль, сервер, короче, вот примерно так это выглядит. То есть, получается, да, есть вот агент, который инфу ищет постоянно интересную, я там ещё топики обновил, которые ему нужно искать. Ну, темы, в смысле темы, по которым ему нужн.
118: Искать. Есть директор, который принимает решение, че с этой информацией делать. Есть ещё агент, который там сценарий для видео пишет какой-то девелопер, который тзшки ет писать. В общем, в принципе, прикольно. На самом деле, я вот так подумал.
119: Это все можно было сделать на н 8 н по большому счёту просто задать какой-то триггер там, темы для ресерча и так далее и векторные базы данных там тоже прекрасно подключаются и сообщения в telegram, ну то есть пока что никакой.
120: Game чейнджера не наблюдается, да, вот в этом контексте, в принципе таких ресерчеров можно было делать, наверное, и на эйтен, да, и просто кодом написать тоже можно было в чем вообще прикол то тогда, наверное, я честно сам пытаюсь все ещё в этом разобраться.
121: У меня есть ощущение, что у этого инструмента опен Клова достаточно большой потенциал, просто нужно его освоить, потому что, ну, первые пару дней у меня реально ничего не работало. Потом вроде начали агенты какие-то сообщения слать, потом вроде ещё и на мои сообщения реагировать, на
122: Классно, но потенциал там большой. То есть, и, наверное, так можно сказать, что вот, допустим, эносиме сделать так, чтобы он запускал инстанс клода, ну, клод код, да, какой-нибудь запускал, давал задачу, например, ну,
123: Вроде нельзя так делать. Ну, не знаю, то есть просто на чистом 8, наверное, нельзя писать это все руками. Ну, тоже замороч. То есть, по сути, мы, наверное, напишем что-то типа open кло вот этого вот. А здесь он может и с файлами работать, и
124: И запускать там каких-то Подрядчиков, скажем так, да, то есть там клод код запустить или кодекс. То есть не сам на этих моделях че то писать, а запустить именно вот клод код или какую-то другую программу и там что-то дать какое-то тз другим.
125: Например, да, то есть вот работать с файлами и 8 n с файлами работать не будет. Вот нужно ли это всем подряд? Ну, вопрос хороший, смотря для чего. То есть как будто бы, и да, потому что это же
126: Обалдеть. Можно себе личного ассистента сделать, который будет делать все, что тебе нужно за компом. Вот, а как будто бы и нет, потому что многие эти штуки реализуются и без open кло. Прекрасно. Там автоматизация восемена или ещё как-то, но
127: Точно интересная штука, с которой стоит разобраться по поводу разработки программного обеспечения, так скажем да, ну то есть по wipe кодингу че вообще можно, ну каким, зачем это все может пригодиться для вайп кодинга, для разработки?
128: Посредственно. Я вижу здесь вот следующие моменты, да, во первых, можно запускать его удалённо. То есть у меня часто бывает такое, что я Иду где-нибудь с магазина, и я бы вот в моменте че-нибудь голосом надиктовал нейронке, чтобы она там делала, пока я домой возвращаюсь. И вот тут
129: Как раз это можно сделать. Я беру там в телеграмме, ну, я не настраивал голосовые ещё, но это реализуемо написать своему вот open кло, своему боту, своему вот этому ассистенту там, а запусти какой-нибудь там рефакторинг.
130: Или посмотри там в гитхабе issues надо его исправить и он берет этот проект, создаёт там новую ветку и от своего аккаунта делает какие-то изменения, закидывает эти изменения в ветку.
131: Создаёт пулл реквест, а ты потом приходишь домой и просто смотришь этот пул реквест. Ну то есть понятно, что это там, ну не супер крутой наверное, разработчик, но что-то типа junior на удалёнке, или может быть ну, медла, если это все грамотно настроить, ну, как будто.
132: Бы реально сделать, а ведь это классно. То есть можно ему че то сказать, пока ты вообще там в транспорте где-то едешь, потом прийти домой и просто уже ревьювить, либо там что-то дописать, просто спулить эту ветку, да, локально себе, и там уже с ней работать.
133: Например, с тем же клод кодом, или с курсором, или ещё как-то там доделать что-то, либо просто может быть она готовая уже. Вот. И вот так, наверное, интересно вообще потенциально, конечно, он может все делать там и пушить, и
134: И мержить, то есть, ну, в целом, и деплоить он тоже может, но я бы не давал ему таких полномочий. Просто, ну, для продакшн сервера, по крайней мере, окей, если это какая-то девелоп версия, может быть, да, но на продакшене, особенно, если это какой
135: То уже рабочий продукт, за него кто-то, может быть, платит. И, соответственно, ну вы несёте ответственность, я несу за это ответственность и просто так говорите своему вот этому нейро боту, исправь там че-нибудь или сделай новую фи.
136: Залей, потом окажется, что там, не знаю, деньги потерялись или все сломалось, вообще не работает. То есть аппрувить, смотреть это все проверять по любому надо, но просто надо грамотно отстроить этот процесс. И много раз я слышал. Вот.
137: Аналогии, что open кло, это как, ну, как ваш сотрудник, да, то есть, если у вас пришёл новый сотрудник, ну, типа middle, например, да, то вы же не будете давать ему доступ к продакшену, чтобы он все заливал в продакшн. Ну,
138: Может быть, такое бывает, но зачастую, конечно, нет. То есть, да, он может создать пулл реквест, но пока его не проверит какой-то опытный человек, который работает в компании, естественно, все эти изменения заливаться не будут. Вот. Поэтому, главное, правильно, отстрой.
139: Тоже самое там с почтой, да, потенциально он может все письма удалить, может, может вполне, но ему можно завести свою какую-то почту и вот, ну, либо дублировать туда письма, либо как-то настроить вот общую информацию, да, чтобы он тоже что-то видел.
140: Из вашей почты вот что-то такое, да, то есть он полностью удалить не сможет, но просматривать сможет. И вот про эти настройки важно понимать, конечно, да, в процессе, что потенциально он может все сломать, но надо так сделать, чтобы максимум, что он сломал, это только то, что вот ему
141: Ломать. Вот и тогда ничего страшного не произойдёт. В общем, что хочется сказать в итоге о покупке Макс студио я ни разу не пожалел. Это открыло мне дверь в новый мир локальных моделей.
142: И чем дальше, тем становится интереснее теперь мне хочется купить ещё 1 maxx studio, только уже помощнее не 32 гигабайта памяти, а 512 ну правда, стоит он тоже прилично 10 000 $ в России.
143: Наверное, ещё дороже. И тем не менее, да, было бы классно. Я думаю, что на таком железе можно было бы запускать модели, которые подошли бы даже для разработки для Вайполина. Но, кстати, по этому поводу не обязательно покупать
144: Дорогие железки, чтобы понять, подходит модель или нет, можно потестить её на open. Роутере это классный агрегатор, в котором есть куча моделей. Есть 1 вот кошелёк, который вы пополняете, и можно выбирать из
145: Большого списка моделей, в том числе опенсорсных, поэтому можно заранее потестить, подойдёт вам модель или нет. И только после того, как вы действительно удостоверитесь, что она вам подойдёт покупать уже какие-то железки для того, чтобы
146: Запускать её локально вот я думаю, что было бы интересно провести какие-то такие эксперименты по open source моделям, на что они вообще годятся, что с ними можно делать посмотреть на них в vibe кодинге, потестить.
147: И прикинуть, сколько будет стоить покупка железа для того, чтобы хостить её локально по поводу выбора между покупкой mac studio и сборкой собственного сервера, пока что затрудняюсь ответить, что лучше.
148: Может быть, сниму тоже про это видео, посравниваю и разберём, что из этого выгоднее, но maxx studio точно выигрывает по параметрам компактности и шума, он максимально тихий, его вообще не слышно по поводу опен клото.
149: Обязательно сниму видео по его настройке какой-то гайд, потому что крутой инструмент и его стоит освоить. Как только разберусь с ним сам, обязательно запишу видео. Поэтому если вам
150: Интересно, то подписывайтесь на канал. Если вам понравилось это видео, то ставьте лайк, чтобы YouTube рекомендовал вам больше подобного контента. Подписывайтесь в telegram канал годный вайп кодинг, там я публикую полезные материалы по
151: Кодингу по нейронкам по ii агентам. И если вам интересна эта тема, то заглядывайте, буду вам рад на этом у меня все. Я надеюсь, что не сильно утомил вас своими рассказами. Может быть вам даже было интересно слушать, а может быть
152: Я вдохновил вас на то, чтобы поизучать локальные модели.