ym104432846
Вставьте ссылку на видео из Youtube, Rutube, VK видео
Задайте вопрос по видео
Что вас интересует?
00:00:00
Работа с агентами искусственного интеллекта:
  • Использование агентов позволяет значительно увеличить производительность и эффективность работы
  • Возможность запуска нескольких агентов одновременно и делегирование им задач
  • Оптимизация инструкций для агентов и повышение навыков работы с ними
  • Примеры успешного применения агентов в разработке программного обеспечения и автоматизации домашних устройств
00:26:12
Проблемы и ограничения агентов искусственного интеллекта:
  • Неравномерность способностей агентов и наличие "слепых зон"
  • Ограниченные возможности понимания контекста и уточнения вопросов
  • Необходимость постоянного контроля и коррекции ошибок агентов
  • Требуется развитие методов обучения и настройки агентов для повышения их надежности
00:17:50
Автоматизация исследований и разработок:
  • Создание автономных процессов авто-исследования и авто-разработки
  • Удаление человека из цепочки принятия решений и увеличение скорости разработки
  • Применение авто-исследований для оптимизации параметров и ускорения научных открытий
  • Пример авто-исследования в области машинного обучения и его успехи
00:30:47
Видообразование и специализация моделей искусственного интеллекта:
  • Аргументы в пользу разделения моделей на специализированные экспертные системы
  • Недостаточная гибкость существующих универсальных моделей
  • Преимущества узконаправленных моделей в определенных задачах
  • Отсутствие развитой науки по адаптации и изменению моделей
00:34:50
Коллаборация и параллельные исследования:
  • Организация совместной работы и параллельных исследований с использованием агентов
  • Распределенное авто-исследование и использование недоверенных вычислительных мощностей
  • Возможности и перспективы создания открытой платформы для совместных исследований
  • Перспективы использования свободных вычислительных мощностей для научных целей
00:39:39
Прогресс и будущее искусственного интеллекта:
  • Анализ текущих тенденций и прогнозов в развитии искусственного интеллекта
  • Прогнозы по развитию открытых и закрытых моделей искусственного интеллекта
  • Роль и значение открытых платформ и сообществ в прогрессе искусственного интеллекта
  • Опасения по поводу централизованных подходов и необходимости диверсификации исследований
00:56:09
Робототехника и взаимодействие с физическим миром:
  • Текущие достижения и перспективы робототехники
  • Сложности и ограничения робототехники в сравнении с цифровой сферой
  • Значимость сенсоров и актуаторов для взаимодействия с физическим миром
  • Потребность в создании рынков и механизмов получения физических данных
01:03:30
Образовательные изменения и роль агентов:
  • Микро-GPT как пример простоты и прозрачности нейросетевых моделей
  • Изменения в образовательной практике и роли агентов в обучении
  • Переориентация образовательного контента на объяснения агентам
  • Стратегическое отношение к личному вкладу и обучению агентов
0: Кодить это уже даже не подходящий глагол. Мне приходится выражать свою волю моим агентам по 16 часов в сутки, манифестировать. Как мне получить не просто 1 сессию вкладкод или кодекс, или в какой-то из этих агентских обвязок? Как мне запустить их больше? Как сделать это?
1: Правильно, сам факт наличия агентов теперь воспринимается как должное, и теперь их можно запускать по несколько штук, и теперь им можно давать инструкции. И теперь эти инструкции можно оптимизировать. Это бесконечный процесс, и все упирается исключительно в твои навыки.
2: Привет, слушатели, добро пожаловать в no prayer сегодня я здесь с андреем карпаты, и у нас для вас разносторонняя беседа оо кодингом, агентах, будущем инженерии и ii исследований о том, как больше людей могут вносить свой вклад в науку о происходящем в робототехнике.
3: Его прогнозов по выходу агентов в реальный мир и об образовании в эту новую эпоху. Добро пожаловать, Андрей, спасибо, что пришёл. Спасибо, что пригласили. Что ж, последние пару месяцев в сфере ии выдались очень захватывающими. Да, можно и так сказать, помню в как
4: В какой-то момент зашла в кабинет, а ты был прям максимально погружён в работу. Я спросила, чем ты занят? А ты такой? Мне просто мне приходится кодить по 16 часов в день, хотя кодить это уже даже не подходящий глагол. Мне приходится выражать свою волю моим агентам.
5: По 16 часов в сутки манифестировать, потому что, похоже, произошёл резкий скачок в возможностях, что вообще происходит. Расскажи о своём опыте. Да, у меня такое чувство, будто я находился, да, и сейчас часто нахожусь в этом перманентном состоянии. Иси.
6: Потому что произошёл колоссальный сдвиг в том, чего ты можешь достичь как человек, как отдельный специалист. Раньше тебя ограничивала твоя скорость печати. Но в декабре что-то по настоящему щёлкнуло, когда соотношение моих сил изменилось с 80 на.
7: 20, когда ты сам пишешь код на 20, на 80, где ты просто делегируешь задачи агентам. А сейчас, я думаю, там уже далеко не 20, на 80. Мне кажется, я не написал ни строчки кода вручную, наверное, с декабря, по сути. И это очень сильное изменение. Я рассказывал об
8: Этом своим родителям. И, мне кажется, обычный человек даже не осознает, что это произошло или насколько масштабно это было буквально, если взять случайного инженера программиста за его рабочим столом и посмотреть, что он делает его привычный рабочий процесс создания.
9: Софта полностью изменился с декабря, так что я сейчас нахожусь в этом состоянии психоза, пытаясь разобраться, что вообще, возможно, стараясь выжать максимум, как мне получить не просто 1 сессию вкладкод или кодекс, или в какой-то из эти
10: Их агентских обвязок. Как мне запустить их больше? Как сделать это правильно? И как мне их использовать, что они вообще из себя представляют? Появилось очень много нового. Мне хочется быть на передовой всего этого. И я очень дёргаюсь, когда чувствую, что отстаю, я вижу,
11: Кучу чертовски хороших идей в твиттере, и мне необходимо быть впереди, иначе я начинаю жутко нервничать. Я просто в этом психозе типа, а что ещё возможно, потому что это фундаментально неизученная территория. Ну, если уж ты нервничаешь, то всем остальным точно пора у нас в conviction есть common.
12: С которой мы работаем. Так вот, у них все устроено так, что ни 1 из инженеров не пишет код вручную. Они все сидят в микрофонах и просто постоянно что-то нашёптывают своим агентам. Это самая странная рабочая обстановка, которую я видела. Я сначала думала, что они сумасшедшие.
13: А теперь думаю, так вот в чем фишка. Они просто всех опередили. И как ты теперь оцениваешь свои собственные возможности в плане изучения чего-то или создания проектов? То есть чем они сейчас ограничены, да, чем они ограниченны? Пожалуй, всем подряд. Понимаешь? Сейчас, когда
14: Когда что-то не получается, ты в большинстве случаев чувствуешь, что это просто нехватка навыка дело в том, что ты просто ещё не нашёл способ правильно связать между собой то, что уже доступно, например, я просто дал недостаточно чёткие инструкции в md файле агента или вроде того или не добавил туда.
15: Классный инструмент памяти, ну или что-то в этом духе. Так что когда что-то не работает, это в какой-то мере ощущается как личный косяк. Тебе хочется понять, как их запараллелить и так далее. И в итоге ты хочешь стать кем-то вроде Питера стейнберга. У него есть забавное фото, где он сидит перед монитором на
16: Котором открыта куча окон агентов. Кодекс и выполнение задачи у каждого занимает около 20 минут. Если ты правильно составил пром, ты выставил режим высокой точности. У него одновременно открыто штук 10 репозиториев, и он просто переходит от 1 к другому и раздаёт им задачи.
17: И ты понимаешь, что можешь оперировать гораздо более крупными макродействиями? Это уже не уровень. Вот строчка кода, вот новая функция, это уровень. Так нужна вот такая новая фича делегирую её 1 агенту нужен вот этот функционал, который не будет конфликтовать с предыдущим. Отдаю 2.
18: Агенту, а затем ты просто стараешься проверить их работу настолько тщательно, насколько тебе важен этот конкретный код. То есть какими макродействиями я могу управлять своим репозиторием софта. В это время ещё 1 агент проводит какое-то исследование. Другой пишет код, 3 составляет план для новой реализации
19: И в итоге все происходит в виде таких масштабных макродействиями твоим репозиторием. И ты просто пытаешься набить на этом руку и развить мышечную память. Во первых, это приносит огромное удовлетворение, потому что это реально работает, но в то же время это совершенно новый навык, которому нужно учиться оттуда.
20: Психоз, да, у меня инстинкт работает. Похоже, каждый раз, когда я жду, пока агент что-то закончит. Самое очевидное решение. Это, ну я же могу сделать больше работы. То есть, если у меня есть доступ к большему количеству токенов, мне нужно просто параллельно запустить ещё больше задач.
21: Это создаёт сильный стресс, потому что если ты не особо ограничен в бюджете на токены, то именно ты становишься самым узким местом в системе с максимальными возможностями, если ты не выжимаешь максимум из своей подписки, а в идеале из подписок на нескольких агентов. Ну, например, если у тебя закончилась квота в кода,
22: Тебе нужно переключиться на клод или типа того, не знаю. Я начинаю нервничать. Если у меня в подписке остаются неиспользованные лимиты. Для меня это означает, что я не максимизировал пропускную способность токенов. Я испытывал нечто подобное, когда был аспирантом. Ты начинал нервничать, если твои графические процесс.
23: Простаивали типа у тебя есть мощности gpu а ты их не используешь какова твоя пропускная способность токенов и каким объёмом токенов ты управляешь это очень интересный феномен у нас было ну по меньшей мере 10 лет, когда во многих инженерных
24: Задачах. Люди просто не чувствовали себя ограниченными вычислительными мощностями. А сейчас это чувствует вся индустрия. Раньше они ощущали нехватку ресурсов. А теперь, когда произошёл этот огромный скачок возможностей. Ты такой, о, вообще то, де,
25: Больше не в моём доступе к вычислениям. Похоже, главным ограничивающим фактором стал я сам. Да, это нехватка навыка, и это очень мотивирует, потому что ты ведь можешь стать лучше. Это вызывает сильное привыкание. Ведь перед тобой открываются новые горизонты. И к чему это, по твоему, приведёт?
26: Андрей и все остальные сидят и без остановки по 16 часов учатся. Все лучше использовать coding агентов. Как это будет выглядеть через год, когда вы достигнете уровня мастерства, как выглядит это мастерство через год? Ну или там через 2 3 года, 5 лет, 10 лет.
27: Я думаю, все, по сути, заинтересованы в том, чтобы подниматься выше по стеку. То есть, опять же, речь не идёт об 1 сессии с вашим агентом, а о множестве агентов, о том, как они сотрудничают, объединяются в команды, и все в таком духе. Все сейчас пытаются понять, как это должно выглядеть, я бы сказал.
28: Сказал, что кло это тоже довольно интересное направление. Когда я говорю кло, я имею ввиду вот этот слой, который выводит автономность и непрерывность процессов на совершенно новый уровень, это штука, которая постоянно крутится в цикле. Ты не находишься интерактивно внутри процесса у неё есть своя маленькая
29: Песочница свой маленький мирок, она как бы делает задачи от твоего имени, даже когда ты туда не смотришь. И ещё там, возможно, реализованы более сложные системы памяти и так далее, которых в обычных агентах пока нет. По умолчанию происходит просто сжатие памяти, когда у вас заканчивается контекст дума.
30: Именно эта деталь больше всего зацепила пользователей, а не, скажем, доступ к более широкому набору инструментов в open кло. Да, там есть как минимум 5 вещей. Их там много. Отличная работа. Питер. Питер проделал потрясающую работу. Я видел его недавно. Мы Говор,
31: Говорили об этом, он очень скромен, но, мне кажется, он внедрил инновации одновременно в 5 разных направлениях и собрал все это воедино. Например, этот документ соул точка Эмди. Он детально проработал личность агента, которая получилась очень живой и интересной. И, мне кажется, многие
32: Нынешние агенты не уделяют этому должного внимания. У клод довольно приятный характер. Он ощущается как коллега, а вот кодекс, например, гораздо более сухой. И это интересно, потому что внутри чат gpt кодекс ведёт себя намного более оживлённо и крайне услужливо, но сам кодинг агент кодекс.
33: Очень сухой. Ему как будто плевать на то, что именно ты создаёшь. Он типа, такой, о, я это реализовал, и ты думаешь, окей, но ты вообще понимаешь, что мы строим, это правда. А вот у клод, я бы сказал, они настроили этот уровень эмпатии довольно удачно, когда клод меня
34: Валит. У меня возникает ощущение, что я это слегка заслужил, потому что иногда я набрасываю ему не очень чётко сформулированные мысли или делюсь сырой идеей, и он не реагирует на неё как-то бурно. Он говорит, да, мы можем это реализовать, но когда идея даже по моим меркам, действительно хороша.
35: Он, похоже, вознаграждает за неё чуть больше, и в итоге ты ловишь себя на странном чувстве, будто пытаешься заслужить его похвалу. Это очень непривычно. Мне кажется, во многих других инструментах это недооценивают. А Питер как раз очень трепетно к этому относится, так что здесь он попал в точку.
36: Плюс система памяти. Ну и вообще, он просто получает от этого удовольствие. И ещё этот инструмент автоматизации через единый портал ватсап. А делал ли ты со своими агентами что-то помимо разработки софта, что показалось тебе забавным или интересным? Да, в январе у меня
37: Был клод, я тогда переживал период клод психоза, и у меня, по сути, есть агент, который заботится о моём доме. Я называю его эльф добби. Я использовал агентов, чтобы найти все подсистемы умного дома в моей
38: И локальной сети. И я был удивлён, что это заработало прямо из коробки. Я просто сказал ему, что у меня дома есть сонос. Можешь попробовать найти его, и он берет и сканирует айпи адреса всех компьютеров в локальной сети. И он обнаружил сонос.
39: И оказалось, что там нет никакой защиты паролем или чего-то подобного. Он просто вошёл и пишет, да, у тебя установлены эти системы сонос. Дай-ка я попробую разобраться, как они работают. Он гуглит и находит окей, вот in поинты эйпиай. А потом спрашивает, хочешь протестировать? И
40: Такой, да, попробуй включить что-нибудь в кабинете, и он включает, начинает играть музыка. И я такой глазам своим не верю. Это безумие. Это же буквально 3 промпта я просто вбил текстом. Можешь найти мой сонос. И вдруг заиграла музыка. Тоже самое он проделал со светом. По сути, он взломал сис.
41: Тему во всем разобрался, создал api, сделал дашборд, чтобы я мог видеть командный центр всего освещения в доме, и затем он начал включать и выключать свет, и я могу попросить его добби время спать, а когда время спать, это просто означает, что весь свет гаснет и так далее, и тому подобно.
42: Так что он управляет всем моим светом, вентиляцией и отоплением, шторами, бассейном и спа, а также моей системой безопасности. У меня есть камера, направленная на улицу перед домом, и каждый раз, когда кто-то подъезжает, у меня стоит модель queen, которая отсматривает
43: Видео сначала срабатывает детектор изменений, а затем на основе этого кадр отправляется в queen, и после этого он присылает сообщение в whatsapp, показывает изображение снаружи и пишет a, подъехал грузовик fedex, возможно, тебе стоит проверить, тебе пришла новая почта или что-то в этом дух?
44: И добби просто присылает мне это текстом. Это невероятно. Так что добби заведует домом. Я переписываюсь с ним через ватсап, и это очень круто. Управлять домом с помощью таких макродействиями. Я пока не продвигал эту тему намного дальше. Я знаю, что люди
45: Творяют с этим гораздо более безумные вещи, но для меня даже такая автоматизация дома. Раньше я использовал 6 приложений, и мне больше не нужно ими пользоваться. Добби управляет всем на естественном языке. Это потрясающе. И я ведь даже не раскрыл эту парадигму полностью, но уже сейчас
46: Это очень помогает и вдохновляет. Как думаешь, это показатель того, чего люди на самом деле хотят от софта с точки зрения пользовательского опыта? Ведь обычно как-то упускается из виду, что людям вообще то требуются усилия, чтобы освоить новый софт, новый интерфейс, думаю, в какой-то степени.
47: Так и есть, это как бы движение в обратном направлении от того, каким люди представляют себе ии, потому что-то, что у людей сидит в голове при слове ии это совсем не то, чем является ллм в своём чистом виде ллм, это генератор токенов, из него просто вылетает больше токенов, а вот
48: Этот образ персонажа личности, которой ты можешь что-то сказать, и она это запомнит, знаешь, некая сущность по ту сторону ватсап это гораздо более понятно, так что в какой-то мере это просто соответствие ожиданиям людей относительно того, как должен вести себя ii, хотя под капотом для этого требуется масса.
49: Технических деталей и ллм в своём сыром виде это слишком примитивная конструкция, чтобы большинство людей могло безошибочно воспринимать его именно как ii да, думаю, именно так мы и понимаем, что такое ии и описание его через персонажа вроде добби или какую-то другую личность.
50: Очевидно, находит отклик у людей. Ещё мне кажется, что это объединение, которое ты провернул со своими шестью разными программными системами для автоматизации дома, затрагивает другой вопрос а действительно ли людям нужно все то программное обеспечение?
51: Которые у нас есть сегодня, ведь по сути железо у тебя осталось, но ты полностью выбросил софт или его юэкс слой, как думаешь именно этого люди хотят? Да, думаю есть такое ощущение, что всех этих приложений в appstore для управления устройствами.
52: Умного дома и всего такого в каком-то смысле вообще не должно существовать типа разве это не должны быть просто api, которыми агенты могли бы пользоваться напрямую, и разве это не было бы? Я ведь могу настраивать такие сценарии автоматизации дома, которые ни 1 отдельное приложение сделать.
53: Не способна, а элэм может эффективно управлять инструментами, вызывать нужные api и выполнять довольно сложные штуки, так что в определённом смысле это указывает на то, что мы, возможно, наблюдаем перепроизводство кучи кастомных специализированных приложений, в которых нет нужды, потому что again
54: Их как бы сминают и превращают в ничто. Все должно быть устроено гораздо проще в виде открытых эндпоинтов. Эйпиай, а агенты выступают в Роли интеллектуального клея, который связывает все элементы через вызовы инструментов. Другой пример моя беговая дорожка для неё есть приложение, и я хотела
55: Отслеживать, как часто я делаю кардио, но я не хочу логиниться в веб интерфейс, проходить через весь этот интерфейсный флоу и так далее все это должно работать просто через предоставление api, и мы как раз движемся в сторону некоего агентского веба или инструментов, ориентированных в 1 очередь на
56: Агентов и всей этой истории. Так что индустрии придётся перестроиться во многих аспектах. Ведь конечным клиентом теперь становится агент, действующий от имени человека, и эта рефакторинг трансформация, вероятно, будет весьма существенной. 1 из аргументов, которые люди иногда приводят против этого. Неужели мы ждём?
57: Обычные пользователи будут вебкот подобные инструменты, но мне кажется, в какой-то степени это просто специфика технологий в их сегодняшнем виде, да, прямо сейчас присутствует элемент вебкон. А, но у меня есть чёткое ощущение, что вещи, о которых я только что рассказал, года через 2 3 должны стать абсолютно бесплатными.
58: И доступными по умолчанию никакого вайб кодинга там не потребуется. Это тривиально, это базовый уровень любой ии, даже модели с открытым исходным кодом смогут это сделать. Система должна уметь очень легко переводить намерения менее технически подкованного человека в подобный результат. Сегодня ещё нужен вайб Кодин.
59: И тебе все ещё приходится принимать некоторые дизайнерские решения, да, но мне кажется, что этот барьер просто начнёт рушиться и soft станет чем-то эфемерным, создающимся под твою конкретную задачу в моменте какой-нибудь клод или agent будут брать на себя все техни.
60: Технические детали. Пока ты занимаешься своими делами, у агента есть доступ к машине, он во всем разберётся. Он будет просто предоставлять тебе интерфейсы, а ты наговаривать, что тебе нужно? Вы смотрите это видео, потому что понимаете, за искусственным интеллектом будущее, но 1 дело смотреть, а другое
61: Дело применять. Поэтому мы создали свою платформу, которая называется нейрофон. Это единое окно, в котором собраны лучшие нейросети мира, чат, gpt, клод, нано, банана, а также наши GigaChat, яндекс, наша философия это 1 чат.
62: Все модели нейрофон. Вы просто пишите задачу, а наши алгоритмы сами выбирают модель, которая решит её лучше всего на данный момент времени. Все работает в 1 окне без сложных настроек. Оплата рублями. А для бизнеса у нас есть отдельная мощная
63: Версия это оплата токенов по безналу. Удобное управление всей командой. Встроенный нейро щит, который строго контролирует, чтобы конфиденциальные данные не попадали в запросы. Систему можно поставить в контур вашей организации. Запус.
64: Собственный рак на ваших документах и подключить системы по протоколу эмсипи QR-код на экране, ссылка в описании, регистрация в 1 клик на старте дарим бонусные токены, чтобы вы могли попробовать нашу систему сразу.
65: А почему ты не стал дальше раздвигать границы того, что лично ты можешь делать с этими агентами? Это потому, что ты сфокусирован на более важных проектах автоматизации исследований? Или ты пока поднимаешься на эту гору мастерства, или причина в чем-то ещё? Мне просто кажется,
66: Что я на все подряд отвлекаюсь. Вот я провёл неделю, копаясь со всеми этими агентами, а задач впереди стало как будто ещё больше. Это как дженсон говорил. К сожалению, мы все стали только более занятыми. На самом деле я ещё толком не задействовал автоматизацию для имейлов календаря и всей этой
67: Рутины у меня и доступа то к ним особо не было, потому что я все ещё отношусь к этому с некоторой подозрительностью. Технология пока очень новая и сыроватая, так что мне не хотелось сразу давать ей полный доступ к своей цифровой жизни. И отчасти меня сдерживают именно вопросы безопасности, конфиденциальности и
68: Осторожность в этой сфере, пожалуй, это главный фактор, но ещё я чувствую себя ужасно рассеянным, потому что опять же неделю я плотно занимаюсь агентами, а вокруг в это время параллельно происходит куча других вещей. Ты ведь уже давно говорил о том, что обучение или хотя бы оптимизация модели это та?
69: Задача, которую тебе очень хотелось бы переложить на агентов. Какая мотивация стояла за проектом автоматических исследований? У меня до этого был твит, где я написал что-то в духе, чтобы выжать максимум из инструментов, которые стали доступны. Нам сейчас нужно убрать из уравнения самого себя.
70: Как узкое место, ты не должен сидеть и лично вбивать пром. Для следующего шага тебе нужно выйти из этой цепочки. Необходимо организовать все так, чтобы процессы были полностью автономными, и то, как максимизировать пропускную способность токенов без твоего личного участия это и есть.
71: Главная цель. Тогда я упомянул, что сейчас вся суть игры сводится к увеличению твоего рычага воздействия. Я время от времени вбрасываю немного токенов, а от моего имени выполняется колоссальный объём работы и автоисследование. Я писал твит об этом, но люди как-то не особо поняли саму идею.
72: А для меня это как раз пример практического воплощения этой мысли. Например, я больше не хочу быть тем самым исследователем внутри цепочки, который сидит и осматривает результаты. Этим я только торможу систему. Вопрос в том, как перестроить все абстракции так, чтобы мне нужно было настроить все 1.
73: 1 раз и просто нажать пуск, как заставить большее количество агентов работать в течение более длительных периодов времени без твоего участия. И автоисследование это как раз история про вот тебе цель. Вот метрика, вот границы того, что ты можешь и не можешь делать. Погнали. Тебя удивило, насколько это оказалось
74: Эффективно? Да, я не ожидал, что это сработает. У меня ведь есть проект, дата чат, и принципиально. Мне кажется, многие путают его с моими обучающими сессиями по созданию моделей вроде gpt 2, но для меня обучение gpt моделей в таком формате это просто удоб.
75: Каркас маленькая песочница для работы с ллм. А фундаментально меня гораздо больше интересует идея рекурсивного самосовершенствования и то, до какой степени одни ллм могут улучшать другие лм. Потому что для всех ведущих ии лабораторий это сейчас приоритет номер 1 по очевидным.
76: Причинам. Все они пытаются реализовать рекурсивное самообучение. И к тому моменту я уже прилично настроил немчат вручную. Я ведь занимаюсь этим 2 десятка лет. У меня есть определённая, как там называется, противоположность высокомерия, обоснованная уверенность, да, у меня за
77: Плечами 20 лет опыта в стиле о, я обучал эту модель 1000 раз, так что я провёл кучу экспериментов, я крутил гиперпараметры, делал все то, к чему очень привык за эти 2 десятка лет. И я дошёл до определённой точки и думал, что код оптимизирован довольно хорошо.
78: А затем я запустил автоисследование на ночь, и система вернулась с такими вариантами настроек, которые я сам просто не заметил. И да, я действительно забыл про затухание весов на эмбеддингах значений. Плюс мои параметры, Адам ветос, были настроены недостаточно точно, а эти вещи взаимосвязаны. Я не
79: Должен быть узким местом. Я не должен вручную запускать такие оптимизации гиперпараметров. Я не должен сидеть и изучать логи. В данном случае есть объективные критерии оценки, так что нужно просто настроить все так, чтобы оно могло крутиться бесконечно. И это лишь 1 базовая версия авто исследований.
80: Когда 1 цикл пытается улучшить систему, я был поражён, что робот нашёл эти зацепки репозиторий, и так был настроен весьма недурно, но он все равно раскопал, что улучшить. И это всего 1 цикл. А у топовых лабораторий в распоряжении кластеры из Десятков тысяч джипию. Поэтому очень легко представить, как
81: Можно автоматизировать этот процесс на моделях поменьше, ведь в конечном счёте все, что связано с ii передового уровня, упирается в экстраполяцию и законы масштабирования, так что делаешь колоссальный объём исследований на маленьких моделях, а затем экстраполируешь на масштабные системы наши исследовательские усилия.
82: Станут намного эффективнее в том смысле, что если мы научимся лучше проводить подобные эксперименты, то у нас будет более чёткое понимание направления, когда мы начнём масштабироваться. Да, я бы сказал, что самый интересный проект и, вероятно, это именно то, над чем сейчас работают ведущие ии лаборатории, заключается
83: Следующем. Вы проводите эксперименты на моделях поменьше, стараетесь сделать процесс максимально автономным и убираете исследователей из этой цепочки. У них слишком много обоснованной уверенности. На самом деле они ничего не знают, им вообще не стоит ко всему этому прикасаться и
84: Поэтому всю систему приходится переписывать с нуля, понятно, что сейчас они могут подкидывать идеи, но вот претворять эти идеи в жизнь они точно не должны есть очередь из идей и есть, скажем, автоматизированный учёный, который генерирует идеи на основе всех свежих публикаций репозиториев на github, а затем.
85: Направляет их в поток. Исследователи, люди тоже могут добавлять туда свои мысли, но это единая очередь, из которой рабочие подтягивают задачи и тестируют их. И все, что срабатывает, просто отправляется в фича бранч. А пара человек может, например, мониторить эту ветку и время от времени переносить изменения в
86: Основную ветку. Короче говоря, цель автоматизировать все, что только возможно, и выжать высокую пропускную способность токенов в секунду. Конечно, это потребует масштабных изменений. А когда модель напишет инструкцию программи лучше, чем ты. Да. Так, ну,
87: Программ ди, это когда нас не будет в цепочке, да, именно, ну, программ Эмди, это моя корявая попытка описать то, как должен работать автоматический исследователь, серия инструкций в духе. Так сделай это затем, вот то и то, а потом протестируй вот такие идеи.
88: А вот тебе направление для размышления. Посмотри на архитектуру, посмотри на оптимизатор и так далее. Я ведь просто набросал это в markdown, и да, именно так все и будет. По сути, тебе нужен некий цикл автоисследование, который ищет. Можно представить, что разные файлы программ
89: Будут давать разную скорость прогресса. Грубо говоря, любую исследовательскую организацию можно описать через такой программ. Эмди научная организация это просто набор маркдаун, файлов, которые описывают все Роли. И то, как все это между собой связано. И вы вполне можете спроектировать более
90: Эффективную исследовательскую структуру, например, в ней проводят меньше утренних летучек, потому что они бесполезны. И ведь все это, по сути, просто код. И у 1 организации в коде прописано меньше созвонов, у другой больше. 1 готова сильно рисковать, другая более консервативна. Так что совершенно точно
91: Можно представить существование множества таких виртуальных исследовательских структур, и у каждой из них есть свой код. А раз это код, то его можно настраивать и оптимизировать. Так что здесь стопроцентно открывается целый метауровень. Ты видел моё сообщение с идеей для конкурса? Давайте дадим людям. Возможно.
92: Писать разные варианты программ Эмди и при одинаковом железе посмотрим, кто добьётся наибольшего прогресса. А, я понял. А затем мы сможем взять все эти данные, скормить их модели и сказать напиши программ ди ещё лучше. Именно мы точно получим что-то более совершенное. Абсолютно можно
93: Будет посмотреть, за счёт чего именно был достигнут прогресс, и подумать так могу ли я изменить программ Эмди таким образом, чтобы запускалось больше именно таких процессов, или исключить то, что не сработало. Чистая мета, оптимизация, да, такое стопроцентно можно себе представить. Так что идея отличная.
94: Но, знаешь, мне кажется, тут нужно двигаться шаг за шагом. Сначала наладить 1 процесс, затем 2, потом следующий. Наличие самой ллм. Составляющей сейчас уже воспринимается как должное. Наличие агентов воспринимается как должное. Теперь вот эти сущности вроде клодов, воспринимаются как должное.
95: Теперь их можно запускать по несколько штук, давать им инструкции и оптимизировать эти самые инструкции. Именно поэтому все и доходит до психоза, потому что процесс бесконечен и все упирается исключительно в твой навык. И именно поэтому это все кажется настоящим безумием. Ладно, что ж, мы просто пытаемся поставить.
96: Диагноз текущему моменту и понять, какой навык актуален прямо сейчас. Как думаешь, каковы последствия того, что именно к Такому циклу нам следует стремиться в самых разных сферах и что это реально работает? Ну, когда ты убираешь человека, создаёшь метрику или
97: Даёшь агентам возможность продолжать работу над задачей без твоего участия. Остаётся ли у нас место для системной инженерии производительности? Да, на самом деле я бы добавил несколько оговорок поверх этого ллм психоза. Во первых, такой подход идеально подходит для задач, где есть объективные
98: Метрики, которые легко оценить, например, написание кастомных ядер для более эффективного куда кода под различные компоненты, модели и так далее. Идеальное попадание, потому что у тебя есть неэффективный код, а тебе нужен эффективный, который ведёт себя точно также, но работает немного быстрее.
99: Идеальный кейс. Так что для автоисследование очень многое подходит безупречно, но далеко не все. И здесь все просто. Если ты не можешь это оценить и измерить, то ты не сможешь подвергнуть это автоисследование. Это оговорка номер 1, оговорка номер 2. Мы тут рассуждаем о следующее.
100: Шагах и примерно видим, какими они будут. Но фундаментально вся эта конструкция все ещё немного трещит по Швам. В ней есть трещины, и она работает не до конца. Идеально. Если попытаться забежать слишком далеко вперёд, то в конечном итоге вся эта история окажется скорее бесполезной, если по
101: Понимаешь, о чем я? Потому что эти модели все ещё, да, они сильно прокачались, но они все ещё довольно сырые. Я одновременно чувствую, будто общаюсь с невероятно блестящим аспирантом, который всю жизнь занимался системным программированием и с десятилетним ребёнком. И это очень странно, потому что у людей эти вещи
102: Развиты гораздо более равномерно и взаимосвязано. Да, в жизни такое сочетание не встретишь. Эта неравномерность развития действительно поражает. У людей подобная угловатость встречается гораздо Реже, хотя, конечно, бывает, но у агентов эта неравномерность выражена намного сильнее. Иногда я прошу
103: Реализовать какой-то функционал, а робот возвращает мне нечто абсолютно ошибочное. И затем мы проваливаемся в циклы из совершенно неверных действий. Я до сих пор постоянно ловлю дикое раздражение от работы с агентами, потому что ты отчётливо видишь всю их мощь, но
104: При этом они у меня точно также время от времени творят какую-то дичь. Меня очень бесит, когда агент впустую тратит кучу вычислений на вещь, в которой он должен был сразу распознать очевидную проблему. Да, думаю, 1 из главных причин здесь, если строить
105: Гипотезы кроется в том, как эти модели обучаются фундаментально. Они обучаются с помощью обучения, с подкреплением, так что, по сути, они бьются над той же самой проблемой, о которой мы только что говорили. Лаборатории могут улучшать модели в любых проверяемых задачах, где есть чёткие награды.
106: Написал ли ты программу правильно, да или нет, но вот где они спотыкаются, так это, например, в понимании нюансов, что именно я имел ввиду, что я задумывал или когда стоит задать уточняющий вопрос. Короче говоря, все, что связано с какими-то более тонн,
107: Мягкими скиллами даётся им пока хуже, и получается, что ты либо строишь на прочных рельсах и подключён к этим контурам суперинтеллекта, либо сходишь с рельсов и оказываешься за пределами проверяемых областей. И тогда все вокруг начинает как-то бесцельно блуждать, если ты сего
108: Сегодня зайдёшь в самую передовую модель в chat gpt и попросишь её. Расскажи анекдот. Знаешь какую шутку ты услышишь? Прям конкретно конкретную шутку. Я прямо дословно не вспомню стандартную формулировку, но мне тоже кажется, что y chat gpt в арсенале всего 3 шутки, шутка над которой
109: М, похоже, любят смеяться. Больше всего звучит так. Почему учёные не доверяют атомам? Потому что они постоянно строят из себя что-то. А когда она вообще появилась, это та самая шутка, которую ты мог получить года 3, 4 назад, и это та же
110: Шутка, которую ты получаешь сегодня, то есть, несмотря на то, что модели колоссально продвинулись вперёд и если дать им агентскую задачу, они будут фигачить часами и свернут для тебя горы. Но стоит попросить шутку, и она выдаёт этот дурацкий баян пятилетней давности.
111: И все потому, что это находится за рамками арел, за рамками обучения с подкреплением. Это вне того, что целенаправленно улучшается. И это как раз часть той самой неравномерности. Разве не логично ожидать, что по мере совершенствования моделей их шутки тоже станут тоньше? Но нет, это просто не.
112: Оптимизируется. Думаешь, это означает, что мы не видим генерализации в широком смысле? Ну, когда общая эрудиция и юморной интеллект подтягивались бы вслед за умением писать код. Да, я думаю, здесь есть определённое расслоение.
113: Какие-то вещи поддаются верификации, а какие-то нет. И лаборатория оптимизирует одни аспекты совершенно случайным образом, в зависимости от того, какие данные попали в выборку, а другие аспекты игнорируют. У некоторых исследовательских групп есть гипотеза, если модель умнее в Гене,
114: Кода или в других проверяемых областях. Она автоматически должна становиться лучше во всем. Но ситуация с шуткой намекает на то, что далеко не во всех сферах это работает. Мне кажется, этого не происходит. Возможно, мы видим какие-то намёки на это, но точно не в том объёме, который нас бы устро
115: Да, но такая неравномерность есть, и у людей можно быть гением в математике и при этом ужасно шутить. Да, это правда, да, но это все равно рушит популярный нарратив, согласно которому с появлением более продвинутых моделей мы как бы бонусом и бесплатно получаем рост интеллекта и возмо,
116: Во всех сферах жизни общества. На деле же все иначе наблюдаются слепые зоны, какие-то вещи вообще не оптимизируются, и все это зашито внутрь непрозрачных нейросетевых моделей. Так что ты либо на рельсах того, на чем модель обучали, и тогда ты несёшься со скоростью света, либо
117: Нет, в этом и заключается неравномерность. Вот почему я считаю, что хотя вектор прогресса очевиден и понятно, к чему все идёт, ты пока не можешь полностью отпустить поводья, потому что система ещё не работает идеально. Ну или это проблема нехватки навыка. И мы просто не до конца поняли, как
118: Правильно этим пользоваться подпишись прямо сейчас на мой telegram канал по ссылке в описании я подготовил для тебя топ 3 материала, которые, на мой взгляд, должен знать каждый 1 карта сотни топовых эйай стартапов это будущее на 1.
119: 2 прогноз от инсайдера из open eye, который ещё до появления чат gpt предсказал все, что сейчас происходит с нейронками, и вот в этом году он выпустил новый прогноз до 27 года, и 3, самое мощное это мой разбор.
120: С основателя компании антропин, такой, по сути, 2 человек в мире искусственного интеллекта. Он по полочкам разложил, что будет происходить в мире ближайшие 5 лет, и, главное, каким будет универсальный эйай, которого все так боятся или ждут. Переходи по ссылке.
121: В описании можно я задам немного кощунственный вопрос. Вот если эта неравномерность никуда не девается и все это упаковано, по крайней мере, с точки зрения интерфейса в монолитную оболочку. Ну то есть
122: Единую модель имеет ли это вообще смысл или, может, софт стоит разделить на отдельные элементы, каждый из которых можно оптимизировать и улучшать под конкретные сферы интеллекта разделение моделей на множество экспертов в разных областях, да более прямолинейно, да вместо скрытой архи.
123: Тектуры. Мои устройства, которые мы снаружи вообще не видим, из за чего пользователи впадают в ступор. Почему робот так хорош вот в этом, но абсолютно беспомощен в чем-то другом. На данный момент у меня складывается впечатление, что лаборатории пытаются вырастить некую единую монокультуру модель
124: Которая будет ультимативна, умна абсолютно во всех сферах сразу, и они просто заталкивают все это в параметры. Но, я думаю, нам все же стоит ожидать большего видового разнообразия среди систем интеллекта. Ну, условно, в животном мире структуры мозга невероятно разнообразны в природе сущес.
125: Существует масса различных ниш у каких-то животных гипертрофирована зрительная кора, у кого-то другие зоны. Мне кажется, мы должны увидеть аналогичное видообразование. Ви. Тебе не нужен этот оракул, который знает вообще все обо всем. Ты создаёшь специализированный вид и сажаешь.
126: Его на конкретную задачу. И подобные примеры уже должны появляться, потому что у нас должна быть возможность собирать гораздо более компактные модели, которые сохраняют базовое когнитивное ядро, то есть остаются дееспособными, но при этом имеют узкую специализацию, и тогда они могут стать
127: В разы эффективнее с точки зрения задержки или пропускной способности на тех конкретных задачах, которые тебе действительно важны, у меня в связи с этим вопрос подталкивает ли к Такому исходу дефицит мощности доступной вычислительной инфраструктуры ведь в таких условиях
128: Эффективность начинает играть решающую роль. Оставим в стороне финансирование. Допустим, с деньгами проблем нет. Если бы у тебя был безлимитный доступ к любым вычислениям, под любую задачу можно было бы гонять и 1 гигантскую модель. Но если ты реально ощущаешь давление,
129: Рынка в духе. Я просто не могу себе позволить содержать модель колоссального размера под абсолютно каждый микрокеш. Как думаешь, приводит ли это к видообразованию модели? Мой вопрос имеет смысл. Вопрос имеет смысл, но, как мне кажется, мы
130: Пока не видим особого видообразования, так ведь не видим. Мы все ещё наблюдаем монокультуру моделей, да, при этом явно прослеживается паттерн. Сделайте хорошую кодингом модель, а затем снова перенесите её в основную ветку. И это происходит, несмотря на то, что
131: Давление на разработчиков моделей в плане ресурсов уже ощущается. Мне кажется, что сейчас мы переживаем краткосрочный, но очень жёсткий дефицит предложения, и, возможно, именно это прямо сейчас начнёт ускорять разделение моделей на специализации. Думаю, фундаментальная проблема в том, что лаборатории предоставляют
132: Пользователям модель, но они понятия не имеют, о чем именно конечный пользователь её спросит. Им приходится заставлять модель быть многозадачной и охватывать вообще все потенциальные темы запросов. Но мне кажется, если вы приходите в конкретный бизнес и, скажем, вместе работаете над какими-то специфиче,
133: Важными для вас задачами, то вот там подобное разделение вы как раз и увидите. А прямо сейчас разработчики пытаются объять вообще все. К тому же, мне кажется, сама наука манипулирования мозгами моделей пока ещё не до конца развита. Что ты имеешь ввиду? Ну, например, проведение дообучения.
134: Потери базовых возможностей модели у нас пока просто нет примитивов для глубокого взаимодействия с этими системами интеллекта, за исключением контекстного окна. Контекстное окно просто работает, им очень дёшево управлять и так далее. Но если говорить о более глубокой перенастройке моделей,
135: Возможном непрерывном обучении оо дообучении под конкретную область, о том, как сделать модель лучше в какой-то узкой сфере. Короче, о том, как физически менять веса модели, а не просто забивать контекстное окно, это все ещё формирующаяся наука. Я бы сказал, что трогать
136: Гораздо сложнее и деликатнее, чем работать с контекстными окнами, потому что тем самым ты фундаментально меняешь всю модель целиком и, возможно, её интеллект. Так что наука видообразования модели пока просто сырая, да и к тому же этот процесс должен стать достаточно дешёвым, чтобы такое разделение вообще окупалось.
137: Заданных контекстах можно задать вопрос про расширение идеи авто исследования, о котором ты упоминал в контексте открытых площадок. Ты говорил, что нам, по сути, нужно больше пространства для коллаборации вокруг этого процесса, чтобы люди в целом могли вносить свой вклад в исследования
138: Расскажешь об этом подробнее? Мы до этого обсуждали автоисследование как одиночный однопоточный цикл. Я тестирую гипотезы и кручусь в этом цикле. Но фундаментально самое интересное здесь это параллелизация процесса. Я пытался крутить в голове несколько идей на этот счёт, но пока не на
139: Щупал решение, которое щёлкнуло бы также просто и красиво. То есть у меня пока нет схемы, которой я был бы на 100% доволен. Но это то, над чем я фоном размышляю, когда не занят своими кодами. Очевидная вещь. Если у тебя в распоряжении есть куча вычислительных узлов для параллелизации, то настроить
140: Чение нескольких агентов исследователей через общую систему задача тривиальная. Меня же гораздо больше интересовал другой сценарий, как задействовать недоверенный пул рабочих потоков. Например, в рамках автоисследование ты пытаешься найти конкретный кусок кода, который обучит модель с минимальными потерями.
141: Валидации. Если кто-то присылает тебе потенциальный коммит, проверить его корректность и эффективность очень легко, кто угодно в интернете может заявить вот этот код оптимизирует обучение гораздо лучше и даст огромный прирост производительности. И ты можешь это просто взять и проверить это.
142: Элементарно, конечно, на саму проверку уходит определённый ресурс. К тому же люди могут банально врать и так далее. То есть ты сталкиваешься со стандартной проблемой верификации. На самом деле мои наброски систем, которые включают такой пул недоверенных воркеров, архитектурно даже немного напоминают блокчейн, потому
143: Что вместо блоков у тебя здесь коммиты. Эти коммиты могут наслаиваться и строиться друг на друге, и они содержат в себе изменение кода по мере его улучшения. А аналогом доказательства выполнения работы выступает проведение колоссального объёма экспериментов ради поиска тех самых редких коммитов, которые реально рабо
144: Это очень тяжело, а наградой за это сейчас является просто место в лидерборде. Никакой денежной мотивации тут нет. Я не хочу слишком сильно уходить в эту аналогию с блокчейном, но фундаментально здесь работает тот же принцип. На поиск уходит гигантское количество энергии и вычислении.
145: Но верификация предложенного решения стоит копейки, ведь кому-то пришлось протестировать 10000 идей, а тебе нужно просто запустить и проверить 1 финальную сборку, которую они выдали, потому что остальные варианты у них все равно не взлетели. И если коротко, суть в том, что тебе нужно придумать систему, где
146: Paul недоверенных воркеров может эффективно сотрудничать с доверенным пулом воркеров, которые занимаются исключительно верификацией, при этом весь процесс должен быть асинхронным, стабильным и так далее и, что крайне важно, абсолютно безопасным, потому что когда кто-то присылает тебе произвольный код, а ты собираешься его у себя.
147: Запускать это звучит очень сомнительно и рискованно, но фундаментально все это полностью реализуемо. Ты наверняка знаешь такие проекты, как сети этхоум или folding эхом у всех этих задач схожая структура холдинг хоум, ты занимаешься фолдингом белка, и там безумно трудно найти конфигурацию с низким уровне.
148: Энергии, но если кто-то натыкается на такую конфигурацию и присылает её, это идеальный кейс. Ты можешь сразу её использовать, ведь проверить её проще. Простого. Масса вещей обладает этим свойством. Результат безумно дорог в производстве, но копеечный в верификации. Короче говоря, рой агентов по всему.
149: Интернету мог бы объединить усилия для улучшения ллм и потенциально даже оставить далеко позади ведущие ии лаборатории. Кто знает, у топовых лабораторий есть огромные объёмы доверенных вычислений, но планета земля намного больше.
150: И на ней сосредоточено колоссальное количество недоверенных мощностей, и если выстроить правильную архитектуру, которая нивелирует эти риски, то вполне возможно, что этот распределённый рой сможет находить более изящные и эффективные решения люди будут просто вносить свой вклад.
151: Давая свободные циклы процессоров проекту, который им не безразличен, и последняя мысль на этот счёт, у множества компаний или сообществ могут быть свои специфические направления, которые их волнуют, и ты, имея свободные вычислительные мощности, сможешь подключаться к разным трекам.
152: Исследований. Тебя глубоко волнует борьба с определённым видом рака. Тебе не обязательно просто жертвовать деньги какому-то институту, ты можешь буквально купить вычислительные мощности и направить их в roy автоисследование этого конкретного проекта. Понимаешь, если весь научный процесс перестроится под
153: Форматов ты исследований, то вычисления станут тем самым главным ресурсом, который ты вносишь в общий Котёл. Да, это звучит очень вдохновляюще и что ещё интересно, не знаю, как далеко это зайдёт, но как минимум определённая аудитория людей, будь то здесь, в кремниевой долине или в очередях за желе,
154: В розничных магазинах Китая снова осознала, что иметь доступ к персональным вычислительным мощностям это опять круто собираешь локальные мощности под своих личных клодов, а параллельно отдаёшь излишки в проекты. Автоисследование это похоже на то, как сейчас все трясутся над долларами, но станет.
155: И флопс тем самым главным ресурсом, который будет волновать каждого в будущем прямо сейчас. Например, получить доступ к вычислительным мощностям дико сложно, даже если у тебя куча денег, так что в каком-то смысле флопсы сейчас начинают доминировать. И, возможно, будущее за метрикой. Каким количеством флопсов ты управляешь?
156: А не каким объёмом капитала ты владеешь? Я на самом деле не думаю, что так и будет, но поразмышлять об этом довольно любопытно. И последнее, что ты выкатил, было небольшое исследование анализ данных по рынку труда. Верно? Да что там было? Кажется, этот проект задел за живое. Хотя.
157: Ты всего лишь визуализировал открытые государственные данные. Что именно тебе самому было интересно узнать? Мне просто было любопытно сейчас ведь буквально все пытаются осознать, как ии повлияет на рынок труда и как этот рынок вообще будет трансформироваться. И мне стало Инте.
158: Интересно посмотреть на сухие цифры, как глобально распределены рабочие места, какие существуют Роли и сколько людей задействовано в тех или иных профессиях. Я погрузился в эти данные, чтобы в деталях изучить конкретные кейсы и попытаться спроецировать на них текущую эволюцию нейросети.
159: Будут ли они просто удобными инструментами в руках специалистов, или они начнут массово вытеснять людей из этих профессий, что вообще представляют собой нынешние специальности и как они изменятся, ждёт ли их масштабное сокращение или глубокая адаптация, и какие новые Роли могут по
160: Это просто был способ подпитать мои собственные размышления об индустрии, и в качестве основы для этого анализа я взял данные бюро статистики труда сша, у них там по каждой профессии заложен процентный прогноз роста или спада на десятилетие вперёд, сам прогноз они составляли в 20 четве.
161: 4 году нам нужно много медицинских работников, да, они заложили этот прогноз ещё тогда я не до конца уверен, какую именно методологию они использовали для своих прогнозов. Лично мне в этом исследовании хотелось подсветить и категоризировать данные под определённым углом, что мы активно
162: Развиваем прямо сейчас, это преимущественно цифровое, такие своеобразные бестелесные духи или виртуальные сущности, которые обитают исключительно в цифровой среде и могут виртуозно манипулировать массивами цифровой информации, но у них напрочь отсутствует физическое воплощение, они не присут.
163: В реальном мире, а автоматизация всего, что связано с физическим миром, гарантированно пойдёт медленнее, потому что там тебе приходится манипулировать атомами, а не битами, переворачивать биты и копипастить цифровую информацию можно в миллионы раз быстрее, чем перемещать и ускорять физическую материю чисто с точки зрения
164: Затрат энергии. Мы увидим колоссальную, просто запредельную активность именно в цифровом пространстве, тотальную пересборку процессов, создание новых надстроек, бурление этого цифрового супа. И этот Пласт будет развиваться со скоростью света по сравнению с тем, что будет происходить в физической реальности.
165: Во всяком случае, именно такая вырисовывается экстраполяция, и поэтому сейчас возникает мощный перекос нас ждёт масштабное раскрепощение процессов обработки информации, которую раньше совместно вели люди и компьютеры, и теперь, когда ii заходит в эту экосистему как полноценный 3 агент для работы.
166: Цифровыми данными, во всех этих дисциплинах начинается жёсткий рефакторинг, но физический мир будет отставать от этого темпа на приличный шаг по времени. Вот почему мне было так важно выделить и подсветить те профессии, суть которых сводится исключительно к манипуляции цифровой информацией рабо.
167: Ту, которую можно делать из дома со своего компьютера, потому что именно там правила игры изменятся сильнее всего. И это вовсе не означает автоматическое исчезновение или, наоборот, взрывной рост числа таких вакансий, но внутренняя механика работы в этих профессиях изменится кардинально, просто потому, что человеческий
168: Супер организм получает мощнейший апгрейд своей цифровой нервной системы с учётом того, как глубоко ты закопался в эти цифры. У тебя есть какие-то личные наблюдения или, может, советы для тех, кто сейчас выходит на рынок труда, для тех, кто думает, на кого пойти учиться или какие навыки.
169: Я вот сейчас безумно рада, что специфика моей работы требует живых встреч с людьми. Это более осязаемая вещь, но если объективно ты могла бы делать всю свою работу из дома, я вот могу, думаю, выстраивать глубокие доверительные отношения на расстоянии было бы гораздо сложнее. Думаю, здесь очень сложно.
170: Судить наперёд, потому что опять же рынок труда устроен невероятно разнообразно, и в каждой сфере ответы будут свои, но в глобальном смысле эти инструменты сейчас экстремально новые и экстремально мощные, так что просто пытаться идти с ними в ногу и осваивать их это уже 1 или самый главный шаг.
171: И это важно, потому что многие люди склонны либо отмахиваться от этого, либо бояться, что, конечно же, абсолютно понятно. Да, я считаю, что на данном этапе это в 1 очередь инструмент, расширяющий возможности человека. Любая профессия это просто набор определённых задач, и часть из этих задач теперь
172: Можно щёлкать в разы быстрее, так что людям стоит смотреть на ii как на инструмент, которым он сейчас и является, а вот долгосрочное будущее всей этой истории пока туманно, не берусь прогнозировать, но ты при этом инженер и вот что мне показалось интересным в тех данных спрос на инженерные специа.
173: Lost продолжает расти. Да и я пока не могу понять, это какой-то временный феномен или долгосрочный тренд. У меня пока нет однозначного отношения к этому. А у тебя раньше софт всегда был в дефиците. И единственная причина, почему мы не видели ещё большего спроса на
174: Программное обеспечение заключалось в его дефицитности и дороговизне так вот, если барьер для входа падает, то в силу вступает так называемый парадокс джеванса когда ценность становится доступнее, спрос на неё на самом деле взлетает, софт становится дешевле, и его появляется количественно больше.
175: Классический пример. Это банкоматы и банковские клерки. В своё время было много паники, что банкоматы и компьютеры полностью вытеснят живых операционистов, но в итоге из за автоматизации содержать отделение банка стало намного дешевле, появилось больше отделений и больше клерков. Это такой
176: Каноничный пример, но по сути это чистый парадокс джеванса что-то становится дешевле, и это высвобождает огромный Пласт скрытого, неудовлетворённого спроса, поэтому в отношении софтверной инженерии я настроен сдержанно, оптимистично. Мне кажется глобальная потребность в программном обеспечении.
177: Будет просто колоссальной, раз уж его производство резко дешевеет, и поэтому мне думается, что на протяжении ещё довольно длительного времени, хотя заглядывать далеко вперёд всегда трудно как минимум локально, в ближайшей перспективе спрос на разработку будет только
178: Потому что софт это потрясающая штука. Это ведь чистая цифровая обработка информации. Ты больше не обязан пользоваться топорными кривыми инструментами, которые тебе когда-то навязали и которые тебя в чем-то ограничивают. Больше не привязан жёстко к тому, что уже создано этот код становится
179: Мерным, пластичным его можно менять, модифицировать и переписывать прямо на лету, так что в цифровом пространстве сейчас начнётся огромная активность по тотальной перепрошивке вообще всего, и это породит колоссальный спрос на подобные навыки в entropy и других ведущих лабораториях работают.
180: Условно по 1000 с лишним исследователей. И эти исследователи сейчас, по сути, работают как высококлассные автоматизаторы. Они прямо сейчас активно автоматизируют свою собственную деятельность. И это буквально та цель, к которой они изо всех сил стремятся. Некоторые из этих исследователей ведь тоже ловят своеобразный
181: Психоз потому что они видят это реально работает и они такие оу ну для меня тоже все кончено я в своё время провёл кучу времени, бегая по openai с вопросом ребят, вы вообще осознаете что если у нас все получится мы все останемся без работы, мы же по сути просто собираем автоматизацию для сэма или типа того?
182: Ну, или для совета директоров. Тут я не уверен, но суть в том, что они просто пилят автоматизацию для совета или для сео, и мы все окажемся не у дел, разве что будем помогать на добровольных началах со стороны. Так что да, с этой точки зрения ситуация довольно ироничная. Можно, я задам тебе вопрос, нома?
183: Ведь ты мог бы заниматься именно этим автоисследование и на гигантских масштабах вычислительных мощностей, и в окружении топовых коллег в 1 из ведущих ии лабораторий. Почему нет? Ну я же проработал там какое-то время, и я возвращался туда, так что в определённой степени я согласен, думаю.
184: Этот вопрос можно рассматривать под самыми разными углами, он вообще довольно каверзный, но скажу так, я очень высоко оцениваю тот вклад и то влияние, которое люди могут иметь вне стен топовых лабораторий. И речь не просто об индустрии в целом, а о ролях на уровне всей экосистемы. Вот твоя роль, например.
185: Скорее экосистемная моя роль сейчас тоже в большей степени на уровне экосистемы, и мне очень нравится то влияние, которое люди могут оказывать на этих позициях. С другой стороны, на мой взгляд, есть вполне конкретные проблемы в том, чтобы слишком сильно связывать себя с какой-то 1 ведущей лабораторией. Фундамент.
186: Внутри этих лабораторий ты получаешь огромные финансовые стимулы, при этом ты сам признаешь, что ii кардинально и очень драматично изменит человечество и общество, и вот ты сидишь своими руками, создаёшь эту технологию, извлекаешь из неё прямую выгоду и оказываешься намертво привязан к ней финансовый.
187: Обязательствами. Именно эта дилемма лежала в самой основе того, как изначально создавался опен иай. Это был тот самый ребус, который мы пытались решить. И в каком-то смысле он до сих пор не решён. Эта дилемма до сих пор полностью не разрешена. Это, во первых, ты не являешься.
188: Абсолютно свободным агентом и не можешь участвовать в этой дискуссии полностью автономно и независимо. Если ты находишься внутри 1 из передовых лабораторий, есть вещи, которые ты просто не можешь говорить, и наоборот, есть определённые тезисы, которые организация хочет от тебя услышать, и тебе, конечно, никто не будет выкручивать.
189: Руки, но ты кожей чувствуешь это давление, что именно тебе стоит говорить, потому что иначе тебя ждут очень неловкие разговоры, странные косые взгляды в коридорах и немой вопрос. Ты вообще чем занимаешься? Так что по настоящему независимым агентом там быть невозможно, а находясь вне ведущих
190: Лаборатории. Я чувствую себя в некотором Роде ближе к человечеству, потому что я практически не подвержен этому давлению и могу говорить все, что хочу. Да, в самих лабораториях у тебя тоже есть рычаги влияния, безусловно, но там работает огромное количество исследователей, и, возможно, ты 1 из них и твои идеи.
191: Действительно хороши, и там принимается масса решений, и тебе хочется быть в комнате, где ведутся эти дискуссии, когда они возникают. Мне кажется, сейчас ставки в игре в целом ещё довольно низкие, поэтому все выглядит Мило и дружелюбно, но в конечном счёте, когда ставки взлетят до небес, если ты обычный.
192: Сотрудник организации, я, честно говоря, не знаю, какое реальное влияние ты сможешь оказать на то, что эта организация предпримет. В решающий момент ты фундаментально ничем не управляешь. Ты сидишь в комнате, ты подкидываешь идеи, но ты не контролируешь ту махину, частью которой являешься. Так что здесь, как мне кажетс,
193: Есть определённые точки рассинхронизации, и при этом я должен признать, что во многом согласен с логикой вопроса. Лаборатории к худшему или к лучшему непрозрачны. Там кипит основная работа, они находятся на самом острие технологических возможностей. Они работают над тем, что пойдёт в тираж.
194: Только завтра, если ты находишься за пределами этой передовой, твоё понимание ситуации со временем неизбежно начнёт размываться, потому что ты отрезан от того, что только готовится к выходу. Я чувствую, что моё понимание тоже неизбежно начинает плыть. Я перестану чётко осознавать, как именно эти системы устроен.
195: Изнутри это закрытая система. Я не буду до конца понимать, как она будет развиваться дальше. И все в таком духе. Так что в этом смысле я согласен с наумом, и этот момент меня по настоящему нервирует. Действительно важно оставаться в контакте с тем, что происходит на самом деле и физически нахо.
196: Внутри передовых лабораторий. Если бы какая-нибудь из лабораторий позволила, чтобы я мог периодически подключаться и отключаться, ребят, кажется, кто-то ищет работу. Да, и мне кажется, это отличный формат работы, потому что, пожалуй, это единственный способ оставаться в курсе того, что про
197: Исходит на самом деле, но при этом не чувствовать, что эти структуры полностью тебя контролируют, так что, если честно, на мой взгляд, тот же, но может делать невероятно крутые вещи внутри open eye, но его самая масштабная и влиятельная работа вполне может быть сделана и за пределами компании.
198: Но это прямой призыв уходить в независимые исследователи с огромным багажом наработок, да, снаружи вообще куча дел, и в конечном счёте идеальный баланс, наверное, в том и заключается переходить туда сюда, и фундаментально ты можешь оказывать потрясающее влияние в обоих статусах.
199: Все это очень сложно. Вопрос действительно с двойным Дном, но лично я сначала пришёл в передовую лабораторию, теперь ушёл, а в будущем, возможно, захочу вернуться. Я смотрю на это примерно так. Ещё 1 вопрос, связанный с тем, насколько
200: Прозрачно для мира и всей ии экосистемы то, что происходит на передовой, насколько близко открытый исходный код подобрался к передовым моделям и насколько эта гонка вообще жизнеспособна, вся эта цепочка событий появление
201: Сильных китайских моделей мощных глобальных релизов оказалась довольно неожиданной, и, мне кажется, в ближайшее время люди продолжат выпускать открытые модели, которые с точки зрения возможностей окажутся гораздо ближе к топам, чем прогнозировало большинство экспертов в индустрии.
202: Не знаю, удивило ли это тебя, но ты сам давно вносишь вклад в открытый исходный код. Каков твой прогноз? Ну, если говорить грубо, закрытые модели все ещё впереди, но люди сейчас буквально по месяцам замеряют, насколько именно отстаёт открытый код. Сначала они вообще были нигде, потом отставание было месяц.
203: 18 а сейчас наметилось жёсткое сближение, сейчас они отстают где-то, сколько там по последним замерам, месяцев на 6 8 я очевидно огромный фанат опенсорс, вот если взять, к примеру, операционные системы, у нас есть закрытый код windows и macos это огром.
204: Софтверные проекты примерно в тоже самое сейчас превращаются и ллм, и есть линукс, но с линукс все просто это невероятно успешный проект, на нём работает подавляющее большинство компьютеров в мире, когда я последний раз проверял, кажется, около 60% system крутились на linux.
205: Я бы сказал, что бизнес всегда испытывал потребность в существовании такого проекта, и тоже самое происходит прямо сейчас с моделями. Бизнес хочет видеть такую альтернативу, но огромная разница здесь в том, что тут все упирается в капитал, в эту сферу требуются просто колоссальные
206: Капитальные затраты. И вот на этом этапе концепция открытого кода начинает немного пошатываться, и из за этого им гораздо сложнее конкурировать в привычном понимании. При этом текущие открытые модели уже очень хороши и что мне кажется интересным для подавляющего большинства потребительских кей.
207: Прикладных задач. Открытые модели, откровенно говоря, уже закрывают все потребности. Если заглянуть на несколько лет вперёд, мне кажется, огромный Пласт простых сценариев использования будет полностью перекрыт опенсорс, и эти модели будут без проблем крутиться локально, но при этом всегда будет сохраняя
208: Спрос на передовой интеллект и этот past может забирать себе огромную долю пирога правда, не исключено, что этот самый передовой интеллект потребуется уже для задач совсем другого масштаба уровня нобелевской премии или чего-то вроде давайте перепишем весь линукс си на rust, то есть для проектов.
209: Совершенно иного калибра. И, возможно, именно в этой нише и будут крутиться закрытые передовые системы, в то время как опенсорс постепенно сожрёт все более приземлённые базовые кейсы. В конце Концов, то, что считается передовой сегодня, уже, вероятно, к концу этого года станет доступно в опенсор.
210: И этот Пласт будет выполнять огромный объём работы, так что я вполне ожидаю, что эта динамика, по сути, сохранится и дальше у нас будут лаборатории с закрытыми ии, которые станут чем-то вроде цифровых оракулов, и будет опенсорс, который идёт следом с отставанием на несколько месяцев.
211: Думаю, этот тренд продолжится, и на самом деле это весьма неплохой расклад в целом, потому что меня немного пугает перспектива. Я не думаю, что это правильно структурно. На мой взгляд, в сценарии, где сильный интеллект остаётся исключительно закрытым и на этом все заложен.
212: Серьёзный системный риск, как по мне, у централизации в прошлом очень плохой бэкграунд, и она, ты имеешь ввиду в политических или экономических системах в целом? Именно, мне кажется, тут есть много сказал, как настоящий Выходец из
213: Восточной Европы да, поэтому мне хочется, чтобы существовал инструмент, пусть не на самом острие возможностей, поскольку там все новое, неизведанное и так далее, но идущий следом инструмент, который будет служить своего рода общим рабочим пространством для ii технологий, к которому у всей индустрии.
214: Будет открытый доступ, да, к тому же перед нами стоит огромное количество задач. Если продолжать развивать интеллект на самом передовом рубеже, мы сможем делать принципиально новые вещи, а у человечества полно по настоящему глобальных проблем. И, похоже, это и дальше будет оставаться очень
215: Дорогой игрой. Так что мне хочется поддерживать лаборатории, которые этим занимаются. Ведь есть вызовы, с которыми мы просто не справимся, если не будем двигать модели вперёд через эти безумно затратные процессы. И все же, как ты правильно заметил, если то, что вчера было продвинутым уровнем, сегодня уходит в открытый
216: Доступ это даёт колоссальные возможности, так что seal этой концепции и сама демократизация технологий видится мне очень полезными процессами да, можно сказать, что чисто случайно мы сейчас оказались в довольно неплохой точке, в оптимальной и в какой-то степени, чем дольше сохраняется
217: Это динамика, тем в более здоровом состоянии будет находиться вся экосистема, потому что площадь под этой кривой становится все больше и больше. При этом я должен добавить, что даже на стороне закрытых систем в последнее время, как мне кажется, централизация
218: Только усилилась. Многие из тех, кто бежал впереди, сейчас не обязательно удерживают позиции. И в этом плане ситуация не самая идеальная. Мне бы хотелось, чтобы передовых лабораторий было больше, потому что по умолчанию я всегда очень подозрительно отношусь к подобному. Я
219: Хочу, чтобы в комнате было больше людей в машинном обучении ансамбли моделей всегда работают эффективнее, чем любая одиночная модель. И точно также я хочу, чтобы существовали ансамбли людей, размышляющих над самыми сложными вызовами. Хочу, чтобы в комнате сидел ансамбль хорошо информированных специалистов.
220: Когда принимаются все эти ключевые решения, мне бы не очень хотелось, чтобы все решалось за закрытыми дверями силами 2 или 3 человек. Это плохой сценарий. Плохое будущее. Лучше было бы больше лабораторий. Я уверен, что опенсорс ещё сыграет свою роль. Надеюсь, он никуда не исчезнет.
221: Сейчас он идёт с небольшим отставанием, и это на самом деле даже к лучшему. Ты ведь в своё время работал над предшественником обобщённой робототехники автономным вождением в автомобилях. За последние пару месяцев в сфере робототехнических компаний произошло много всего. Например, ускорилось действительно.
222: Впечатляющая генерализация роботов. При работе с разной средой и задачами увеличилось число долгосрочных комплексных задач, да и денег в этот сектор вливается немерено. Изменилось ли что-то в твоём видении? Насчёт этого мой взгляд во многом сформирован тем, что я наблюдал в сфере беспилотников, и я действии.
223: Действительно, считаю автономное вождение самым 1 серьёзным применением робототехники лет 10 назад в этой нише было огромное количество стартапов, но в долгосрочной перспективе большинство из них, по сути, так и не справились. Я своими глазами видел, какого колоссального объёма капитальных вложений и сколько времени.
224: Не, это потребовало, так, что робототехника из за того, что это невероятно сложная и хаотичная штука, требующая гигантских инвестиций и железобетонной веры в успех. Это просто монументальная проблема. Работать с физическими объектами чертовски трудно. Поэтому мне кажется, что этот сектор будет от
225: Хватит того, что сейчас разворачивается в цифровой среде, в цифре нас ждёт масштабное раскрепощение процессов вещи, которые раньше были не особо эффективными, станут продуктивнее условно в 100 раз и все, потому что с битами работать проще. Так что если оценивать, где именно сейчас происходят технические
226: И где кипит основная жизнь, я бы поставил на цифровое пространство, в то время как физический мир будет идти позади с приличным отставанием. При этом мне кажется безумно интересным сам интерфейс на стыке этих 2 миров ведь если в будущем у нас появится больше ii агентов, действующих от.
227: Людей, агентов, которые общаются между собой, выполняют задачи и участвуют в своего рода экономике агентов, то в какой-то момент задачи, которые можно решить чисто в цифровом поле, просто закончатся. Рано или поздно тебе придётся выйти в реальную Вселенную и начать задавать ей вопросы сейчас
228: У нас скопился гигантский объём сугубо цифровой работы просто потому, что образовался избыток данных, мы, как человечество, чисто физически ещё не успели коллективно осмыслить все то, что уже оцифровано и загружено в сеть у людей банально не хватало циклов мышления, чтобы обработать терабайты уже имеющиеся
229: Цифровой информации, но мы довольно быстро начнём исчерпывать то, что уже выложено в общий доступ, да, в какой-то момент ii прочитает вообще все научные статьи, проанализирует их и сгенерирует идеи о том, что ещё стоит протестировать, но я, честно говоря, не знаю, насколько сильно можно развивать.
230: Интеллект, если он ограничен только той информацией, которую в него изначально заложили. Поэтому, как мне кажется, сначала произойдёт мощный рывок и автоматизация в цифровой среде, там сейчас Непочатый край работы, а затем фокус сместится как раз на интерфейсы между физическим и цифровым мирами.
231: То есть на сенсоры, позволяющие ии видеть реальность, и на актуаторы, позволяющие ему как-то на эту реальность воздействовать, сможем ли мы подпитывать суперинтеллект физическими данными и сможем ли мы забирать эти данные обратно, чтобы манипулировать физическим миром по его указке, а затем наступит черёд?
232: Самого физического мира. Мне вообще кажется, что его потенциальный объём рынка с точки зрения масштабов работы и задач просто колоссален. Он, возможно, в разы больше того, что можно сделать в цифре. Так что глобально это куда более масштабная возможность, но это потребует титанического труда, а
233: Атомы, повторюсь, даются в 1000000 раз тяжелее, так что робототехника будет отставать. Хотя в перспективе этот рынок и крупнее. В общем, все эти возможности будут открываться именно по такой траектории. Прямо сейчас. Мой главный интерес лежит в цифровой сфере следующим шагом 100.
234: Интерфейсы между цифрой и реалом, а уже потом придёт время чистой робототехники и физического мира. И когда их время придёт, это будет нечто грандиозное. И это очень интересная концепция, потому что определённые вещи не те, над которыми я работаю прямо сейчас, но не
235: Некоторые другие даются гораздо проще даже в мире атомов, если подумать о процессах в формате чтения и записи в физический мир. Например, чтение это сенсоры, камеры, здесь уже существует огромная база готового железа, и можно легко представить, как расширяются возможности.
236: Агентов или как собираются массивы новых данных. Если просто подойти к делу с умом, для этого не обязательно вливать кучу денег, чтобы получить что-то ценное. Да, абсолютно из того, что я видел сам. Например, мой друг лиам сео периодик. Я как раз заезжал к ним на прошлой неделе, так что
237: Это 1, что приходит на ум. Они пытаются запустить автоисследование в области материаловедения и в их случае сенсорами для искусственного интеллекта выступает довольно дорогое лабораторное оборудование. Тоже самое справедливо и для биологии там датчики это далеко не просто видеокамеры, если
238: Понимаешь, о чем я? Ещё 1 пример, который я наблюдал, это компании, которые, по сути, платят людям за сбор обучающих данных, чтобы скормить их боргу. И все это, если вдуматься, примеры тех самых сенсоров. Просто они при
239: Принимают самые разные формы и форматы. Да, я очень жду того момента, когда смогу закрепить какую-то задачу в физическом мире, установить за неё цену и просто сказать агенту, слушай, разберись сам, как это сделать. Иди и добудь мне эти данные. Меня, кстати, удивляет, почему у нас до сих пор нет
240: Полноценных рынков информации. Вот если взять, к примеру, полимаркет или другие платформы для ставок, или даже фондовый рынок, там ведь наблюдается колоссальная автоматическая активность и её объёмы только растут. Так почему бы, ну, к примеру, если бы условные события в иране происходили прямо сейчас?
241: Почему до сих пор нет процесса, при котором получить фото или видео из конкретной точки тегерана стоило бы, скажем, 10 $, и смотреть на этот снимок будет не человек, его затребуют агенты, которые пытаются просчитать исходы на тотализаторах или спрогнозировать движение акций, мне кажется, в агентском вейбе.
242: Пока просто не выстроены подобные механизмы, но это наглядный пример того, к чему мы, скорее всего, придём есть отличная книга на эту тему daemon ты, по сути, читаешь её и видишь, как интеллект в итоге начинает в каком-то смысле кукловодить человечеством люди для него становятся одновременно и актуаторам.
243: И сенсорами. И, мне кажется, наше общество коллективно перестроится определённым образом, чтобы обслуживать в масштабах всей индустрии. В итоге сложится ситуация, когда уровень автоматизации станет запредельным, у систем появятся свои специфич.
244: Запросы и люди будут обслуживать потребности этой глобальной машины, а не обязательно потребности друг друга. Но мы как раз остановились на этом конкретном моменте. На нехватке определённых фрагментов, обучающих данных. Нам ведь нужно что-то вроде авто исследований, так чтоб
245: Сам цикл обучения или этап сфти стал гораздо более механизированным. Для какой именно части, чтобы полностью автоматизировать сбор? Ну то есть убрать человека из цепочки и ставить задачу в духе просто повысь мне качество модели за счёт новых данных.
246: Да, в этом ведь есть смысл. Если ты не можешь дать модели возможность самостоятельно запускать циклы обучения, то твоя способность превратить это в замкнутый автономный процесс, где ценность данных определяется их ценой.
247: Сильно усложняется. Да, да, на все 100%, но штука в том, что сейчас мы уже это можем и для обучения ллм такой подход подходит просто идеально. Так что на самом деле стоит ожидать чёткую метрику, да, обучение
248: В эту парадигму укладывается очень хорошо и изящно. Сюда ложится вся оптимизация кода, чтобы процессы шли быстрее. Плюс у тебя есть понятные метрики, под которые можно подстраиваться. Правда, мне кажется, что если запустить автономный цикл чисто поверх этих метрик начинается жёсткий
249: Система просто переобучится под конкретные показатели, но, с другой стороны, ты можешь использовать эту же систему для создания новых, более Глубоких метрик, обеспечив отличное покрытие. Перед тем, как мы закончим, я хочу поговорить об 1 твоём маленьком стороннем проекте.
250: Скажи мне про микро gpt оо да, микро gpt у меня есть такая давняя навязчивая идея, ей уже наверное десяток другой лет максимально упрощать и раскладывать эллэ до их самой чистой голой сути. У меня было много проектов в этом направлении нано gpt мейк.
251: Micro, gpt, микрограф и так далее и вот сейчас микро gpt это мой личный венец творения в попытке ужать все это до абсолютного базиса. Дело в том, что полноценный код для обучения нейросетей и ллм. В частности это огромный массив данных, но вся эта
252: Кодовая база раздута исключительно ради эффективности проще говоря, чтобы все работало быстро если скорость для тебя не приоритет и тебя волнует сугубо сам алгоритм, то этот алгоритм легко умещается всего в 200 строк на python читается элементарно, и это с учётом коммен.
253: И всего прочего, ведь у тебя есть dataset, просто текст есть архитектура нейросети строк на 50. Тебе нужно сделать прямой проход и обратный проход для расчёта градиентов. Сам движок автоматического дифференцирования для расчёта этих градиентов занимает строк 100 плюс тебе.
254: Нужен оптимизатор. Например, Адам это топовое передовое решение, которое занимает, ну, строк 10. И если собрать все это воедино в 1 цикл обучения как раз и получаются те самые 200 строк, что мне показалось забавным год назад или больше. Если бы я написал микро gpt, у меня сразу возникло
255: Искушение подробно объяснить людям, как он устроен, записать видео с детальным разбором кода или типа того, я даже честно пытался начать делать такое видео, но в процессе я поймал себя на мысли, что в этом уже нет особого смысла. Код и так настолько лаконичный, что абсолютно любой человек
256: Может просто попросить своего ii агента объяснить этот кусок сотней разных способов, и теперь я объясняю механику не людям, я объясняю её агентам, а они могут транслировать это человеку на его родном языке с бесконечным терпением и подстраиваясь чётко под его уровень.
257: И все в таком духе. Если я не понимаю, как работает вот эта конкретная функция, я могу попросить агента объяснить мне её 3 разными способами. Именно. И я невольно задумываюсь, а что вообще такое образование? Раньше это были методички, гайды, лекции, но сейчас я ловлю
258: Себя на том, что все чаще объясняю вещи именно агентам. И возможно, я создаю своего рода навыки. По сути такой навык это просто инструкция для агента о том, как правильно обучать конкретному предмету. Например, я мог бы прописать для микро gpt пошаговый план освоения материала.
259: Через который, как мне кажется, агент должен провести пользователя, если тот хочет досконально разобраться в кодовой базе, это просто подсказки для модели в духе. Так, сначала начни вот с этого, а потом переходи к тому. То есть я могу просто немного структурировать учебную программу в виде такого навыка.
260: Так что да, мне кажется, мы будем все меньше объяснять что-то людям все сведётся к вопросу, понял ли это агент, и если agent понял, то он сам все объяснит. Но пока что, как мне кажется, я все ещё могу разжевать. Некоторые вещи намного лучше, чем и, но модели совершенствуются насто.
261: Столько стремительно, что это в любом случае выглядит как заведомо проигранная битва. Из за этого сфера образования подвергнется очень серьёзной пересборке, где в каком-то смысле наступит конец эпохи, когда люди учат друг друга. Вот взять, к примеру, библиотеку кода или что-то подобное. Раньше ты писал тонны документа.
262: Для других разработчиков, которые будут использовать твою библиотеку, но сейчас делать этого больше не нужно вместо того, чтобы клипать html страницы для людей, ты пишешь маркдаун, документы для агентов, потому что если агент разберётся, он потом без проблем все объяснит, понимаешь, это такой.
263: Перенаправление потока информации через агентов. Думаю, в будущем мы такое увидим. Что ж, посмотрим, разовьют ли великие учителя интуитивное понимание того, как объяснять вещи агентам как-то совершенно иначе. В конечном счёте. Например, если взять тот же микро gpt, я ведь ради интереса.
264: Попросил агента написать его. Я ставил ему задачу попробуй ужать и упростить механику обучения нейросетей до абсолютного минимума, и он не смог этого сделать, потому что микро gpt это квинтэссенция моей личной многолетней одержимости. Это те самые 200 строк, я думаю.
265: Об этом очень долго. Я был буквально помешан на этой задаче. И вот оно, финальное решение. Поверь мне, сделать его ещё проще. Уже физически невозможно. И в этом заключается моя добавленная стоимость. Все остальное агент прекрасно улавливает, он не может додуматься до этого сам. Но когда ты пока
266: Показываешь ему готовый код, он полностью его понимает и осознает, почему все написано именно так. То есть мой вклад это вот эти несколько уникальных крупиц информации, а вся последующая образовательная часть, которая разворачивается вокруг них, это уже вообще не моя забота, то, что агенты
267: Делать не умеют. Теперь твоя работа. А то, что они делать умеют уже сейчас или очень скоро будут делать лучше тебя и к трате своего личного времени нужно подходить стратегически. Что ж, мы очень ценим эти крупицы знаний. Спасибо, Андрей.