ym104432846
Вставьте ссылку на видео из Youtube, Rutube, VK видео
Задайте вопрос по видео
Что вас интересует?
00:00:00
Выбор типа инференса:
  • Возможность использовать локальный или облачный инференс
  • Локальный инференс требует GPU и контроля, облачный проще в использовании, но менее управляем
00:01:06
Установка Lamda IV:
  • Инструкция по установке через командную строку
  • Использование jetson репозитория и установочного скрипта
00:02:35
Запуск и тестирование:
  • Создание хранилища данных занимает около 18 секунд
  • Время генерации текста составляет примерно 4 минуты
  • Скорость генерации токенов — около 13 токенов в секунду
00:04:16
Настройка размера контекста:
  • Изменение переменной CONTEXT_SIZE в конфигурационном файле
  • Перезапуск сервиса для применения изменений
00:05:41
Работа с облачным инференсом:
  • Подключение к облачному инференсу через дизайн-аккаунт
  • Проверка скорости соединения и времени первого инференса
00:07:02
Разработка и запуск кода:
  • Скрипт для сортировки файлов по алфавиту и дате изменения
  • Критерии проверки работы инструмента и производительности
  • Запуск кода напрямую на локальной машине или через командную строку
00:09:08
Использование навыков и проверка работы:
  • Навыки можно запустить отдельно или совместно
  • При прямом вызове навыка результат более точный
00:10:45
Запуск Coda на Jamfor:
  • Процесс запуска может занять пару минут впервые
  • Генерация кода происходит быстрее благодаря новым моделям
00:11:26
Сравнение локального и облачного инференса:
  • Локальные инференсы позволяют сохранять данные на устройстве
  • Облачные решения оптимальны для масштабируемости и экономии ресурсов
0: Class a i dent that can use different ирен н. Нормали коннект ту entropic серверс, мол, 1 tasks that two main reasons people want to different инференс солюшен кастэн, провеси каст изи ту андерстенд.
1: You can run local, колдинг модел виз, а протоки чарджес, оо ю лес, экспенсив, клауд инференс, провайдер провеси из a little more nuance the инференс провайдер, ресив зе реквестс энд продюсер the responses that make source code and other projects контекст соу ит ultimately become a quest of thrust.
2: But this video you will know how ка виза или and ways to maximize, потенциал с from come here is there is place to start Ван клад.
3: Vita mortal and свочи between local and cloud, модалс и straight forward, it is not the fastest интерент солюшен, тул сас лада си пи пи and we all lm over more control and performance, but реквайр мор сеап Азер клауд провайдер.
4: Эвейлабл ту including in videos фрихостинг моделс.
5: Lets get started in install ламма iv ю плен юзинг елама сервис to connect to a cloud инференс сервер you will need десайн апп. А account if you are running everything локли ю ду нот нид Ван.
6: The free plan and paid plans the paper to лоджии моделс энд провайда, сеч лимитс.
7: Installing олама из a single command on jason сама верил нид ту би сэд апп фо олама ту тэйк оф, the gpu on the джетсон репозитории н гет ап зе из repository name джетсон тулс ю кэн фо инсталейшн instructions.
8: This case i just going to install script the script this is work thing up the service to gpu проперли линк ин зе дискрипшен.
9: Lets create directory to working in switch over to that directory.
10: The install script from the directory.
11: Амарти скрипт эксекьютив энд зен ранет.
12: Упс анид суду.
13: И takes about a minute to install.
14: Lets open another терминал ту мейкер, эврисинг тук.
15: Now vip Ван биллион премер мотал ту c everything works.
16: From here on out in the video that a lot of time, compression, for example, this is showing that takes two and have minutes to get to the the metal is talking with you this is three things that time текст the metal to, а the time to eat in the memory and the time to build its кэше.
17: Time is one time cost летс Ранит эген иф зе сервер из ready ворд апп зе стартап из very fast тел ми стори эбаут гус зеле голден ээг.
18: It takes about eighteen seconds to create the store generates эраунд серии токен пёр секонд н фри, но for by this is about the ладжест модал ви кэн изили фион, да.
19: It takes about four minutes before you can win the metal, a quick test on this one tell me a good story.
20: The model of and producer and more ли густел итс лоне при сторителлер?
21: Right about thirteen токен по second you can see that were using эбаут севенти файв процент оф the memory летс опен ап зе терминал соу ай кэн шоу ю Ван и u about running the н локли он the jason no using for key of context.
22: Клад код нидс эраунд сиксти 4K инфорнал зе и don't have an of memory to command that you may be able to fit the model in context in but that much бионет ю нид эн афру ту экшели хэв девелопмент тулс би он the ll mm running реалистик ли ю.
23: Want to be able to run and d. Bag the application that you are developing the context ей мемори летс гоу в how you can change the context сайз байан зе сервис конфигурейшен файл.
24: To change the context сайз ви Вил наймёт вариабл а 100 g i in files бикоз зе плейс во он видео.
25: Will open лама сервис файл инсайт зе контакт сайз ту сикстин кей
26: Maker, the save the file.
27: Then we ve lo the system daemon.
28: Restart лама сервис?
29: Now free for биг ви кэн контекст и xvi кей.
30: King metal on the но вот can we do free places to run in metal from first you on your development машин иф ю хэв мемори ресурсес секонд ю can t from your machine work?
31: Finally said, you can connected to a cloud based инференс провайдер зе сервер of these types of providers зэт провайд фри о in expensive опен вэйт инференс инг сервисис ту юз клауд бей инференс сервер ви нид дисайн ИНН а using the free plan?
32: Go through the веб браузер.
33: Аутентике шен let's go take a look, the module щит, ви кэн ран, серии belly of нимо трон, 3 летс мейк э гоу зет.
34: You can see that the connect олмост медали in time to first инференс из very short.
35: Lust for gus стори.
36: You can see it why it faster and generator it about sixty токенс оо секонд?
37: Ok, lets have go running, клад код the name of the metal, hard it, южели зе нейм оф зе мои n iv claude код is not installed, тем to installed it doesnt take very long.
38: Автор инсталейшн её little bit of setup to set your preferences.
39: Then you ready to go.
40: Script which лист the н. Директи содед ИНН риверс, alphabetical order, инклуд файл, сайз энд, modification date.
41: As expected, скрипт create and saved is the first for you to play when using a кодинг мотал ду you understand the call the rights you will be reviewing the code криэйтед до align with эстетик оо make you dream scene ю вот do it this way.
42: Критерия из checking to see the call экшели works and how much time do you need the ли перформ вот you describe.
43: You may be spending, вери мени ауэрс, колдинг виз зе тул имён ремембер, воркс фор ю. You dont work for it.
44: Автор инсталейшн ю can run клад ко директли, он тропик servers without having to make any changes, or have a and world you simply ланч клад Фром зе коменд лайн зен ю Вил би это if you have not ready, you will need to have a and тропик план а.
45: Stir the проплен н. Ю. Логин, тру the веб браузер, ю. Реди та. Холдинг.
46: Write the reverse order директории, скрипт бифор и solution, provided is to simply use the utility with proper флагс ту продюс зе резолт ивен фо самсинг симпл итс интрестинг ту си the difference in the solutions нау летс стол.
47: Device скиллс вив дан this and previous videos бай cloning, repository and running in install script we can have this task директли, плиз, локейт, зе девайс, скиллс, он get up and the термин иф ю кэн стол зем ду нот, стол онли.
48: А, ю. Кейпл, Эвин, столин, ит.
49: To see jason to judge by a maybe maya Тулин, или?
50: I. C. The same of клад виз Санет, джастин девайс, скиллс из локейтед энд then the скилл, стол, the вентед, энтропии и клад код из that can control the full experience олсоу андерстенд interaction ю can just или install the skills традишнл.
51: Likely in last time with no токенс з юзинг 1 system is that you dont need no ask to комплишен таскс.
52: The check is working with skills for example, оо нимал трон фри нет by when i est the квэсчен зет шут эв триггер, е. Скил, ай ресив зе дженерик энсер инстэд в when i called the скил директли ит воз корректли execute.
53: Andeli это ордер не add x, o, aj x y и aj x o n jam for thirty one by which is a dance metal. Вот.
54: Eight million for help this coding the point is over the last её bin пуш ту и experts моделс вич generate, токенс, фастер ин зе сейм футпринт.
55: Лес эген фо зе Густ стори.
56: This metal the story as Ван и fables нет the store, кордингли и probably didnt write матч код со story telling вебл компании c id first тапир.
57: Let's ланч клад код with jam for.
58: You take a couple of minutes to launch the first time.
59: The rivers соте директории дискрипт имплемент колл ту c with the flags силер ту зе проч. Зинат, но test to determine if this is the correct modal фо ю кейс мотал селекшн.
60: Serious процесс as this is writing code, which will execute on your machine and other option is to use that for c a колдинг мотал сервер you can run клад код рекли он the four пут зе фор, он её локал нетворк энд ла кодинг, agents on other computers юит, мотал ит ферст.
61: Metal, локли, симс лайк э no прене ю редюс каст энд е project data can stay on your machine or local work but трейдофф ю хэв ту баланс cost провеси энд кейли ю ниид Ван от for everything you fran моталс фо.
62: Дизайн and heart problems use кейпл локал моталс ор хостед опен Вейт моталс фо зе рест зе гол из not to run everything локал.