0: Да, всем добрый день. Давайте познакомимся. Меня зовут Александр Константинов. Я буду рассказывать 2 модуль курса. Это разработка чат приложений с лм. Сейчас я работаю в компании клауд ру на позиции тех,
1: Эксперта по облачным технологиям и разработке. Также у меня есть опыт работы в качестве ситио, компании, которая занимается интеграцией и разработкой приложений. Наш курс будет очень интересный, но для того, чтоб нам более
2: Правильно работать с моделями. Нам нужно начать немного с базы. И сегодня мы разберём основы интеграции модели через api. Давайте начнём, будет очень интересно и сразу расскажу. Давайте, как будем работать. Вопрос.
3: Предлагаю задавать. После того, как мы пройдём практический материал. Также по ходу презентации я буду иногда останавливаться, задавать какой-нибудь вопрос. Пишите, пожалуйста, ваши ответы в чат, мы их сразу же разберём.
4: Давайте тогда начинать.
5: Так, сегодня мы поговорим про интеграцию лн через api.
6: И план будет такой мы разберём, что такое pi, зачем он требуется, немного поговорим про tp, что, что такое методы get post, поговорим о том, как аутентифицировать наше приложение и зачем это требуется, разберём некоторые.
7: В модели open ияй, яндекс, GigaChat посмотрим на структуру аштипи запросов и сделаем практику, да, сделаем наш 1 запрос через постмен, также сделаем некоторые интеграции, посмотрим, как параметры влияют на генерацию. Да, будет.
8: Немножко советов и лучших практик. И потом уже перейдём к вопросам.
9: Api это то, что используется в современном мире практически во всех приложениях, и это такой универсальный способ соединить несколько приложений друг с другом, да, расшифровывается как application программи интерфейс.
10: Это интерфейс, который позволяет программам обмениваться данными по определённому протоколу, то есть по набору заранее оговорённых правил. И я привёл небольшой пример, да, это вот меню в ресторане мы приходим, выбираем какое-нибудь блюдо, просим официанта, а он нам приносит
11: Наш заказ и давайте посмотрим как это выглядит схематически у нас есть пользователь или это может быть клиентское приложение он посылает запрос на api api, обрабатывает запрос и
12: Получает какой-то ответ, и этот же ответ возвращается пользователю, он может быть немножко преобразован, но обычно там в форматах html json, эти данные возвращаются.
13: А почему же api очень важен? Да, это такой интерфейс, который позволяет нашим системам интегрироваться друг с другом без api. Интеграция была бы достаточно сложной, так как не было бы единого протокола и приложения могли бы со
14: Ими, собственными технологиями работать. И при этом другие приложения очень сложно бы к ним подключались. А так как у нас есть стандартный протокол для общения приложений, то мы можем легко соединять различные системы друг с другом и
15: Позволяет нам использовать сторонние сервисы, да, вот у нас есть различные облачные сервисы, мы хотим подключить их к своему приложению. И таким образом, через api мы можем это сделать. Кроме того, айпиай позволяет сделать это безопасно.
16: И это позволяет нам расширять наши приложения и масштабировать их.
17: В основе пиа лежит протокол итипи напишите пожалуйста в чат, кто знает что такое tp и пользуетесь ли вы этим протоколом когда-нибудь.
18: А я вижу ответ нет.
19: Да, конечно, обязательно поясню. Так, на самом деле все мы пользуемся протоколом. Http, каждый раз, когда вы открываете страницу в браузере, да, ваш браузер посылает запрос к днс серверу для того, чтобы определить, каком
20: Серверу определи послать этот запрос дальше с сервер возвращает нам ip адрес, и по этому ip адресу мы идём и посылаем наш запрос на сервер. После этого нам возвращается ответ. Вот, например, даже сейчас да, мы сидим.
21: В зуме зум посылает эти запросы на сервер и получает ответы. Соответственно, мы можем общаться друг с другом через чат, например.
22: Внутри лежит тисипи соединение tcp, соединение позволяет именно передавать пакет с данными, и это транспортный уровень нашего протокола.
23: Сам tp он небезопасный, поэтому мы дальше посмотрим, как он работает безопасно, да, но сначала расскажу, что это такой универсальный протокол для передачи данных между браузером и сервером и также между
24: Различными серверными приложениями и http protocol лежит в основе практически всех api конечно есть ещё и другие протоколы для работы api, например gypsy, но мы их не будем сегодня рассматривать, так это уже
25: Более продвинутая тема ну, в принципе практически все современные пиай, включая те, которые используются для лм, они используют другую версию протокола это tps типиэс, значит аштипи секьюр, то есть безопасный вариант.
26: Соединение. Он работает немножко по другому, да, когда мы установили уже наше тисипи соединение при помощи сертификата, данные шифруются и таким образом данные, которые посылаются по соединению, они даже если будут
27: Перехвачены злоумышленниками, они не могут быть расшифрованы. Поэтому вот, например, в браузер, если вы заходите на аштипи сайт, он сразу же помечает его красным цветом. Говорит, что здесь лучше не передавать никакие данные. А ес
28: Соединение с корректным сертификатом эйчтипис, то браузер помечает его как безопасный. Таким образом вы можете безопасно вводить какие-либо данные на таком сайте, они будут зашифрованы, и это значит, что никто между
29: Вами и сервером не сможете данные перехватить и прочитать.
30: В основе типи лежат различные методы. Это есть методы get, которые позволяют нам получать данные. То есть вот мы открываем страницу в браузере, и мы сразу же получаем какие-то данные. Это метод get, метод пост служит
31: Того, чтобы сохранять какие-то данные, либо отправлять данные. Вот например сегодня мы рассмотрим, как отправлять данные при помощи инструмента постман. И мы будем посылать как раз пост запрос с нашими данными.
32: В get можно положить некоторые данные в url тело запроса в методе get не существует вот в методе пост данные можно передавать в теле запроса в различном формате, например json, xml или просто в тексте.
33: Метод get не безопасен для передачи данных, так как данные видны в url и любой, кто перехватит этот url, он увидит все данные в методе пост. Эти данные скрыты, они теле запроса.
34: И немножко примеров использования, да, get можно использовать для поиска информации, для получения информации, для фильтрации чего-либо. А медпост используется для отправок, форм и создания каких-либо данных. Каждый раз, когда на сайте заполняем форму, мы отпра.
35: Метод пост для того, чтобы отправить эти данные на сервер.
36: И немножко поговорим о том, как практически выбрать нужный тип. Метод. Это требуется для создания собственных приложений. Но, в принципе, понимая, как какой метод работает, мы можем взаимодей.
37: С различными существующими апи интерфейсами. Метод get позволяет нам читать данные. Метод. Пост позволяет нам создавать данные. Если нам нужно изменить данные полностью, то мы используем метод пут, если
38: Нужно изменить данные немного. Например, изменить 1 поле в данных, то мы используем метод patch. Если мы хотим удалить данные, то мы используем метод delete. Звучат все методы. Логично и
39: Очень легко понять, какой метод для чего служит.
40: Давайте разберёмся, из чего же состоит аштипи запрос. Мы не будем вдаваться там в полные подробности. Посмотрим на 4 основных блока, из чего он состоит. Самое главное это url. Это путь к нашему ресурсу, например?
41: Google точка ком это url когда мы обращаемся к url, браузер автоматически идёт в днс сервера, получает ip адрес сервера, где располагается google, и обращается к нему напрямую.
42: 2, это метод, который мы только что рассмотрели. Также передаются заголовки заголовки, показывают метаинформацию, которую мы хотим передать. Например, это тип контента. Если мы посылаем джейсон и хотим получить обратно джейсон, то мы передаём контент.
43: Time jason также есть заголовок авторизейшн этот заголовок передаёт ключи для доступа к ресурсам, и обязательно должно быть тело запроса для методов post, и put это тело может быть.
44: Также в формате json либо xml, либо текста.
45: Здесь схематически приводится структура, тип запроса вот у нас есть url мы будем работать на примере апи модели open ияй. Есть url чат комплишен метод.
46: Передаём заголовки тип контента наш ключ, который мы получаем в open яй аккаунте и передаём наше тело запроса. Там модель gpt 5 мини. И какие сообщения мы отправляем. Да, например, вопрос что такое api?
47: Заголовок авторизейшен позволяет нам сделать аутентификацию аутентификация это процесс подтверждения личности того, кто делает запрос kpi когда вы создаёте аккаунт в опен, либо в любом другом провайдере вы.
48: Получаете ключ для доступа. Это ваш уникальный ключ и все запросы, которые вы делаете с использованием этого ключа, они автоматически идентифицируются как это, как ваши запросы, да, и таким образом сервис может
49: Понимать, что это именно вы делаете эти запросы. Таким образом, важно никогда не передавать ключи безопасности и безопасно их сохранять, например, с использованием вот систем.
50: Работает так и спрашивает, кто же ты, и дальше решает, можно ли дать доступ, есть ли такой пользователь, есть ли у него необходимое количество токенов для того, чтобы обработать запрос и многое другое проверяется и безо.
51: Опасность нужна для того, чтобы только доверенные пользователи могли обращаться к api, также мы можем учитывать, какое количество ресурсов этот человек или сервис потребляет, и также таким образом мы защищаемся от злоупотребления.
52: Так, например, если случайно ваш ключ куда-то утекает, и вы понимаете, что он утёк. То есть некоторые, во первых, проверки, например, если случайно залить ключ на гитхаб, то сервисы мониторят эти клю.
53: И автоматически могут прислать емейл, либо выключить этот ключ, либо также вы можете сходить в интерфейс и удалить старый ключ, создать новый, если вы понимаете, что он у вас утёк,
54: Существует 2 типа, 2 основных типа аудентификации випиай, которые нам потребуется знать. Это базовая идентификация. Логин и пароль передаётся в формате б 64. Эта идентификация в наших случаях будет использоваться только для модели гига.
55: Для того, чтобы получить основной токен для идентификации. И 2 способ, который используется практически во всех провайдерах, это токен токен доступа, который передаётся в строке авторизейшн.
56: Базовая аутентификация работает при помощи пары логин пароль, которые создаются в сервисе, и, используя эту пару, мы можем получить токен для авторизации в api, например, в GigaChat и дальше.
57: Потом мы можем передать это token уже для того, чтобы непосредственно обратиться к модели.
58: И привет. Пример может быть такой, что вот авторизейшен заголовок мы передаём так как авторизация называется базовая, то мы передаём бейсик и наш зашифрованную строку.
59: Биржи токены это динамические токены доступа, это тот самый основной механизм аутентификации всех моделей. Они используются для безопасной гибкой авторизации. И здесь в заголовок мы передаём уже ключ.
60: И наш ключ.
61: Работает так браузер или клиент? Приложение посылает запрос.
62: И передаёт токен, мы получаем, проверяем, есть ли такой пользователь, и возвращаем уже сам токен. Так работает чат. Эта часть это базовая авторизация после того, как мы получили
63: Этот токен мы посылаем уже сам запрос и передаём этот токен. И сервис уже проверяет, что токен валидный. Этот путь авторизации позволяет сделать более безопасно, так как токены, которые выда
64: По имени и паролю они временные, и через 30 минут либо через 1 час, в зависимости от настроек, они выключаются, и нужно запрашивать новый токены, которые выдаются напрямую в enter.
65: Вроде open я они постоянные если такой токен утечёт, то через час он не перестанет самостоятельно работать.
66: Итак, мы теперь понимаем базу, как работает аштипи. Напишите, пожалуйста, в чате, а кто-нибудь уже работал с каким-нибудь api модели или вы работали только через интерфейс?
67: Отлично, да, у нас даже есть люди, которые работали с api. Кто-то работает только через интерфейс да, сегодня вы узнаете, как интерфейс работает под капотом, так как сам интерфейс он обращается к серверу, использует api тоже.
68: Поэтому давайте изучим более детально, как же это работает. Айпиай это интерфейс для доступа к большим языковым моделям, причём интерфейс, который позволяет общаться другим приложениям с моделью таким
69: Образом можно строить собственные приложения, есть различные чат, боты, есть различные сервисы, которые вы также, скорее всего, пробовали использовать. Ну и также интерфейс того же chat gpt обращается к api, и он позволяет нам отправлять
70: Текст запроса получать ответы генерируемые модели.
71: Давайте немножко посмотрим на провайдеров, которые есть, я выбрал популярные, но на самом деле есть очень много других провайдеров. Также есть агрегаторы, такие как open роутер, которые позволяют обращаться к любым моделям.
72: Вот пример 1 из популярных это open я у них есть модели, там gpt 4, gpt, gpt 5 недавно вышла модель 5 1.
73: У них есть url api, опен, точка ком и авторизация через биржу токен, который получается в интерфейсе своего личного аккаунта.
74: Google джеминай, у них модели есть джимин про gemini лайт. Точно. Также они аутентифицируются по ипиай ключу провайдеры из России. Да, это яндекс gpt, также он работает по
75: По нескольким видам идентификации это токен либо api ключ м токен это как GigaChat, когда можно получить токен по базовой авторизации.
76: Да, есть cloud py 20 различных моделей и также есть так называемый опен её, compatible, провайдеры. Мы о них поговорим более подробно чуть дальше они могут давать доступ к любым моделям, например, в
77: Diptyque мистрали и другие.
78: И для того, чтобы послать запрос к модели, нам нужно понять основные параметры, которые мы можем передать модели. Может быть название, например, моделька, которая уже, наверное, редко используется, но с неё
79: Все начиналось, поэтому я решил её добавить, так как это 1 из самых популярных моделей, из за которой случился бум я инструментов это gt 3 с половиной турбо мы, кроме модели мы передаём сообщение.
80: Может быть роль, например, системная, как системный пром задать, либо роль. Пользователь.
81: И мы передаём контент. Это, собственно, тот самый вопрос, который мы задаём. Также мы можем передать параметр. Температура, максимальное количество кенов для генерации и такой параметр как презент.
82: Итак, температура, что это такое звучит интересно, но на самом деле это параметр, который регулирует то, насколько креативно модель будет отвечать, если мы хотим, чтоб модель отдавала нам точные ответы, например, для
83: Анализа данных для сценариев с тем, что
84: Мы хотим получить точный ответ, научный, например, либо математический, то температуру нужно выбирать 0 или близкую к этому, если мы хотим делать более креативные материалы, например, генерировать какие-нибудь тексты.
85: Для продвижения нашего товара, либо что-то другое для маркетинга, то мы можем использовать параметр 1, который даст нам сбалансированную креативность, а температура 2 уже даёт нам максимальную креативность, вариативность. То есть модель будет максимально приду
86: И меньше опираться на факты.
87: Максимальное количество токенов это просто ограничение длины ответа. Сам токен это примерно 0 75% от слова, 75% от слова. Для русского это немножко меньше букв. Но на самом деле Макс такенс просто ограничит
88: Количество токенов, которые мы получим. Но при этом смысл от этого не изменится. И можно получить недогене ированную фразу. Стоит использовать этот параметр, когда мы знаем, что у нас контент не должен быть, например, больше 100 токенов.
89: Примерно 300 400 символов и таким образом ограничить, но обычно в сценариях не требуется ограничение этого параметра.
90: Параметр фрикен пеналти позволяет нам делать текст более уникальным, как он работает. Если мы ставим 0, то у нас как бы нет штрафов за повторение слов, и таким образом наша модель может
91: Генерировать любые последовательности слов и может сколько угодно раз использовать повторяющиеся слова.
92: Если мы ставим больше нуля и чем выше этот параметр, тем меньше будет повторений. Если мы ставим меньше нуля, то модель будет склонна более чаще повторять слова. Таким образом, можно воздействовать на генерацию контента, сделать его более уникальным, либо
93: Стараться использовать меньшее количество слов.
94: И давайте немножко разберёмся, что ж такое токены. А токены это то, чем оперирует модель. У каждой модели есть свой токенайзер, но есть вот токенайзер, который используется большинство моделей, это open ияй, его можно найти.
95: На сайте open презентации также будет ссылка, и здесь можно посмотреть, как он выглядит на русском языке, например, вот пр. Это 1 токен и wet, это тоже 1 токен и
96: Всем это тоже 1 токен. Вот количество токенов, оно не всегда, например, 4 буквы, это токен, это в среднем примерно 4 буквы, это токен, но не всегда. А все зависит от того,
97: Какое количество данных с такими символами было в выборке модели?
98: И теперь перейдём непосредственно к запросам, мы рассмотрим несколько провайдеров и посмотрите внимательно вот самое важное запомнить этот самый запрос к open ai.
99: Потому что формат запроса опен я это 1 из самых главных контрактов, которых используется практически везде.
100: Вот, и запрос. Давайте сразу посмотрим, как какой формат будет запросов. 1 мы показываем, какой глагол мы посылаем. Да, это метод, пост.
101: 2 это url, к которому мы обращаемся дальше, это заголовки, это здесь у нас тип контента, авторизация и дальше тело запроса это самый минимальный запрос к open api, который можно послать.
102: А кто знает, доступен ли open яй из России?
103: Да д. Недоступен, все правильно.
104: Проблема в том, что open eye на некоторые страны не работает и таким образом ограничивает доступ из этих стран к сожалению, из России тоже нельзя работать официально с open eye, но для этого.
105: Пользуется прокси сервер прокси. Сервер позволяет нам пересылать запросы к нужному провайдеру. При этом, как это работает? У нас есть наш сервис, который располагается на территории России. Мы отправляем запрос.
106: К прокси, серверу и прокси. Сервер присылает запрос от имени себя. Точно тот же самый запрос, который мы послали, но от имени себя получает ответ и возвращает его нам. Таким образом, мы можем работать с
107: Любыми провайдерами, которые наложили санкции.
108: Вот, но тут есть сложность, да, что нужно где-то поддерживать этот прокс сервер, нужно его разворачивать. Для приложений есть решения, такие как little, либо. Есть универсальное прилож решения, которые могут проксировать вообще все запросы.
109: В принципе, на гитхабе достаточно большое количество технологий, которые позволяют это сделать.
110: Да и прокси сервера это такие посредники, которые работают между нами и конечным сервисом, принимают запрос, подменяют ip адрес и отправляют как будто от себя, и это позволяет нам.
111: Работает со всеми провайдерами.
112: Давайте теперь посмотрим запрос к яндекс gpt с ключа.
113: А вот сравните, видите ли вы какую-нибудь разницу с предыдущим запросом и что здесь основное изменилось?
114: Нет, последовательность немножко не другая. Да, здесь появились другие параметры. В принципе, вот то, что здесь, смотрите, разница в том, что яндекс требует 2 дополнительных параметра, это проект.
115: Да, тот самый идентификатор каталога, который в яндексе. И вот здесь название модели. Также он требует идентификатор каталога. Этот идентификатор можно найти в личном кабинете яндекса. Все остальное тоже самое, кроме url, который, соответственно, меня
116: С опен ияй на api cloud яндекс нет.
117: Потому что каждый провайдер работает на своём url адресе, все остальное это другое, и вот это api, оно называется open её совместимое, то есть сам формат работы api приложения, он такой же, как и
118: И опены.
119: Теперь посмотрим GigaChat для того, чтобы работать с GigaChat м, нам нужно сначала получить ключ в интерфейсе GigaChat, мы можем получить только.
120: Несколько параметров. Во первых, это авторизация, да, нам дадут вот этот вот ключик для базовой авторизации, которая будет внутри себя хранить логин, пароль. И нам нужно отправить post запрос на вот
121: Этот url передать туда вот эти хедеры.
122: Таким образом, мы можем получить токен, который дальше мы уже посылаем в GigaChat.
123: Здесь api, оно опять-таки open a, compatible, тоже единственная разница, что токен мы должны получить отдельным запросом. Я потом расскажу, почему это не очень хорошо.
124: Пока важно запомнить, что опять-таки запрос точно такой же.
125: И теперь расскажу про cloud py. Здесь все тоже самое ключ можно получить в интерфейсе клауд ру это сегодня мы посмотрим на практике, и опять-таки меняется только вот этот url. Адрес это важно запомнить?
126: Что практически все провайдеры, они работают с 1 и тем же протоколом, и у них есть минимальные отличия, которые можно найти в документации, такие как url и принцип получения токен для доступа.
127: Мы посмотрели, какие запросы отправляются. Давайте посмотрим, а что же мы получим в ответ. Есть немножко урезан запрос, немножко урезанный ответ, так как полный ответ, наверное, не влез бы в презентацию никак, и мы посмотрим его вживую, но
128: Самое важное, это вот 2 параметра, это ответы. Здесь мы получаем массив сообщений, которые были сгенерированы моделью. Вот у меня есть роль assistant и возвращается контент контент, это
129: Набор правил для обмена данными api это набор правил для обмена данными между программами, то есть очень такой короткий ответ на наш вопрос может быть длиннее и также вот есть параметр ризони контент.
130: Давайте ещё, наверное, 1 вопрос задам. А кто-нибудь знает, что такое ризонинг? Вы уже изучали, как модели думают, как агентная система строятся, наверное, из prompt, инжиниринг. Это должно быть известно как со
131: Угу.
132: Нет.
133: Давайте тогда здесь поясню. Да, раз, 1 раз вы об этом слышите модели, они могут, скажем так, думать. То есть они могут глубоко анализировать ваш запрос, продумывать план создания, ответ.
134: И уже используя эти данные, они могут сгенерировать более корректный ответ, чем они бы генерировали без того, что они делают ризонинг вот поэтому в api создан отдельно параметр для ризонинг и в интерфейсе.
135: Chat gpt. Вы, наверное, видели, что там есть такая cut, ну или в других провайдерах, да, где когда вы задаёте вопрос, он туда пишет такой небольшой текст и как бы думает, вы можете его раскрыть и посмотреть, а потом он уже выдаёт вам
136: Полноценный ответ. И как раз вот то, что в этом скрытом блоке показано, это вот ризони контент.
137: И кроме того, эйпиай нам возвращает количество использованных данных. То есть это токены на генерацию и токены родные.
138: Это использование позволяет нам определять, насколько много наше приложение потребляет токенов за токены. С нас берут деньги. Обычно ценник указывается за 1000000 токенов.
139: И чем больше вы генерируете, тем больше провайдер возьмёт денег.
140: И вот теперь мы пришли к тому а зачем же нужно вот это open и я, совместимое api.
141: И он там даёт унификацию и совместимость то есть вот мы написали приложение 1 раз. Потом мы хотим поменять провайдера если б у каждого провайдера было своё api, нам пришлось бы переписывать весь код, работать.
142: В случае же, когда мы работаем с open, её совместимым апи, мы просто легко мигрируем, например, меняем url для некоторых провайдеров этого достаточно url и токен.
143: Либо дописываем там 1 запрос для того, чтобы получить сам токен, который будет работать.
144: Некоторое время там полчаса или час, и также есть большое количество различных sdk фреймворков, ноут код систем, таких как nothing, и в этих фреймворках во всех поддерживается open a, и вы можете через него.
145: Подключить любого провайдера, который поддерживает совместимый айпиай, вам не нужно будет делать доработки, писать дополнительный код. Все делается в 2 строчки конфигурации таким образом, именно этот стандарт api стал
146: Как раз тем самым стандартом, по которому многие провайдеры стараются давать свои модели.
147: Мы разобрались в самом ипиай. Вот. И давайте посмотрим, какие есть инструменты для работы. Есть 3 основных инструмента. Кроме того, что есть код, это постман, есть инструмент инсомния.
148: И serial либо также можно назвать его Куру.
149: По имеет вот такой интерфейс достаточно удобный. Он позволяет нам определить метод, вписать url, передать нужные параметры, передать запрос и получить ответ.
150: Также postman удобен тем, что в нём можно создавать коррекции если у вас есть набор каких-то api, которые хочется временами вызывать, либо, например, провайдер ллм, он выдаёт свою коррекцию, вы можете её скачать и работать с ней, это очень
151: Удобно, так как вы 1 раз сделав набор коллекций, можете с ними дальше работать.
152: Есть инструмент инсомни это уже полноценная айде девелопмент инвайромент, который используется обычно кьюэй. Для того, чтобы проводить регрессионное тестирование. Здесь он позволяет уже работать. Коман
153: Она позволяет делать запуски, автоматические запуски для того, чтобы сделать проверки корректности работы api инструмент уже продвинутый и достаточно сложный, поэтому я бы рекомендовал работать в стартовом стар.
154: Время именно в постмане асл позволяет вызывать также пост запросы либо get запросы любые tp запросы, прямо используя интерфейс консоли.
155: Часто разработчики работают в средах, в которых нет графического интерфейса, а есть только консоль, например, когда настраивается сервер, да, там, может быть ubuntu, в ней есть только консоль. И так через сирл можно
156: Вызвать любой api и получить от него ответ.
157: И давайте немножко посмотрим по лучшим практикам. Самое главное никогда не передавать ключи в url. Это очень важно, так как их можно перехватить.
158: И поэтому обычно не требуется передавать их в url они передаются именно в заголовках обязательно используйте eps если кто-то даёт вам аштипи, то старайтесь с такими провайдерами не работать, потому что это будет небезопасно, и ваши данные могут перехватить.
159: Обязательно изучать документацию вашего провайдера. Иногда ипиай меняется, поэтому, если что-то не работает, лучше посмотреть документацию и старайтесь работать именно с опёнком. Апи, если такая опция есть, это
160: Позволит вам сделать более универсальное приложение.
161: И сегодня мы пройдём практику, мы поработаем с api cloud py, у вас будет доступ к облаку, вам дадут грант для того, чтобы сделать запросы, думаю, это будет на следующей неделе, поэтому я покажу, каким образом.
162: Мы можем в интерфейсе создать ключ и как мы можем послать запрос, а также поиграемся с параметрами температуры с present пеналти и с другими.
163: Да, и также, конечно, мы научимся, как выполнять тип запрос в постмане.
164: И выполним несколько запросов. Давайте перейдём к практике.
165: Александр, вы без звука. Здравствуйте.
166: Ой, извиняюсь, да, я заметился. Спасибо, что сказали. Да, мы рассмотрим клауд ру интерфейс. Вот такой интерфейс у вас будет после того, как вы активируете аккаунт и активируете гарант, и для того,
167: Чтобы работать с ll моделями, мы перейдём в сервис в и factory, сервис называется foundation моделс в нём доступны вот такие модели из коробки и в модели это текст. Текст модели также.
168: Есть модели эмбеддинги ранкера. Вы узнаете о них побольше, когда будете изучать продвинутую тему. Рак. Вот, а сейчас стоит остановиться здесь вот эта модель GigaChat ипиай, она передаёт данные Сбер.
169: Поэтому её не рекомендуется использовать все остальные модели они развёрнуты именно в cloud py и будут доступны вам по api.
170: Здесь же можно посмотреть стоимость этих моделей, попробовать их в песочнице, да, то есть вот прям в интерфейсе можно все это потестировать, но нас интересует работа именно с api, поэтому
171: Смотрите, что нам нужно сделать. Нам нужно зайти в пользователя здесь в меню, слева внизу.
172: И нам нужно создать сервисный аккаунт.
173: Давайте назовём его.
174: Вебинар урок 1.
175: Описание здесь ничего выбирать не надо, просто нажимаем создать.
176: Так.
177: Куда он создался?
178: Интересно.
179: Давайте попробуем ещё раз. Что-то пошло не так.
180: Создаём.
181: Да, я думаю, это починят. А вот.
182: Потому что раздеел обновился видимо что-то пошло немножко не так. Да и задержка давайте откроем какой-нибудь другой вот у вас создастся вот такой аккаунт и в нём нужно будет создать здесь учётные данные доступа нужно создать api ключ.
183: Мы нажимаем создать ключ, даём ему какое-нибудь название.
184: И выбираем сервис фоундейшн моделс. Также можно задать параметры для вашего ключа, например с какого ip адреса вы будете работать можно оставить по умолчанию и задать время действия. Пример для моего я задам 1 день, мне он больше не нужен, также можно задать.
185: Interval работы, ключа, например, только в рабочее время, чтобы он работал
186: Создаём наш ключ, он здесь, его нужно сразу же сохранить, потому что 2 раз сгенерировать можно будет только новый ключ посмотреть уже никак. Поэтому я сохраняю мой ключ.
187: И дальше нам нужно открыть инструмент постман. Мы дадим инструкцию, как его установить.
188: Когда вы его откроете, он будет
189: Выглядеть вот так.
190: Вот здесь вы можете уже создать, сразу советую зарегистрироваться, потому что в незарегистрированной версии недоступны коллекции. Там очень неудобный интерфейс. После регистрации вы можете создать новую коллекцию.
191: Назвать её как-нибудь?
192: Запрос с вебинара.
193: И в этой коллекции вы уже можете при помощи вот кнопки новой аштитипи создать новый аштипи запрос.
194: Здесь доступны параметры выбор метода get post можно задать url можно задать ключи да, вот, например, ключ для авторизации.
195: И прописать какое-нибудь значение также можно передать тело запроса для того, чтобы передать json, нужно выбрать raw и вот здесь выбрать json вот сюда можно будет вставить тело запроса.
196: Давайте посмотрим, как выглядит запрос к фондейшн modules.
197: Для того, чтоб сделать конфигурацию, мы сначала переходим в коллекцию. Я советую делать именно таким способом, но вы можете прописывать все напрямую, сразу в запросе.
198: Таким образом, мы можем переиспользовать базовые настройки для всей коррекции.
199: Мы делаем переменную берел, это наш базовый рел.
200: Sam, её можно взять или из документации, либо из презентации, там он представлен.
201: И также нам нужно задать авторизацию. Здесь мы выбираем тип авторизации Бир токен.
202: И нам нужно вставить сам токен, вы можете его вставить напрямую сюда.
203: Либо будет предложено этот токен сохранить в переменную. Просто вам сам предложит. Вот он здесь напишет установить как переменную.
204: Вот, поэтому советую установить как переменную, и он выбираем локальное хранилище. Таким образом, мы безопасно сохраняем нашу переменную, и никто к ней не может получить доступ после того, как мы сделали эти базовые
205: Мы переходим к самому запросу. Вот у нас есть база url, и мы дописываем сюда Иван чат комплишен, как в формате open. Ей дальше нам нужно передать название модели.
206: Давайте попробую чуть приблизить, чтоб побольше интерфейс был.
207: Мы передаём название модели, мы передаём сообщение. У нас есть наш системный промт, которому мы говорим, что ты полезный ассистент, системный промт. Желательно писать на английском языке. Во первых, это будет
208: Это более экономично, во вторых, модели все-таки лучше работают с базовыми системными настройками на английском.
209: Дальше мы задаём с ролью пользователь. Передаём сам наш вопрос. Да, например, можно спросить, здравствуй, что ты умеешь?
210: Также передаём температуру, максимальное количество кенов, которое мы хотим, но эти параметры, они
211: Не обязательны. Давайте можем их удалить, так как это совсем базовый запрос у нас.
212: И ставим температуру 0 7, чтобы запрос был более менее креативным. Ответ чтобы был более менее креативным.
213: Посылаем наш запрос и мы получаем вот такой ответ. Да, вот тот же самый формат, но здесь есть вот различные данные для метаданных, но нас интересует именно вот эта часть. И вот
214: Здесь как раз наш ответ. Да, он говорит, привет, я чат gpt. Так, модель gpt сс это тоже open, это chat gpt 4, который доступен опенсорс, развернут здесь.
215: И вот он объясняет нам, что он умеет. Также есть этот ризонинг контент, так как модель gpt сс, она поддерживает ризонинг. Здесь он говорит, пользователь спрашивает на русском да, здравствуй, что ты умеешь? При этом он уже здесь перевёл.
216: На английский говорит, что мы должны ответить на русском коротко и понятно все описать.
217: И после этого он уже генерирует наш контент. Также здесь можно посмотреть, что мы использовали.
218: На вход 89 токенов и получили 316 токенов на выходе.
219: И давайте посмотрим несколько вариантов с различными параметрами и как будет делаться генерация.
220: У нас точно такой же запрос, мы уже здесь делаем другой промт, и мы говорим, что ты у нас теперь учёный и учитель. Отвечай коротко структурировано и
221: Использую язык пользователя для ответа, для того, чтобы наш бот мог отвечать на разных языках.
222: И просим отвечать на чистом языке, без форматирования дальше мы передаём наш запрос да, объясни, что такое pi, зачем его использовать в разработке?
223: И это консервативный подход. Мы хотим максимально использовать факты и хотим максимально там чётко получить нашу информацию, поэтому передаём температуру 0 максимальное количество токенов ограничием 10000 это очень много, да, если он
224: Решил больше генерировать нам столько не надо, и не будем его штрафовать за повторение слов, пусть использует как хочет, так как прагматический подход все-таки слова должны часто повторяться.
225: Итак, мы получаем наш ответ. Здесь говорит, что ипиай это набор определений, протоколов и инструментов, которые позволяют разным программам взаимодействовать друг с другом, затем описывает, зачем использовать ипиай в разработке.
226: Был обратный слэш, это перенос каретки. Когда вы будете, например, открывать в браузере этот текст, это все автоматически перенесётся и текст будет красиво отформатирован.
227: И вот он говорит, что вот есть модульность, есть повторное использование кода, интеграция с внешними сервисами. Все в таком научном виде у нас сделано.
228: Дальше мы можем задать тот же вопрос, но при этом использовать творческий подход да, мы хотим, чтобы у нас было меньше повторяющихся слов, более уникальный был текст. Например, мы хотим разместить текст у нас в блоге.
229: Используем температуру 1 для креативности и посылаем запрос.
230: И здесь мы уже немножко по другому, да, получаем ответ. Вот что он, во первых, более короткий у нас получился, у нас меньше повторяются слова, и у нас текст получился более
231: Активным, более понятным для чтения, таким менее научным. И здесь вот у нас уже появляются примеры, да, например, платежи карт соцсети.
232: Таким образом, мы получили текст, который более понятен, прост для чтения, его можно разместить, например, у себя в блоге.
233: И стандартно рекомендуется использовать именно сбалансированный подход. Да, это температура 0 5 и при 0 3. Таким образом вы можете получить максимально чёткий ответ, но при этом
234: Он не будет каким-то очень сухим.
235: Да, его также будет приятно читать.
236: Вот здесь текст сразу же стал несколько длиннее, он более понятный, но при этом он уже достаточно научный, и разработчики, например, могут из него что-то для себя вынести.
237: Вот и посмотрим, как работает ограничение длины ответа. Как я говорил, это просто ограничение, если мы поставим 100 токенов.
238: То мы получим 100 токенов в ответ, да, вот наш текст обрезался. Такой способ подойдёт, например, для генерации заголовков. Если мы знаем, что мы хотим сгенерировать, там максимум 100 символов, мы можем сделать это ограничение.
239: Вот. И вот здесь у нас Ровно 100 токенов.
240: Давайте я покажу, где найти название моделей.
241: Для того, чтобы посылать запросы.
242: И дальше мы перейдём к вопросам.
243: Итак, в интерфейсе клауд ру мы можем перейти в foundation моделс, здесь мы можем найти наши модели и есть кнопочка скопировать.
244: Собственно, вот эта кнопка скопировать скопирует полное название модели, которое можно уже вставить в запрос.
245: И по моделям, если брать создание Ботов, то gpt эсэс является отличной моделью, также можно работать с моделями GigaChat модели, джим 4, 6, queen, кодера 400.
246: 80 би это модели, которые позволяют делать разработку кода. Это уже больше для разработчиков, чтобы помочь им писать код. И также модели тпро, они отлично работают с русским языком, позволяют создавать
247: Своих помощников.
248: Вот. Спасибо всем за внимание. Давайте перейдём к вопросам. Я вижу уже несколько
249: Есть вопросов. Давайте сначала отвечу на них. Если есть какие-то ещё, пишите в чат, либо можете задать голосом.
250: Да, то есть вопрос зачем ограничивать повторение слов, повторение слов позволит вам создавать более ограничение повторения слов, позволит создавать более креативные тексты, которые подойдут, например, для сео оптимизации, для создания контента, для блога, для создания
251: Рекламных материалов. Чем уникальней текст, тем больше люди его будут читать. И лучше всего параметры вы можете получить
252: Таким образом, выходит безопаснее, чем задавать вопрос прямо в ллм нет работать с api это немножко совсем другой подход да, когда вы работаете в интерфейсе ллм, вы просто работаете самостоятельно с ллм, вы не
253: Создаёте какое-то приложение, а сейчас мы изучаем именно создание приложений, и мы будем в следующих уроках учиться, как создавать Ботов в telegram, и вот уже для приложений им интерфейс недоступен, поэтому для них существует
254: Pi и они работают только через него.
255: Так, ещё вопрос, зачем штрафовать модель за повторение свойств? Не повторение свойств, а повторение слов. Именно. То есть модель будет использовать уникальные слова при генерации. Чем больше мы ставим штраф, тем более уникальный.
256: Текст без повторяющихся слов модель генерирует.
257: Что такое format b 64 б 64? Это формат шифрования, когда мы несколько слов или там предложений можем зашифровать в единую строку. Это формат, который очень распространён в разрабо.
258: И он позволяет нам в компактном виде передавать данные.
259: Что такое коррекция? Не очень понял вопрос. Пожалуйста, раскройте его.
260: Какое будет домашнее задание? Домашнее задание будет состоять из 2 частей, будет квиз. И 2 будет также предложено вам в постмане выполнить запросы, получить самостоятельно токен в клауд ру после того, как вы
261: Получите грант и выполнить несколько запросов. Получить ответ.
262: Есть задача использовать российскую модель для категоризации товаров Чеков.
263: Что лучше выбрать яндекс или гиганта?
264: Здесь на самом деле вопрос интересный, ответить на него напрямую будет сложно. Все-таки модели от яндекса GigaChat, они больше для создания чат Ботов, поэтому я бы вам даже лучше посмо подсказал.
265: Смотреть в сторону опенсорс моделей, таких как gpt осс, либо какие-нибудь модели квен, которые очень хорошо работают с категоризацией текста, если все-таки вам нужно выбирать
266: Либо яндекс лига, либо GigaChat, то здесь надо экспериментировать, потому что обе этих модели достаточно сложно будет для такой задачи использовать
267: Спасибо.
268: Про ограничение слов. Чем больше ограничений, тем уникальней текст. Да, все так. То есть чем больше мы ограничиваем, чем больше мы штраф ставим, тем более уникальный текст мы получаем.
269: А что такое коррекция не коррекция коллекции коллекции в postman позволяет вам создать коллекцию запросов, которые вы сможете потом легко выполнять давайте я покажу ещё раз. Вот у меня есть
270: Мой постман, здесь есть различные коллекции. Вот я, например, создал коллекцию вебинар.
271: И у нас есть несколько запросов, да, вот консервативный подход, творческий подход это все запросы, которые есть в этой коллекции. Таким образом, вы сможете для себя, например, организовать набор запросов, которые вы будете периодически выполнять, если
272: Нужно выполнить запрос 1 раз, то вам не нужно создавать коллекцию. Вы вот здесь можете создать новый запрос и просто его выполнить. Да, вот, например, мы можем обратиться к google, посмотреть, что он нам ответит.
273: Без какой-либо коллекции. А вот у нас вот это вот нам google возвращает красивая страничка.
274: Вопросы к лм идут в рамках 1 чата, или они не связанны? Смотрите, в ллм нет никакой памяти, это просто модель, она развёрнута, она вообще не знает ничего о ваших чатах. И в будущих уроках мы изучим, как мы можем до
275: Добавлять память чата в запросы к. М, если говорить в 2 словах, то когда мы создаём приложение, например, вот если вы работаете в интерфейсе какого-нибудь чата, все ваши чаты просто сохраняются в базу. И когда вы посыла
276: Новый запрос, эти же старые сообщения, они в качестве истории предыдущих сообщений также отправляются вместе с этим запросом. И таким образом модель понимает, о чем вы говорили ранее, и генерирует.
277: Ответ с учётом этого контекста.
278: Так, если вопросов больше нет, у нас получилось прям замечательно. Мы вложились Ровно в 1 час. В следующих уроках у нас будет более интересная тема. Мы уже будем рассматривать, как при помощи кода мы можем создавать наш
279: Приложение. Создадим несколько интересных чат Ботов. Например, это будет чат бот, который будет помогать нам учиться языку питон. Также это будет чат бот, который поможет нам анализировать сиви.
280: То есть резюме различных людей выделять контент оттуда все будет очень интересно. Поэтому хорошо, что мы изучили эту базу, которая поможет в будущем нам сделать интерес.
281: Приложение.