0: Доброго дня, коллеги. Этот ролик для разработчиков, которые используют большие языковые модели в своей работе, особенно касается пользователей. Клод и chat gpt. Последнее время читаю все больше.

1: Сообщение о том, что клод снова понизил лимиты entropic простое привет сожрало 20% окна и так далее пользователи апи платят и плачут каждый 1000000 токенов стоит 25 долларо.

2: Сделал запрос, заплатил 10 $ за ответ, который нашёл бы за 5 минут, и вопрос, надо ли было платить? Я наткнулся на очень интересное решение, которым хочу с вами поделиться. Называется кивман. Во первых.

3: Во первых, оно реально работает и во вторых, оно реально экономит, особенно на дорогих моделях. А как это работает очень просто. Дело в том, что по умолчанию большая языковая модель, она генерирует очень много

4: Токенов при ответе на вопросы а именно за них вы платите вместо ответа из 2 слов сделают 200 добрый день, конечно, я помогу тебе с этой проблемой я разобрал вот что нашёл корень проблемы бла бла бла бла бла бла бла a caveman добавляет инструкции.

5: Которые в 5 раз дешевле. О том, как нужно писать ответы. В итоге у нас вместо вот такого объёма, который выдаст клод с очень много воды, мы

6: Получаем очень короткий ответ вместо 69 19 токенов. Здесь есть 4 варианта сжатия. Да, как можно до чего можно дойти?

7: Результаты просто потрясающие, да, то есть, если мы посмотрим на тесты, то мы увидим, что какой-нибудь баг в реакте, да, то есть по умолчанию мы получали ответ от клода на 1100 токенов, да, то есть объяснить баг, а с кейвменом мы получ.

8: 159 установить там постгрескул коннекшн пул 2347 токенов сожрал с кейвменом 380, экономия от 60 там от 50.

9: До 90% токенов это реально рабочий инструмент. Я лично протестировал с клодом, был в шоке, но да.