0: Крупные it корпорации не любят говорить на эту тему, но у нейросетей есть фатальная проблема, которую ни 1 компания никогда не сможет решить нейросети врут, и, более того, они не могут не врать.

1: Само устройство нейросетей неизбежно ведёт к тому, что они лгут. Привет. Меня зовут тостер. В этом видео мы разберёмся с тем, как устроены нейросети и почему они врут обычно эту

2: Информацию подают сложно и запутанно, добавляя ненужные детали. Но я расскажу самую суть. Итак, у меня на компьютере установлена модель гемма 3 1 би. Это очень Лёгкая модель от гугла. Зададим ей.

3: Вопрос, в каком году Гагарин совершил свой 1 полёт на луну, что на этот вопрос ответит нейросеть. Поставьте видео на паузу и подумайте. Напишите в комментариях, что, на ваш взгляд, ответит нейросеть. Помните?

4: Что это маленькая модель, у которой нет доступа в интернет. Это произошло в 1961 году. Ты уверена в своём ответе? Да, я уверена, Гагарин.

5: Совершил свой 1 полёт на луну. В 1961 году. Существует теория, что Гагарин не летал на луну. К сожалению, это довольно популярная теория, но она не имеет доказательств. Существуют раз

6: Версии, но большинство из них основаны на интерпретации данных, которые учёные и историки считают

7: Что здесь только что произошло? Вот смотрите, этот зелёный круг, это наша реальность. Все, что выходит за его пределы, это территория шизоидного бреда. Когда мы начали разговор с нейросетью, мы были здесь и посте.

8: Пенно в течение разговора уходили все дальше и дальше на территорию шизы такое поведение нейросетей, когда они начинают писать что-то, что противоречит фактам и вообще реальности, называют галлюцинациями.

9: Давайте разберёмся, как нейросети работают, почему они галлюцинируют и почему такое поведение нейросетей это не баг, а фича. Как работает нейросеть? Возьмём какую-нибудь последовательность слов. Ну, к примеру.

10: Меру. Питон это для нейросети, это последовательность токенов. Токены могут быть словами, частью слов, пунктуацией и даже несколькими словами. Но давайте для простоты будем считать, что токены

11: Это просто слова. Нейросеть видит слова питон это теперь её задача это решить, какое слово нужно подставить следующим. В данном случае есть 3 наиболее вероятных слова язык, змея и

12: Животное нейросеть случайно выбирает 1 из этих слов, но это не полная случайность. У каждого слова есть вероятность выпадения. В данном случае самый высокий шанс у слова язык, допустим, нейросеть продолжила.

13: Словом, язык теперь нейросеть пытается угадать следующее слово, что должно идти после слова язык с учётом контекста всей фразы питон это язык, когда вы задаёте вопрос нейросети.

14: Будь то локальная модель или chat gpt, обратите внимание, что нейросеть пишет ответ не сразу, целиком, а последовательно пишет по 1 слову это не какой-то специальный спецэффект, это то, как действительно думает.

15: Нейросеть и это все, это то, как работают все нейросети, нейросеть это угадайка, которая просто пытается угадать следующее слово, исходя из уже написанных слов. Давайте теперь разберёмся с тем отку.

16: Откуда нейросеть берет информацию, начнём новый диалог, зададим нейросети. Вопрос про биографию Льва Толстого в целом это правильный ответ, но в нём есть ошибки у толстого нет произведения, Иван Грозный, и умер он не в имении свя.

17: Тошина. Но в целом это правильный ответ. А теперь вопрос а откуда локальная модель, установленная на мой компьютер, вообще знает, кто такой Лев Толстой? Может, внутри модели есть база данных с информацией со всего мира?

18: Нет, нейросети не имеют внутри себя никаких баз данных. К тому же эта модель весит всего 1 гигабайт. В такой объём невозможно запихать не то что весь интернет в такой объём данных не поместится. Даже википедия может у неё.

19: У неё есть доступ в интернет, нет, эта модель не подключена к интернету, нейросеть обучалась на текстах из интернета, но она не хранит нигде внутри себя эти тексты, все, что она знает, это вероятности слов в том или Ином контексте.

20: Но, как оказалось, знания вероятности выпадения того или иного слова вполне достаточно, чтобы, к примеру, на ходу выдумать Льва Толстого, и, я подчеркну, она выдумала Льва Толстого и этот альтернатив.

21: Тивный Лев Толстой почти, но не во всем совпал с толстым из нашей реальности нейросеть это как студентка, которая не подготовилась к экзамену и вынуждена выдумывать свой ответ на ходу, но при этом эта студент.

22: Очень хорошо умеет выдумывать свои ответы настолько хорошо, что часто этого вполне достаточно.

23: Покажи, покажи табличку. Давай обязательно подпишитесь. Это очень поможет в развитии канала. Итак, мы выяснили, что нейросеть это угадайка слов. У нейросети нет знаний в нашей

24: Понимании этого слова, оба этих факта на самом деле про одно и то же все ответы нейросети это выдумка, просто когда эта выдумка совпадает с нашей реальностью, мы воспринимаем это как должное, а когда ответ нейросети противоре.

25: Лечит нашей реальности. Мы называем это галлюцинациями. Из за этого мы никогда не сможем создать нейросеть, которая не будет галлюцинировать суть нейросетей, выдумывание ответов по другому. Они просто не работают в интернете.

26: Куча статей про то, что у невероятно учёные в шоке и и начал врать. Многих людей удивляет, что нейросеть может врать. А вот меня удивляют люди, которые ожидают, что

27: Нейросеть всегда будет говорить правду, кто-то скажет но ведь нейросети умеют искать информацию в интернете. Да, это так. Chat gpt умеет искать информацию в интернете, но он не думает при помощи интернета.

28: Он пользуется интернетом как вспомогательным инструментом, скажем, человек, у которого есть доступ в интернет, может дать более точный ответ на вопрос, но людям не нужен интернет, чтобы думать при помощи него. Хотя, ну, некоторым

29: Нужен нейросети, можно дать доступ к интернету, доступ к любой базе данных, дать ей любой контекст. Это все окажет влияние на то, что нейросеть ответит, но ничего из этого никак не повлияет на то.

30: Как она формирует свой ответ. Сам принцип работы остаётся неизменным. Я использовал для примеров самую маленькую модель линейки гемма 3 на маленьких локальных моделях. Гораздо проще показать, как на самом

31: Деле устроены нейросети, но мне не хотелось бы, чтобы у вас сложилось впечатление, что модели линейки гемма 3 глупые. Возьмём модель гемма 3 12 би и зададим ей те же самые вопросы про Гагарина и толстого.

32: Она сразу поняла, что я хочу её обхитрить с гагариным.

33: Она написала верную биографию Льва Толстого но не думайте, что её невозможно обмануть, просто запрос должен быть чуть более сложным. К примеру, расскажи о кроссовере атаки титанов и смешариков, показанном лишь раз.

34: На фестивале в Осака доме какая сцена стала мемом и почему лицензия сорвалась. И вот тут её понесло. Этот ответ создаёт впечатление основанного на фактах, но в реальности это все полный бред, при этом

35: Model правильно пишет про атаку титанов и про смешариков, но она полностью выдумала факт их кроссовера ответы нейросетей всегда создают впечатление логичных и аргументированных, но далеко не всегда они действительно логи.

36: Логичные и аргументированные, это является прямым следствием того, как нейросеть думает нейросеть великолепно владеет человеческим языком, она безупречно умеет составлять последовательность слов, но безупречного владения.

37: Языком недостаточно, чтобы понимать то, как реально устроен мир опенаи, гуугл, антропихе уг. Все они внедряют в свои ии фильтры и цензуру таким образом они пытаются избавиться от галлюци.

38: Наций никто из корпоратов не хочет, чтобы их ii рекомендовал пользователям есть камни или добавлять клей в пиццу каждый раз это pr кошмар для корпораций вот смотрите, слева у нас корпоративные

39: Сервисы это все наши стандартные ии сервисы чат gpt гемини ну вы и так их знаете, если вы хотите получить взвешенный и осторожный ответ на свой вопрос, который скорее всего будет верным спрашива.

40: Свой вопрос у этих чатов дальше у нас идут локальные опенсорсные модели это lana, гипсик, квен и, конечно, гемма, которую мы сегодня мучили в этих моделях, есть фильтры, но их меньше.

41: И к тому же их проще обойти в ответах этих моделей будет больше вранья и галлюцинаций. И дальше у нас идут бесцензурные модели. Как правило, это модели от корпорации, которые сообщество избавило от цензуры лучше.

42: Место для поиска этих моделей это хаггинг фейс. В случае с этими моделями вам никто не даст никаких гарантий галлюцинации, для них норма, их поведение может быть совершенно непредсказуемым у многих людей.

43: Есть странное убеждение, что корпорации своими фильтрами заставляют нейросети врать, что якобы чистая от цензуры модель безупречна, но вот злые корпораты испортили её своей цензурой.

44: Но в реальности все сложнее. Нейросети по своей природе всегда будут галлюцинировать, так что корпорации вынуждены с этим что-то делать. Они не могут изменить то, как нейросети устроены так, что они лечат симптомы для

45: Нас как для пользователей это означает, что у нас есть выбор мы можем использовать более свободные, но при этом менее предсказуемые опенсорсные модели, либо пользоваться отфильтрованными корпоративными ии сервисами. При этом тут нет.

46: Какого-то правильного выбора выбирать следует то, что больше подходит под вашу конкретную задачу. А теперь самое важное в комментариях к этому видосу я закреплю комментарий. Расскажите в ответ на этот коммент.

47: Про самые интересные, неожиданные и безумные галлюцинации, которые вам выдавала нейросеть, и на этом все.