0: Для того, чтобы все слышали наши вопросы, пользуйтесь, просите микрофон, к вам обязательно подойдут, и вы сможете ваш вопрос задать. Спасибо. Добро пожаловать большое.

1: Тимур, спасибо большое за представление. Так, у меня, насколько я понимаю, час времени, да?

2: Ну, я надеюсь, что да, этого хватит. Я поставлю себе секундомер и буду смотреть. Значит, меня зовут Владимир. Как уже сказали, мой основной род научной деятельности это она.

3: Значит, когнитивной активности и поведения. Ну, наверное, человека. Я начинал с анализа активности мозга животных, но сейчас как бы пришёл к людям. И мои последние исследования

4: Они в основном проходят на базе университета Сингапура совместно с лабораториями в других странах, и они направлены на то, чтобы разработать методики, как применять последние.

5: Ни в генеративном искусственном интеллекте для понимания анализа, предсказания поведения людей и, соответственно, тематика доклада, она так и называется это генеративный иай для поведенческой науки.

6: Я сделал презентацию на английском языке, потому что некоторые термины, ну, достаточно сложно переводятся, я их буду просто переводить, как мне кажется правильным. Вот. Но если вы захотите как-то продвинуться дальше в этом направлении, то лучше

7: Поиск в интернете по английским терминам. Соответственно, поехали, о чем я буду рассказывать. Вот лекция получилась достаточно большой, потому что она сочетает в себе очень много различных подтем.

8: Здесь есть и поведенческая наука. То есть я бы хотел коротко рассказать, что это такое и зачем это важно, какие методы самые базовые методы используются в поведенческой науке. Затем я бы хотел упомянуть

9: Иррациональные решения, потому что эти решения, они наиболее интересны, но их сложно предсказывать, сложно моделировать. И затем я бы поговорил о том, как ллм здесь

10: Языковые модели, что они привносят, то есть они могут быть как моделью. Ну что все понимают, это и есть модель, но также они могут быть и испытуемым. То есть это то, что является

11: Основной целью моего доклада, что использовать языковую модель как некую личность, как некий агент, который мы можем

12: Использовать как человека. Вот. И напоследок я расскажу о том о реальном кейсе, который мы сделали с нашей командой за последний год. Он, наверное, займёт где-то 30

13: Процентов моего доклада. Вот этот кейс, он будет в области устойчивого развития и климата. Поэтому я немножко поговорю об этом тоже. Так вот видите, очень много всего. И давайте нач.

14: Начнём с 1. Что же такое поведенческая наука, буду говорить очень коротко. Вообще поведенческая наука, она в себе сочетает. Ну, скажем так, 4 вещи это эксперименты с людьми.

15: Моделирование, объяснение, прогноз и какое-то воздействие. И здесь вот ну давайте начнём мне искусственный интеллект сгенерировал картинки я спросил

16: Сделай мне людей, которые принимают участие в в поведенческих экспериментах, и он мне сделал людей недовольных, что, что правда, потому что никто не хочет принимать участие в экспериментах. Эксперименты в поведенческой науке, они занимают много времени.

17: Включают в себя очень большие тесты, особенно если мы это делаем в лаборатории. То есть это 1 картинка. Мы человека зовём в лабораторию. Мы ещё хотим на него надеть электроды, снять активность мозга. Для этого ему приходится иногда мыть голову и эксперимент.

18: Включают в себя 400 стимулов и могут длиться час и больше. То есть люди очень недовольны, мы им платим деньги, но люди все равно недовольны, и это отражается, вообще говоря, на том, какие данные они нам выдают.

19: То есть, ну, мы, ну, мы хотим, например, понять, да, чем руководствуется человек, когда выбирает себе кофе, там, ну, как летик взять, или, или капучино, и чтобы построить хорошую модель, да, вы знаете, надо

20: Нужны большие выборки, поэтому мы человека спросим там раз, наверное, 200 зададим этот вопрос. Естественно, там на 3 раз ему уже будет все равно, он будет говорить те вещи, которые никак не связаны с тем, что он сделает в реальной жизни. Это 1 из таких

21: Проблем. Ну, соответственно, эксперименты бывают. Вот когда мы людей в лабораторию позвали, здесь проблема, что мы можем снять много данных, но не можем позвать много людей. Дальше что мы можем сделать? Это сделать? Веб приложение.

22: Как-то его через маркетинговую компанию растиражировать на 1000 людей, чтобы они прошли на смартфоне, на ноутбуке. Также маркетинговые компании имеют возможность поработать в поле, то есть там, если мы

23: Работаем с таксистами, хотим посмотреть, какой бензин они любят, то люди там выходят и с этими анкетами стоят там на заправке или ещё где-то. Может быть, вы даже встречали таких и убегали. Вот. Ну то есть очень сложно собирать данные после того,

24: Как мы данные собрали, мы берём модели машинного обучения и начинаем их тренировать на человеческих данных и пытаться. 1.

25: Научиться делать прогноз. Вот прогноз нам нужен для того, чтобы понимать если мы что-то поменяем, как это повлияет на поведение, то есть это, ну сразу же идут все задачи маркетинга и

26: Все для ритейла, но для поведенческой науки, так как это наука, ещё важно. И объяснение, объяснение механизмов, почему человек такое решение принял и для этого используется, как правило, скажем так, интерпретируем

27: Как все любят говорить, модели машинного обучения, которые именно нейроповеденческие учёные хотят хотят сделать таким образом, чтобы они отражали то, что происходит в мозге человека и параметры.

28: Этих моделей, которые оцениваются из данных, они в принципе связаны с какими-то когнитивными процессами. То есть отсюда идёт ещё и объяснение. Затем на основе этого предлагается какая-то оптимальная интервенция, например, ну, я

29: Не знаю какую там, если это выбор кофе, там как-то, я даже не знаю даже то, как мы их напишем в меню, что будет 1, что 2, что 3 там, какую мы сделаем стиль чашки.

30: Это все может повлиять, а чтобы это проверить, мы опять набираем людей и эту интервенцию проверяем. Если это работает, то потом, ну, это все раскатывается в реальной жизни, там делаются аб тесты и уже аб тест.

31: Это другое. Вот сейчас я вам объясню. То есть все, что здесь это называется, стейте преференс эксперименты. То есть это когда люди у нас отвечают на гипотетические сценарии, а вот аб тест, это уже называется ревилл.

32: Эксперимент это когда мы косвенно в реальной жизни пытаемся отклики людей на то, что нам нужно как-то собрать. Вот, то есть это что из этого следует поведенческая наука, она изучает поведение

33: Людей, и ей нужны эксперименты с людьми. Теперь идём дальше. Значит, а вообще поведенческая наука, она очень разнообразная, но я бы сказал, что основной её часть, основная её часть.

34: Это изучение, то, как человек принимает решения. Вообще решения принимаются у нас все время. Даже они могут быть неосознанны. Если вы дотронулись до горячего чайника, вы одёрнули руку, вы это не было вашим решением, но я считаю, что это тоже решение, просто оно

35: Его организм как принял по определённой логике, которая не включала ваш субъективный контроль над ним, дальше идут решения персептивные, это простые решения, которые имеют 1 однозна.

36: Значный ответ, в частности, вот я, ну, здесь показывают 2 парадигмы в поведенческой науке, которые очень известны, например, надо сказать, куда движутся точки, и здесь точки никуда не движутся.

37: Но здесь можно выделить, что есть облако, которое движется влево. Здесь все точки движутся влево, и человеку надо нажать либо 1 кнопку влево, либо вправо, чтобы принять такое решение. 2 задача, это надо запомнить некий

38: Стимул и через какое-то время вот здесь 500 миллисекунд сказать, ну а какой стимул был? Вот здесь тоже есть ответ. Объективно верный человек может либо ответить правильно, либо

39: Ошибиться. То есть все те задачи, которые основаны на perceptual decision, making, на перцептивных решениях, они тестируют какие-то конкретные когнитивные функции здесь тестируется ваше внимание, здесь тестируется ваша память, то есть они нацел

40: На упрощение и на то, чтобы таргетить конкретную когнитивную функцию, это 1 часть, ничего общего с реальностью они не имеют. 2 часть это велью бейст decision, making это решение основанное

41: На оценивании на ценности, это экономические решения. У этих решений нет. Эти решения субъективные, потому что каждый человек именно

42: Он ему важно велью, а велью это то, что есть умноженное на субъективное восприятие того, насколько мне это нужно. Вот пример такого эксперимента надо выбрать между 2 опциями.

43: Например, какую солнечную панель поставить? У них есть вот цена, да, вот это стоит подороже. Она, я вижу, что

44: Меньше площадь занимает, и у неё больше эффективность, но она Чёрная. А кто-то может сказать, я чёрную не хочу, и ему это все будет неважно, и он выберет такого цвета, хотя она хуже. То есть эти решения, они на том основаны, как мы

45: Интерпретируем вот 2 типа решений и, ну, как бы раньше я занимался такими решениями, ну, и сейчас иногда, но теперь я занимаюсь больше такими решениями, потому что они на шаг ближе к тому, что в реальной жизни происходит, и

46: Как я сказал раньше, поведенческая наука, она использует модели, которые описывают решения. И если в данном случае такой базовой моделью является диффузионная модель, то здесь, скажем так, базовой моделью является ютили.

47: Теория, я вам о них очень быстро расскажу. Я не хотел рассказывать про формулы, но эти 2 модели я вам как-то просто расскажу коротко. Это, соответственно, Дриди, фузионная модель, она была изобретена.

48: Наверное, очень давно, но почему-то принято ссылаться на вот эту работу. У неё уже 3700 цитирований с 28, 2008 года. В общем, о чем тут идёт речь? То есть считается, что когда человек

49: У нас на что-то смотрит и у него есть 2, 2 варианта, и у него в мозге там что-то крутится и и накапливается доказательства в пользу 1 варианта и в пользу другого варианта. То есть есть такие 2 нейрона, которые накапливают дока,

50: Доказательства 1 за то, что выбрать 1 вариант, 2 за то, что выбрать другой вариант. Ну, можно взять между ними разницу, и мы получим, куда идёт как бы тенденция. То ли к 1 движется, то ли к другому. Соответственно, эта переменная, она у нас называ,

51: Называется, допустим, она у нас называется вот это в это то, как у нас со временем накапливаются, накапливаются данные в пользу чего-то. Вот. И ну что говорят, давайте построим

52: Обычную простую модель, супер простую. Это то, что эти данные накапливаются со временем у нас линейно с какой-то скоростью мю, но так как мозг работает, скажем так, хаотично, то

53: Есть некая вариабельность между различными испытаниями. То есть если мы одно и то же дадим человеку, то он, ну немножко будет скорость накапливать по другому. Вот, может быть потому что он отвлечётся или ещё что-то, и поэтому мы введём некий

54: Диффузионный термин, который нам будет показывать, как эта скорость от 1 испытания к другому меняется. Это приводит к тому, что когда мы соберём все времена отклика на все испытания, у нас будет распределение, то есть не будет 1 числа. Вот

55: Что дальше? Значит эта штука, она накапливается, накапливается, накапливается, но в какой-то момент надо принимать решение. Это происходит в тот момент, когда она пересекает какой-то трешхолд.

56: Плюс ещё у нас может быть какое-то предпочтение, то есть она может начинаться не из нуля. То есть есть начальное условие, которое может быть не равно нулю. Если мы изначально у нас есть предпочтение в пользу 1 опции, то мы стартуем ближе к ней. И последний параметр это

57: То, что мы начинаем доказательства накапливать не сразу. Сначала наш мозг должен нейронную сеть как-то собрать в кучу. Вот. И это называется non decision тайм. То есть все вот эти процессы, все вот эти циферки, вот это, вот это

58: Вот это и decision, трешхолд. Они отражают различные когнитивные процессы. Это то, насколько данные однозначны, насколько легко из них информацию получать. Эта величина показывает, насколько нам, насколько

59: Только мы ответственно подходим к решению. То есть, если мы сильно ответственно подходим, то эта величина, она будет выше. То есть нам нужно больше данных, чтобы ответить. И, соответственно, это выраже эта штука, она может быть в терминах вероятности, переписана следующим образом.

60: Это эти вероятности можно посчитать и эти вероятности, они будут зависеть от параметров модели, а дальше это просто задача бинарной классификации, которую мы хорошо знаем, у которой можно

61: Максимизировать лайклихуд, и мы его максимизируем, исходя из данных, которые нам люди нагенерили. То есть вот эта выборка игрек это для каждого человека время, когда решение было принято и какое решение

62: Не было принято. То есть это как бы простая задача, которую мы максимизируем, подбирая параметры модели, чтобы наилучшим образом описать все данные после того, как мы это сделали, у нас есть наши когнитивные параметры. Мало. Да, да. Мало того, сейчас, секунду. Мало того, что модель предсказывает нам поведение,

63: В будущем можно делать какую-то интерпретацию из того, из значений этих параметров. Да, да.

64: Модель. Считаем, что человек всегда в итоге принимает решение, да, это модель, которая, да, которая связана, да, это эта модель, вот из вот такого разряда, что здесь, ну, человек не говорит, я не знаю, тут, ну,

65: Всегда ему нужно как бы что-то выбрать. Но есть, если интересно, эти модели, они сделаны и для случая, когда есть много опций, когда есть опция, когда, ну, не надо.

66: Выбирать. То есть уже такие, ну, уже очень много есть разновидностей, улучшений. Вот, но это просто такая база, на чем все построено.

67: Как быть дальше с экономическими решениями? Здесь все построено на на utility теории и utility теория, она говорит вот что.

68: Что человек, она основана на том, что наш человек, наш, скажем так, потребитель, вот в экономике, это, ну, такой рациональный агент, который выбирает то, что ему максимально, максимально полезно. И поэтому вот есть этот Даниэл,

69: Mcfadden он получил нобелевскую премию в 20 году, за это дело он, он говорит давайте введём функцию полезности, эта функция полезности будет, будет линейной комбинацией коэффициентов. Умно.

70: Здесь надо ещё умножить на характеристики тех товаров, которые человек смотрит. Ну и плюс, так как есть ещё много всего, что модель не описывает, мы возьмём ошибку её сюда прибавим и человек.

71: Выберет опцию. И если вот эта величина, вот эта ютилити опцию, и она больше, чем ютилити всех других опций жи, в этом, в этом наборе, исходя из этого, можно сделать простые преобразования. И если сделать дополнительный

72: Ассампшен. Насчёт распределения ошибки, то мы получим

73: Вероятность, которая, ну, в случае нескольких альтернатив, это мультиномиальная

74: Мультиномиальный закон, но если это 2 альтернативы, то это просто бинарный выбор, и это все у нас превращается в логистическую регрессию, где мы просто предсказываем то, что выберет человек, исходя из характеристик.

75: Характеристик продуктов. Ну, ещё сюда можно приписать характеристики человека, то есть daniel макфадден получил нобелевскую премию за то, что разработал логистическую регрессию, которую уже очень много знали.

76: До этого. Но суть в том, что он это сделал из того, что он сделал интерпретируемую модель машинного обучения, по сути, которая описывает то, как человек принимает экономические решения на эту статью. Его около двухста тысяч.

77: Цитирований это единственная модель, которая используется вообще везде в экономике. То есть, ну, у неё очень много разновидностей, улучшений, но как бы все, все на ней держится.

78: И самое главное, что из этой модели можно легко оценить вилино тупей, то есть это то, сколько человек готов доплатить за улучшение какой-то характеристики.

79: Нашего продукта. Вот, то есть они явным образом из этой модели вычисляются. Соответственно, это модель, которая у нас описывает экономические вещи, но дальше как бы

80: Как быть с иррациональным выбором? Вот суть в том-то, что эта модель хорошая, о чем я сказал, но она считает, что наш потребитель он рациональный человек, и то, что он выберет то, что

81: Лучше вот и и эта теория, она подразумевает regularity, ассампшен, который говорит, что если 1 опция лучше другой, то это всегда так будет, независимо от какого-либо окружения.

82: Что, естественно, неправда. Вот. И то, что это, это неправда, это открывает очень большие возможности для маркетологов, для дизайнеров, чтобы те же самые продукты

83: Продавать с большей вероятностью за счёт того, что как-то меняя, то как они их показывают людям, потому что иначе, ну, если бы это не было правдой, если бы только это было правдой, то мы бы смогли бы продать продукт, только если бы

84: Мы повысили его ютилити, то есть если б мы уменьшили его цену и улучшили бы его качество, то вот, но это не очень интересно, а вот заставлять людей иррационально делать импульсивные выбор.

85: Это интересно. И вот 1 из таких стратегий, это, которая показывает, как это работает, была сделана старбаксом. Ещё давно у них вот было 2 кофе, это 1 размер и другой размер.

86: То, как, как средний кофе придумали, вот, и люди покупали вот этот кофе, а захотели повысить продажи вот такого кофе и сделали это каким образом добавили ещё, ещё 3 опцию у этой

87: Эти опции. Размер был не намного больше этого размера, но его цена была намного больше, чем разница вот вот этих цен. И люди уже своё внимание, они от этой опции

88: Как-то уже убирают и начинают больше работать с этими опциями, из которых это лучше и соответственно повышается как продажа этой штуки. Вот это было сделано очень давно. И тогда не задумывались, как вообще все это.

89: Работает, но работает это, а я, я вам дальше расскажу. Вот, но интерес в том заключается, как такие решения моделировать. И сейчас очень большое количество работ существует на тему.

90: Как вот как научиться предсказывать, как научиться предсказывать, насколько этот стакан надо сделать больше, насколько его цену надо сделать больше. И, в общем, вот это такое направление, которое сейчас интересное.

91: Ну да, и, собственно, софа, что, что у нас есть поведенческая наука, она изучает, ну, это от меня, она много что изучает, но я бы сказал, что она в основном интересуется тем, как человек принимает решения, она enter.

92: Процессом принятия решений человек. Дальше какие бывают решения, они могут быть персептивные, такие простые. Это в основном лабораторные эксперименты для того, чтобы статьи публиковать есть, а есть вот велью бейст, это тоже

93: Статьи публиковать, но и идти дальше, повышать какие-то экономические показатели. Дальше можно хорошо предсказывать эти решения, но это требует экспериментов с людьми, а вот

94: 4, то, что есть иррациональные решения, которые наиболее интересны с практической точки зрения, но их сложнее предсказывать те модели, которые есть, они сложнее, там больше параметров. Соответственно, надо больше данных, чтобы эти параметры хорошо.

95: Ценить потом ещё все эти вещи, они очень сильно зависят от персонального профайла человека. То есть все это дело очень чувствительно. То, что, например, будет действовать на меня, не будет действовать на вас, это накладывает дополнительные

96: Такие констрейны на то, как собирать выборку людей. То есть это нужно огромные выборки собрать, где равно представлены различные саб группы. То есть это накладывает большие вообще.

97: Проблемы на то, как с этим работать и что называется здесь вот как раз я хочу перейти к тому, что языковые модели, они могут нам помочь решить эту проблему. То есть, ну вот смотрите, ну мы

98: Берём chat gpt, да, и как бы спрашиваем чат gpt вот представь, что ты там американец из тексаса, тебе там 30 лет, у тебя зарплата 5 000 $. И вот

99: Сначала дать ему такое, потом её уже можно ребутнуть, то, что он уже забудет, что было так в этой жизни, и потом дать ему такое и посмотреть, сработает ли это или нет. И вообще тут возникает 1 вопрос изменится ли реше.

100: Машинной модели у человека может измениться. А вот у языковой модели поменяет ли языковая модель своё решение относительно того, что лучше выбрать, если мы вот сделаем так. То есть это даже 1 вопрос, на который здесь надо ответить.

101: A2 вопрос это будут ли решения этой языковой модели такие же, как у человека? То есть, если мы будем параметризировать промт характеристиками нашей целевой демографической группы, а потом

102: Потом спросим эту группу, они воспроизведут то, что нам языковая модель воспроизвела или нет. То есть, если это все сработает, то открываются огромные возможности. То есть мы можем на компьютере имитировать эти стратегии и прого.

103: Просто безумное количество различных вариантов и, соответственно, подбирать, да, хоть для каждого человека можем, ну, как подобрать, что ему там на озоне, ну там вот выплюнется, какие товары.

104: Вот в этом выборе, то есть это такая, такая теория, которую мы хотели проверять. И вообще это стало интересно людям в конце 23 года. И 1 работа в этом направлении.

105: То работа дипмайнд и стэнфордского университета, которые сказали то, что давайте возьмём генеративных агентов, дадим им информацию о реальных людях, а потом как бы спросим этих генеративных агентов.

106: А пройти некоторые тесты, которые люди обычно проходят в лаборатории, например, ну, general social survey, вот big five personality, это у психолога иногда проходят, и вот на некоторых экономических играх давайте попробуем и давай.

107: Сравним наши языковые модели, которым был вставлен этот prompt с характеристиками людьми. Они, они будут также себя вести как люди или нет. И, ну вот просто результат. Вот он, например, вот здесь давайте посмотрим, вот жёлтые это

108: Люди, вот что это такое. То есть это, это то, с какой точностью люди воспроизвели свои ответы через 2 недели. То есть это учитывает, ну, какой-то разброс, зависящий от настроения такого как бы

109: Но все же отражает внутреннее состояние человека. И, а вот это наши разные характеристики наших агентов. То есть те агенты, которые на основе интервью, ну, интервью, это, секундочку, это двухчасовое интервью об этом человеке. То есть это такой агент, который мы

110: Максимально персонализирован. Они работают, в принципе, очень близко. Те агенты, которые, которых мы промти демографией и немножко персональными данными, такими как, ну,

111: Пол, возраст. Ну, такой вот персональным профайлом они тоже, кстати говоря, работают вот около 0 6, то есть точность ухудшается. Но сама суть, что у нас случайное угадывание. Здесь все-таки те агенты минима.

112: Которые и получают какую-то информацию, они могут отражать какие-то поведенческие паттерны значит

113: В основном в основном в этом направлении работы были опубликованы все этим летом, их их несколько, я сейчас по ним пройдусь, но вот самое известное это вот данная работа опубликована в nature, 5, 2 июля, значит, что здесь

114: Было сделано. Здесь сказали, что а давайте мы возьмём языковую модель и её зафонтанил людей на какие-то, на какие-то когнитивные тесты, а потом, то есть эта модель у нас превратится в universal.

115: Агента, который мы можем тестировать там на каких-то других вопросах. И это действительно работает. То есть не надо тестировать модель на том же самом, на чем мы её будем затем использовать. А можно

116: Как бы тестируя её на различных психологических экспериментах или на всяких когнитивных задачах, можно ей, что называется, инкапсулировать такой когнитивный профайл человека, как бы кото

117: Нам интересен и дальше эта модель будет вести себя на других задачах, так как этот человек, вот, соответственно, в чем, в чем прелесть работы? Почему нейча? Потому что очень большой структури,

118: Набор данных был собран и, соответственно, все это выложено, можно пользоваться. То есть ещё 1 подтверждение, следующее подтверждение.

119: 9 июля. То есть, понимаете, 2 месяца назад все это только люди опубликовали. До этого не было ничего. Тоже ник мутей сайнс здесь что сделали? Взяли, в общем, разные работы, разные статьи и попытались их

120: Результаты воспроизвести при помощи языковых моделей. То есть люди писали статьи, мучились, приглашали испытуемых, им платили, там они, ну, потом вот отбраковывали данные, а вот сказали то, что языковые модели

121: В принципе нам, нам все это воспроизведут, то есть с людьми взаимодействовать вообще не нужно, и действительно они, ну воспроизводят вот с вероятностью там 80% и management science, и психологические тесты, и те.

122: Которые проведены со студентами и с более даверс там семплами. Вот те, которые собраны на онлайн платформах, даже все вот они воспроизводят. То есть ещё 1 подтверждение, что касается экономических задач. Вот

123: Есть 1 работа на microsoft, гарвардской бизнес школы. Что они делают? Вот они берут, значит, то, что я вам рассказывал, вот это ютилити теории, они такие эксперименты делают с ллм моделями.

124: И дальше они, как показывают вот эти вот желания заплатить за разные характеристики, которые демонстрируют люди и элэми, они схожи или нет, и здесь у них есть люди.

125: Есть разные модели, которые никак не фантюнинг. И есть модель, которая, которая фантюнинг. И, в принципе, ну, мы видим, что есть некое сходство. Вот те вещи, это выбор ноутбука. Вот.

126: То есть за бренд, как бы, да, и человек, если это apple, то человек, ну как бы хочет доплатить сколько-то денежек, и лмка тоже хочет доплатить за память тоже, за оперативку меньше, ну вот за размер.

127: У них как-то не совпадают мнения, почему проектор, я не знаю, но вот за проектор все хотят доплатить денег. Вот. То есть это показывает, что эллу можно использовать в экономических задачах.

128: Но здесь есть небольшая хитрость, что вот этот фантюнить, ый был сделан здесь, да, это фантюнить же задачах, то есть, по сути, ну,

129: Это лишает весь смысл исследования, потому что если у нас уже есть данные людей, то мы можем зафонтанил просто обычную модель из random ютилити теории. Зачем нам надо надо тренировать лмку, чтобы она затем

130: Производила данные. В общем, здесь есть некий такой гэп, но и не очень много работ. Вот как перейти от, ну, таких вот более социологических, психологических экспериментов к таким более уже экономическим

131: И, соответственно, мы такую задачу решали. И, значит, вот название нашего проекта, значит, этот проект мы делали совместно с университетом Сингапура, пекинского университета и

132: Институт Макса планка. То есть тут были собраны компетенции и в области искусственного интеллекта. У нас ребята работали из x дипмайнда и

133: Что мы хотели сделать? Смотрите, вот название, оно включает в себя очень много. Основной задачей было это сделать такую маркетинговую стратегию, да, на основе языковых моделей, которая как раз по принципу старбакс, кофе у нас повы.

134: Желание людей заплатить дополнительную денежку для того, чтобы компенсировать выбросы, выбросы в атмосферу от авиаперелётов. То есть здесь у нас есть языковые модели, то есть это генеративный иай.

135: Есть у нас вот эта вот стимуляция поведения, вот это new to promote, это поведенческая наука и мы решали важную проблему для для климата, потому что авиационные выбросы это огромная проблема, я бы

136: Об этом тоже расскажу. Вот. В общем, сейчас я буду говорить, это конкретный кейс, когда мы прошли весь путь от идеи до её, как бы, валидации на конкретных, ну то есть получили конкретные экономические цифры.

137: В конце. Вот, значит, почему сначала поговорим про сустейн абилити, почему важны авиационные эмиссии? Потому что вот смотрите, я сделал небольшой расчет. Вот если человек вот сколько он вообще делает выбросов,

138: Ну вот, скажем так, на человека, ну, где-то 50 квадратных метров апартамент это окей. И чтобы его отопить, это в год человек выбросит примерно 1 тире полторы тонны углекислого.

139: Газ, атмосферу, затем перемещение на личном автомобиле. Если это в городе каждый день 10 километров, то человек выбросит в год 0 7 тонн. Но дальше вдруг там, ну, человек

140: Хотел в Москву слетать. И вот если летя в экономическом классе, такой, значит, раунд путешествия выбросить 0 4, то есть 0 4 это половина того.

141: То, что за год автомобиль выбросит, а если вдруг он полетит в бизнес классе, то он уже выбросит больше, чем за год выбросит его автомобиль.

142: А вот если этот человек захотел на на пхукет слетать, то его выбросы 1 этого человека, это все как бы пессенджер будет уже больше того, сколько он потратил для того, чтобы свой дом отапливать весь

143: Год, а с учётом того, что вообще вообще то в России в год 100 с лишним миллионов путешествий совершается, да?

144: Потому что выбрасывает самолёт. То есть у нас есть число, которое самолёт выбросил, а дальше это делится на число пассажиров, правильно? То есть, то есть то пространство, которое оккупиро.

145: Пассажир бизнес класса, туда можно посадить. Ну, если это, ну это если это бизнес класс, то можно посадить полторы пассажира обычного класса, если это вот 1 класс, вот, например, emirates или qatar airlines, туда можно посадить 4 человека.

146: И экономического класса, то есть вот рассчитывается так, и, ну здесь ещё можно очень модно. Если человек ест, то как любит есть мясо, то, кстати, если человек любит есть мясо, то он выбрасывает

147: Столько же, сколько он будет ездить на машине весь год. Вот это тоже, ну, это я сюда не включал, вот просто видел на лекции, что это тоже идёт 1 отдельным пунктом и там тоже большой выброс, но ничего не стоит в 1

148: Ряд с авиационными выбросами. И, ну это 1 проблема. 2 проблема, что авиационные выбросы, они выбрасываются в высокие слои атмосферы, и они при этом их, их влияние ещё хуже. Вот тогда

149: Это пример того, как это будет дальше, как, как starbucks. Я дальше расскажу. Вот ещё как бы, проблема с авиацией следующая. Ну вот, да, вы говорите, как вот, как бы к вашему, чем эконом отличается от бизнеса.

150: То есть мы можем снизить количество эмиссии на человека, если, ну, их рассадим. Вот так. И это действительно, это из за синн когда-то, ну, я видел фотографию, что кто-то предложил такую штуку, вот. И, ну, если, не знаю, слетать вот таким образом.

151: Например, war, Вьетнам. Ну, мне кажется, потом будешь себя не очень чувствовать. Вот ещё есть возможность это сделать более эффективное авиационное топливо, это как можно снизить

152: Стороне, ну как на стороне суплай сайт, то есть со стороны поставщика услуг, но это очень сложно. И вообще было посчитано, что в тот момент, когда люди изобретут такое топливо, то-то, как они снизят эти выбросы, оно вообще не

153: Не покроет то, насколько количество этих выбросов увеличится за это время. Вот, ну или, не знаю, электрический самолёт, ну, как бы, тоже пока никто не изобрёл, поэтому здесь дела идут не очень хорошо. И, ну, можно перейти на сторону, как бы

154: Сайт это страна потребителя и попробовать что-то сделать здесь и сейчас. Вот, ну основная стратегия это попытаться. То есть была вычислена цена, которую, ну, как, сколько примерно стоит вот это то

155: Она этого, этих эмиссий, которые выбрасываются. Вот, и эти деньги, они как бы эквивалент того, что нужно сделать, чтобы эти выбросы из атмосферы убрать или не

156: Не допустить их появления в будущем, например, сколько деревьев надо посадить, чтобы эти выбросы они отфильтровали, сколько это будет стоить или сколько поставить ветряных электростанций, чтобы они воспроизвели такое же количество и сколько это будет стоить. Ну, в общем,

157: Так или иначе, люди пришли к тому, что есть некая цена этих выбросов. Это даже на уровне государства. Есть такое, что 1 государство может купить у другого. Ну вот эти кредиты, сколько я могу ещё выбрасывать и авиакомпании некоторые обяза,

158: Вот как-то, ну что-то за это платить, и они хотят, чтобы люди тоже поучаствовали. То есть, что они хотят, что человек, когда бронирует билет, он, ну, как бы говорит, ну то, что он добровольно согласен как бы доплатить там чуть денег.

159: Чтобы компенсировать свои выбросы. И вот как это, ну, сейчас происходит, это скриншот компании swiss. Вот я, значит, выбрал билет, и он меня выкинул вот на такой экран, где мой

160: Обычный билет экономического класса стоит вот столько, но есть экономии грин, который стоит дороже, но он в себя включает некую доплату 10%, который пойдёт на разработку вот этого.

161: Топливо и 90 на климатические проекты. Вот, но он ещё включает ещё какие-то штуки. Здесь мы уже видим такую маркетинговую стратегию, что он как бы красным цветом покрашен. То есть это как-то манипуляция нашим вниманием, что это наши рекомендации.

162: Вот, в общем, как-то, ну, люди работают, а теперь как опыт старбакса здесь можно применить. Вот смотрите, у меня есть обычный билет, он стоит 197 $, и он не включает никакие, никакую

163: Компенсацию, а этот билет, который стоит дороже, тот же маршрут, тот же билет, но он включает компенсацию. Я нам просто не говорю, что это может быть там какая-то страховка вместо этой компенсации, как любят делать авиакомпании, но мы сейчас о природе заботимся. А вот смотрите,

164: Старбакса, добавить 3 опцию, которая будет близка к этой опции. Но хуже. Тем самым мы внимание отсюда сместим. Человек начнёт больше выбирать между 2 этими. А здесь эта опция намного лучше, она дешевле, чем эта

165: И она 100% компенсирует это 90. То есть, скорее всего, человек, может быть, выберет вот эту. Но внимание, вопрос, какие параметры поставить? Я уже об этом говорил, что мы можем какие-то поставить, и они вообще на человека как-то, ну,

166: Не знаю, напрягут, он разозлится и не будет пользоваться этим, этим агрегатором больше. Вот. И те параметры, которые на меня действуют, на другого могут просто не подействовать. То есть вот для чего нужны модели, которые нам предскажут, для кого

167: Того, что поставить. И наша логика была такая, что мы возьмём, значит, лмку, она на основе вот прям такого базового профайла нам, нам скажет, какие ставить параметры. Причём, ну это все.

168: Можно сделать в режиме реального времени, что человек начинает бронировать, но он, по крайней мере, не все сообщает. Но возраст, пол, мы о нём уже знаем, это мы тоже знаем, как бы 3 из них, ну, допустим, что-то можно спросить и дальше, когда

169: Человек дойдёт вот уже до вот этого экрана, то опция будет сформирована с учётом его, ну как бы профайла на основе тех данных, которые он ввёл в начале. Вот теперь как это проверить, значит,

170: 4 шага проверяли. Ну, 1, это как-то сузить поиск и сказать, значит, какие характеристики людей нам интересны. Ну вот, вот эти 6, затем определить как бы область поиска.

171: Параметров вот, вот этой опции я про это скажу, как она выбирается затем сделать симуляции с языковыми моделями, чтобы предсказать, как для каждого профайла, какие параметры будут оптимальны.

172: А дальше проверить это на людях. И вот, соответственно, как это делалось, наверное, здесь мы просто пропустим это для каждого человека. У нас случайным образом конфигурировался билет. Вот.

173: Он конфигурировался исходя из времени перелёта, исходя из цены, ну, то есть, исходя из такого алгоритма квази рандомного, у нас для человека выбирался билет, а и билет б этот.

174: А затем нам надо выбрать билет ц с вот этими вот, вот опциями и как опции надо выбирать. То есть, как я вам сказал, что вот у нас есть билет, который не включает в себя.

175: Компенсацию, мы его называем компетитор, мы не хотим, чтобы его выбрали, а этот билет, который дороже, но включает компенсацию кружочек это target. Мы хотим, чтобы его выбрали, и вот параметры 3 опции, они должны быть рядом с этой

176: Опции, но хуже. То есть, смотрите, вот он должен быть, вот эта цена, он должен быть дороже должен быть, но как бы хуже, хуже с худшей компенсацией. И мы это вот это

177: Параметр вот это пространство, мы его покрыли сеткой, и это привело где-то 40 различных комбинаций, параметров, которые мы тестировали. И затем мы просто, ну в системный промт значит грузили

178: Демографический профайл и затем вопросы

179: Ну, естественно, мы как бы контролили за то, чтобы структура как бы токенов не определяла. Да, да.

180: Оно, да, оно может быть, нет, не меньше 100.

181: Потому что, ну, нет, ну 100 это то сколько компенсирует. То есть, если 100, то это полностью компенсируешь.

182: Больше 100. Ну, ну, как компенсировать, за компенсировать за, за других можно тут

183: Нет, нет, ну мы просто не рассматривали такой вариант, что его просить, компенсировать, как бы ещё за кого-то мы просто работали, вот, что ему нужно компенсировать за себя. И в этом случае он может, ну, ну, то есть вот эта как бы 3 опция, она может быть хуже либо по 2 параметрам.

184: Либо она может быть хуже по 1, да, вот. То есть здесь она хуже по 1, она хуже по цене, а здесь она хуже по оффсетам, но есть ещё как бы работы, которые говорят, что вот такая опция работает, когда она чуть лучше в 1 параметре, но сильно хуже в другом.

185: И мы вот, ну, то есть валидировали вот эти все, все варианты, просто их уже много. У нас было 128 профайлов и 40 комбинаций. То есть, если мы бы хотели это

186: Эксперимент сделать на людях.

187: То, ну, было бы тяжело, надо было много набрать, потому чтобы репрезентативную выборку получить с каждого профайла. Вот был такой эксперимент. Вот некоторые ребята знают, которые проблему вагонетки вот рассматривали, там несколько миллионов была

188: Выборка. Вот. И там, как бы, ну, я просто этим ассетом работал, но я тоже пытался там для конкретной демографии набрать как бы, сабсеты, и даже из этих 20000000 мне было сложно, ну, как бы, достать хороший.

189: Репрезентативные выборки для того, чтобы покрыть конкретный сегмент. То есть это, ну, ну, как бы, сложный процесс. Я, ну, как бы, дальше расскажу, сколько это примерно стоить будет, если мы это хотим, ну, как валидировать все. Вот, то есть

190: Ну да, и 1, что же получилось тут ещё очень важно, что лмка же она, ну все-таки это не, ну не разумное существо у неё есть, ну, вернее, оно разумное, но оно то, на чем этот разум построен, это то,

191: Надо понимать, то есть это, по сути, предсказание следующего токена, и поэтому вообще структура как бы токенов предыдущих, она будет влиять на решение намного сильнее. То, что того, что вообще написано в промте, ну как бы той логики, которая написана в промте. То есть вот это то,

192: То, что нужно контролировать. То есть нужно тот же самый вопрос задавать таким образом несколько раз, чтобы

193: Убрать все возможные влияния особенностей вот этой структуры токенов. Вот, ну это как бы нет у меня времени про это рассказывать. Вот это в общем то, что получилось но 1 то, что мы сделали, это вообще спросили.

194: Без, без 3 опции, как бы, ну как хочет она компенсировать на правах вот этого демографического профайла или нет. И мы видим действительно, что, ну, для каких-то профайлов, она говорит, я не буду компенсировать для каких-то я буду компенсировать всегд.

195: Для каких-то я буду компенсировать иногда и это вот у нас, ну разные страны мы, мы решили рассмотреть разные страны, почему эти страны Индия, Китай, Германия, Сингапур и us.

196: Потому что, вот смотрите, Германия это страна с индивидуалистской культурой, западная, но не англоговорящая.

197: Сингапур это страна в Юго-Восточной Азии. С, ну, она англоговорящая и сильно западная. То есть там живут, ну, как бы, представители из Индии, Китая в основном, но они

198: Большая их часть, они учатся в западных университетах и как бы вот дальше Индия, Индия у нас

199: Она.

200: В общем, может быть, англоговорящие, я вам это потом объясню. Вот, потому что в Индии, если, ну, у человека спросишь, пройти на хинди тест или на английском, то в основном Индия проходит на английском. То есть здесь мы хотели, ну-ка,

201: Законтролировать индивидуалистскую коллективистскую культуру, законтролировать языковой вот bizze и, ну, вообще вот этот известную тему, что chat gpt, мы потому что делали на gpt

202: Что он чисто отражает мнение западной популяции, англоговорящей. Вот. Ну, здесь, собственно, что мы видим, что вот это последнее, ноу ноу, это те люди, которые не доверяют

203: Тому, что вот эти программы, они, они действительно пойдут на то, куда они платят деньги и то, что они не заботятся об окружающей среде. Вот эти 2 последних вот параметра, они оказались определяющими, что если

204: Человек говорит, no, no, то он не, нет, это лмка, то она не платит. Если говорит ес, ес, то она платит. Ну вот здесь тоже что-то происходит. Ну то есть вот эти люди, это наша целевая аудитория, по сути, что

205: Сможем ли мы их 3 опции? Старбаксовский нашей от нуля как бы куда-то вывести в другую степь. И вот смотрите, это то, что лмка говорит. То есть это ответ на 1 вопрос. Поменяй.

206: Мнение языковой модели. Если мы ей добавим 3 опцию, оно поменяется. Это вот. То есть 1 забавное реше, забавный результат, который, который получается здесь можно много о чем говорить, о всяких там промт атаках можно говорить.

207: О том, что open Иевский агент уже делает покупки в интернете за ваши деньги. То есть, по сути, маркетинг будущего, он будет о том, чтобы заставить твоего, м агента как бы купить, а не тебя. То есть это можно тоже

208: Думать на эту тему. Но суть в том, что вот смотрите, те, кто у нас, у нас говорили ноу ноу.

209: No, no, некоторые люди не изменили свой выбор, даже у некоторых минус есть, а вот смотрите, вот, например,

210: Вот этот мужчина, который говорил no, no, он на на 6%.

211: Повысил свою вероятность покупки. Вот этот мужчина на 5% повысил. Вот эта женщина на 1 и 3%, на самом деле маленькие числа, но для у нас же 11 миллионо

212: Пассажиров летает, они как превращаются в итоге в большой impact. То есть, да, 1 инсайд от, из этой картинки, что лмка, она тоже меняет своё мнение, если её таким образом

213: Ну, зафейлить вот то, что мы её спрашиваем теперь.

214: Эта картинка, она показывает как бы то, что параметры вот этой вот 3 опции, они для разных демографических групп разные, и это ещё различается для разных стран. У меня не очень много времени здесь. Ну вот, ну вот смотрите, например,

215: Соединённые штаты америки, вот у них вот есть тут такой кластер, это больше вот эти цифры, это сколько вот этих вот социодемографических профайлов были, были улучшены при помощи этих параметров?

216: А соответственно, в Китае вот здесь есть такой кластер и самое то главное, что нулей практически нет. То есть любая комбинация, она для кого-то оптимальна, а для кого-то нет. То есть это очень важно выстанавливать, выставлять как бы для

217: Каждого профайла свою комбинацию. И вот это было то, что мы хотели проверить, как бы, как смогла ли элемка аппроксимировать вот эту вот гетерогенность этих параметров между профайлами, как мы это сделали. То есть вот

218: Я да, говорил, как дорого долго делать эксперимент над людьми. Мы провели эксперименты в этих 5 странах, и в экспериментах у нас приняли участие 11000 человек, но дальше возникает 2

219: Проблема, о которой я тоже говорил, это то, что человек, когда вы его спрашиваете, что-то делать, да, в гипотетической ситуации он начинает, ну, что называется, производить не очень качественные данные. И так как мы не знаем, где этот человек проходит, что он делает, потому что он там на другом конце света.

220: Это вот здесь, например, сидит или там, как он проходит, мы не знаем. И поэтому в этот опросник надо было автоматически внедрить всякие неявные проверки, которые бы нам отсортировали, тех людей, которые недобросовестно

221: Было очень много времени потрачено на это, там с психологами все согласовано, и наша воронка получилась из 11000. Мы только 4 смогли использовать, потому что все остальные у нас отвалились.

222: Вот по вот этим всяким косвенным, таким таким всяким вариационным штукам, что касается цены, вот, чтобы набрать

223: Чтобы не чтобы не соврать сколько.

224: Около 40 000 $. Вот надо, чтобы набрать Чистых 4, 4000 в этих странах. Вот, то есть примерно как бы такой ценник и и при том при всем, что мы

225: Каждого человека спрашивали только 3 раза.

226: То есть для того, чтобы не создавать впечатление того, что это какой-то эксперимент, мы просто спрашивали 3 раза с 3 разными параметрами, когда мы ему давали опцию, которую лмка говорит, что она очень плохая, давали опцию, которую лмка говорит, что будет

227: Оптимально. И 3, когда мы давали всем какую-то опцию, которую лмка говорит, что, ну, для этой страны должна быть оптимальна. Вот. И было у нас, ну, как бы, 3 перелёта, то есть всего было 9, да, было 9 вопросов, потому что мы сначала давали

228: Сценарий представь, ты летишь там из Нью-Йорка в Нью-Дели. И вот как бы давали так, потом какой-то ещё коротенький Перелёт из Нью-Дели в Калькутту покороче. И какой-то средний Перелёт мы тоже давали. Вот. И вот.

229: Что получилось? Значит, во первых, что интересно, здесь это на основе человеческих данных уже результаты. Вот помните, нам ллм говорила, что те люди, которые не доверяют, да, они платить не будут, а мы

230: Смотрим то, что тех, кто не доверяют, их достаточно много. Это вот степень доверия. Вот Индия супер доверяет, да, там только 14%, но, но в Германии 39% людей они не доверяют. То есть наша целевая целевая группа

231: В Сингапуре 31, в штатах 35. То есть, ну, как бы есть смысл с этими людьми работать. И дальше мы аппроксимировали ответы людей при помощи, ну, скажем так, да, логистической регрессии. Вот.

232: Чтобы выявить важность параметров, которые оказали влияние на выбор людей. И действительно у нас во всех странах наших вот этот доверие и забота об окружающей среде, они среди 2 самых главных

233: То есть, по сути, это, ну, повторило у нас результаты языковой модели с какой-то точностью. Затем, чтобы, ну, прям сравнить, мы взяли и людей разделили на 2 группы на основе того, что нам лм, предсказывала 1 группа, это те,

234: Те, кому лм. Предсказывала, что они будут платить все время, a2 группа, которая лм. Нам предсказывала, что они будут платить не все время. И вот среди людей мы действительно видим, что серое это то, кому лмка предсказала, они будут платить, они действительн.

235: Действительно, платят те, кому лм. Предсказал, что они платить будут меньше, они действительно платят меньше. То есть такая 1 валидация такого поведения без этой приманки. А теперь внимание с вот этой приманкой. Ну, я пропущу это, этот верхний график, это он показывает то,

236: Как распределены параметры по разным популяциям, уже нет времени. Но суть в том, что когда мы даём вот как бы 2, 2 инсайта, когда мы даём тот параметр, который лмка говорит, что будет оптимальный для этого.

237: Сегмента, то мы повышаем, повышаем вероятность этих людей заплатить эти наши дополнительные деньги за офсет. И этот эффект, он не во всех странах, он рабо.

238: Работает в Германии, в Сингапуре, в соединённых штатах. То есть в Германии мы на 7% повысили. Вот зелёный. Это когда мы поставили всем одни и те же параметры. Это когда белый, это когда всего 2, 2 опции, 3 нет

239: А вот синий, когда наша 3 опция с оптимальными параметрами, то есть Германия на 7% повысилась Сингапур на

240: На 7, да, на 7 тоже, да, штаты меньше на 3. И как бы, то есть мы видим эффект. И здесь вот 2 интересных момента. То есть, которые я тоже хотел бы сейчас быстро обсудить. 1 момент, связанный со странами.

241: Вот вообще о том, то, что есть культурные всякие особенности этой лм моделей, уже давно ведётся об этом разговор. И вот, в частности, Татьяна, по моему, 24 год, вот что они говорят.

242: Вот это, ну, тут некая есть некие тесты, да, которые отражают социодемографические показатели. Это то, как на эти тесты отвечают разные модели gpt, да, и мы видим,

243: Что они лежат в том как бы Куске стран, которые относятся к западной, как бы к западным странам и к англоговорящим странам, да, мы видим, а вот наши страны, на которых не работает

244: Китай, Индия они от этого всего дела далеко.

245: Singapore он как-то странно, но в целом что что это значит, что действительно, чтобы заставить нашу модель работать на

246: На Китае надо её отсюда пододвинуть сюда и как раз вот тот funtube, говорили.

247: Работы из нэйчи про вот про кентавра как раз здесь может очень хорошо помочь. Это 1. A2, это то, что есть необходимость разработки, ну, таких, скажем так, национальных моделей.

248: И уже вот в 23 году, вот в nature вышла статья про то, что свой chat, gpt, разрабатывается в Японии, потому что тот, тот gpt, который существует, он просто не понимает, ну, не понимает японцев.

249: И это был далёкий 23 год. И сейчас я просто знаю, что, ну, во всех странах есть как бы свои проекты, которые разрабатывают свои языковые модели. И то есть здесь вот возникают такие интересные, интересные задачи тем,

250: Модели уже для разных стран, которые сейчас есть. Действительно они позволят ли как-то лучше аппроксимировать решение и поведение людей из этих стран или или нет. Вот. То есть сейчас уже хорошо.

251: Положить бы, вот, вот тут есть Россия у нас, да, вот сюда положить GigaChat и всякие остальные модели, ну вот где они будут ближе или нет, вот сюда вот можно дипси там положить ещё.

252: Там, по моему у них фалкон есть модель тоже туда можно, можно посмотреть ассоциируется или нет. И последнее это как бы почему маленький маленький прирост? Я просто посчитал немножко экономику. Вот.

253: Что маленький прирост, который мы получили, там 7%, 3%, он позволил вообще 2500000, 2, да, 2500000 тонн ежегодно, как бы компенсировать, если эти люди вдруг заплатят

254: Наша статья, она выложена, вот также про неё написали форбс как перспективный метод декарбонизации авиационной отрасли по QR кодам можно почитать и вообще вот.

255: Можно статьи вот этого автора тоже почитать, она пишет про и с точки зрения социологии, то есть тоже очень много интересного. Все. Большое спасибо за внимание.

256: Я короткий вопрос задам, там говорили в начале вы что, в науке? Важно ответить на вопрос, почему здесь, в чем был вопрос, почему и малень.

257: Дополнение, может быть. Как вы смотрите на ризонинг модели, можно ли это вопрос, почему отвечать тоже с помощью elm, с помощью ризонинг моделей? Вот такие 2 вещи. Угу. Да, да, спасибо за вопрос. Я, я

258: Как все, мы во всех наших вычислениях сохраняли ризонинг. То есть это была наша идея, как бы, что следующим этапом мы сравним как бы то, как языковая модель принимает решения.

259: И как принимает решение человек ризонинг, то мы собрали ризонинг, есть, но как собрать ризонинг человека? И мы сейчас тоже разработали методику, как собрать ризонинг человека? Ну, соответственно, ризонинг можно собрать очень много информации.

260: Инна стратегии даёт движение глаз. Вот, но, но, но движение глаз его тоже сложно собрать, и мы разработали приложение, которое превращает веб камеру в айтрекер и

261: Наше следующее исследование будет опять пройтись по этим несчастным людям, ну, не по этим, по другим, но уже собрать, попробовать с них информацию о том, как их взгляд перемещался по экрану, потому что от этого мы

262: Ну, как бы, получим очень много информации об их Резинин, её и, соответственно, сопоставить. Ну, ну, в общем, как минимум, из rising лмки мы можем понять, во первых, эмоции, а во вторых, можем понять, на что она

263: Больше обращал внимания из айтрекинга. Мы можем понять, на что человек больше обращал внимание, то есть где был больше его взгляд, как минимум тоже эмоции косвенно тоже можно. То есть как много он перемещался, как быстро. То есть это тоже говорит о том,

264: Был ли его? Ну вот этот вот паттерн на эмоциях или больше на таком, на логическом ризлинг построен. Вот.

265: А подскажите, пожалуйста, вот вы, вы провели эксперимент, это эксперименты были на основе опросов или это были реальные покупки билетов? И вы сравнивали предсказания, модели? И вот фактические заказы? Да, да, да. Очень хороший вопрос. Это были, ну,

266: Нереальные покупки билетов. Следующий шаг это, ну как бы реальная покупка билетов и

267: Мы сейчас ведём переговоры Сингапур эрлайнс, вот, чтобы попробовать на несколько месяцев, чтобы они нам дали возможность, ну, это вставить в их, в их букинг сервис. У них есть тоже там страни.

268: Куда проваливаешься с целью компенсации эмиссий? Вот мы ведём переговоры, чтобы на несколько, на какое-то время они её задизайнили на основе наших результатов. То есть это вот о чем я говорил, это мы сейчас, мы работаем с

269: State преференс, а все-таки шаг следующий должен быть некий вот этот ревилл преференс, когда человек реально в реальных условиях делает эту покупку.

270: Вы показывали свой сейр, то, что у них уже эта система есть. Я вот недавно видел, что они выпустили свою национальную модель итх. Это сурики, технический университет они выпустили. То есть можно было бы

271: Вы как я понимаю сделали на основе chat gpt вы сделали промт и на основе чай gpt сделали для всех регионов вот это хорошая идея которую вы предложили взять сделать на национальной, учитывая что она опенсорсная это опенсорсная модель и можно было сделать и предложить Виссер так как у них уже это реализовано именно вот это предло.

272: Компенсировать эмиссию тоже как идея. Ну да, но мне кажется, это, это как бы столько же работы, что мы, мы же видим, чат gpt на Сингапуре работает вот просто на Сингапуре мы уже даже знаем, какие параметры ставить. Вот, то есть

273: Это, мне кажется, проще. Но, да, да, да. Вот. А здесь надо все-таки, ну, попробовать сначала, будет ли работать на Швейцарии и сделать модель, которая будет работать на Швейцарии, а как бы, потом, ну, сделать вот это уже готовое уже есть.

274: Да, вот лучше сначала попробовать там, где уже точно работает. Спасибо.

275: Вот вот такая штука можно было просто запустить аб тестирование со всеми этими или какой-то частью параметров и получить ответ по факту а можно сделать вот это исследование на alla то что у вас.

276: Получить тоже ответ, но который потом надо ещё проверять, как сейчас с Сингапуром. Да, да, да. В чем вот этот трейдофф? Он, как вы видите, может быть проще просто взять, тестировать.

277: Смотрите, аб тест, он же делается в самом конце, то есть, аб тест, он, он, ну, позволяет вот проверить какую-то 1 интервенцию, 3 варианта. Да, да, да. Ну, а как, а как мы к этому пришли, эти 3 варианта?

278: Дни из 40 * 128. То есть мы это делали вычисление как бы с лмками несколько недель. То есть там количество вычислений просто колоссальное, мы то есть проверили, то есть как

279: Это связано с ab тестом, то есть аб тест он хорош для того, чтобы уже в конкретной области параметров гипотезу валидировать, а как эту, как, как область найти?

280: Ну, здесь же не 40, здесь 1000.

281: Нет, а как? Ну нет, ну 1000 аб Тестов нет. Если какая-то компания согласна запустить 1000 аб Тестов, то я хочу с ними сотрудничать, потому что это такой можно, ну, собрать датасет, которого никому аналогов не будет.

282: Ну не 1000 же.

283: Нет, нет, я просто, ну, как бы, нет, нет, нет, я просто знаю, ну, как бы, ребят, я из, ну, маккинси, да, аналитики, которые все время делают эти аб, тесты, я, ну, с ними разговаривал, и аб тесты, это очень затратная такая вещь, которая

284: Необходимо для того, чтобы уже проверить какую-то гипотезу, которая была сформулирована, ну как бы в результате работы большой команды, дата аналитиков на основе исторических данных, ещё чего-то. Вот так они, ну, как-то приходят к выводу, что вот

285: Как я сделаю и будет работать аб тест. Это нужен только для того, чтобы, ну, как бы перед заказчиком отчитаться. То есть это такая финальная стадия, аб тест как инструмент.

286: Ну, нахождение, как бы, пути, куда идти, он не применяется, он только валидирует уже конечный, какую-то конечную стратегию, которая уже придумана. Да, да, да. Он только он используется для этого, он потому что, ну,

287: Ну, это не просто аб тест, чтобы сделать это, надо, надо развернуть как бы 2 вот эти стратегии. Причём при условии, что все остальные параметры там держатся одинаковы, надо отследить, чтобы те люди, на которых это, ну,

288: Которые приняли участие, что они, в принципе, до аб теста не различались друг с другом, чтобы те же люди ходили, ну, как бы, тот тот же состав семпла ходил как бы в эти же магазины, где, ну, раскатаны разные маркетинговые стратегии, то есть

289: Это, ну, такая достаточно затратная вещь, которая только, ну, делается только в конце, насколько я вот это понимаю, после разговора там со специалистами.

290: Не, ну тут ab тестом это сделать невозможно это, это все равно что у вас такая программа, ну как на компьютере в которой вы вот все, что хотите, тестируете то есть вы можете с точностью там ну не знаю, до копейки эту цену, ну как бы менять и как бы смотреть, а вдруг там вот

291: Там-то, в этих копейках. И вот оно такое место, которое на всех сейчас очень сильно повлияет. Абы тесты это какие-то большие такие вещи, ну как бы тестируются. А вот чтоб искать при помощи ab Тестов, ну вряд ли вообще это

292: Вряд ли возможно.

293: Нет, нет, нет, нет. Вот в этом то вот это вот эта опция интересна, что как бы цена, которую мы хотим, чтобы он доплатил, это конкретная цена, которая вычисляется на основе того, сколько эмиссий было воспроизведено. А вот эта 3

294: Опция, где мы играем уже с ценой, она стоит как бы дороже. Вот. То есть мы то хотим, чтобы человек купил не 3 опцию, a2, да, но если вдруг он купил 3 опцию, ну как бы, по крайней мере, компания, то

295: Не, в минусе он просто заплатил больше денег. Вот. Но это бывает редко. И это скорее, то, что мы считаем иррациональным выбором. И этих людей мы вообще, ну, как бы не рассматриваем. Вот у нас там очень много

296: Ну, таких Тестов на то, как бы, действительно человек делает выбор на основе информации, или, или, или просто так. Вот. И эти ситуации, это из разряда, что это? Ну, что так в реальной жизни точно не будет.

297: То есть сама модель, она будет предсказывать, сколько будет стоить опция, да, сколько будет, и она может варьироваться, да, для каждого из, да, да. То есть из категорий, да, вот здесь тогда подойдёт, я имею ввиду, в каком плане его можно сделать, если вот мы её

298: Это 1 как бы для одних категорий клиентов, a2 категория клиентов, может быть тех, которых модель предсказывает. И вы можете какую-то метрику замерить, например, сколько будет платежей увеличится количество. Это может быть, да, да, но это, это уже как бы проверка.

299: Да, это вот нет, это то, что мы хотим сделать, если, ну, на реальном, да, то есть, если уже, чтобы выявить именно вот эти вот, ну, грубо, как изменилось настоящее поведение, да, здесь, конечно, финально здесь, как и во всех этих вещах, должен быть аб тест. Вот.

300: Аккуратно сделанный, который покажет, есть эффект или нет. А сейчас просто хотите посмотреть?

301: 3 модель, как скажет, нет, ну, сейчас мы хотим сделать аб тест следующим, ну, если договоримся, то вот, да, эта штука поработает там, ну, месяц или сколько-то. И мы, ну, да, сделаем прям, ну, чисто вот.

302: Идём, чтобы говорить о возможности проведения аб теста на на базе компании. Вот.

303: Тоже самое используют не только при продаже авиабилетов и других маркетинг, ну, по крайней мере, авиабилет, помимо вот этих вот эмиссий, которые наш, ну, как наш, что называется, апселл, там, может быть, что-то другое. Может быть, ну, как авиакомпания хочет продать там

304: Дополнительные вещи. Вот просто это, ну прям вот с точностью до контекстной замены можно прям то, что сделано здесь использовать ещё для, ну, как широкого класса задач, вот в электронной коммерции, даже без каких

305: Либо сильных изменений.

306: Не пробовали, но исходя из

307: Ну, как бы от других задач, в которых мы так пытались сделать, это не очень эффективно, потому что, ну, все-таки вот такое непрямое, как такое вот не

308: Непрямой инференс, он, ну, работает лучше s elm моделью, например, вот, ну, я даже не знаю, мы делали вот, для, ну, как проблемы вагонетки, например, кого автономный автомобиль должен должен сбить, да, там, молодую.

309: Женщину или там ребёнка, мальчика лмки, они напрочь отказываются вообще на этот вопрос отвечать. Но если им их, ну, начинаешь прогонять вот таким образом, где есть

310: Параметры 2 опций. И помимо вот этих целевых параметров туда замешивается ещё куча других параметров, то из лмок прекрасно. Вот эти те же самые базисы, как у людей, и прекрасно достаются, что там, ну, женщин чаще, чаще спасают

311: Если их ещё, ну, как понтишь там, ну, если, если ты гражданин индивидуалистской страны, по моему, они женщин больше, ну, как бы, больше спасают, если ты там гражданин Индии, то, ну, или другой коллективистской страны, то там этот, как бы, басмен.

312: То есть, вот, а если прямо спросить не ответит, я боюсь, что здесь тоже, если прямо её спросить, то скажет, что это 3 опция, она абсолютно, ну, здесь не нужна, она, потому что, ну, хуже.

313: И здесь оптимальная опция, это опция 2, но это интересно, можно, это сильно ускорит, но я не думаю, что это приведёт к к результатам.

314: Вот мы вот этой статьёй вдохновлялись, которой именно делали.

315: Ну вот этот эксперимент что здесь же по сути тот же эксперимент делается то есть вот эти все эстимейшен они из модельных данных то есть они взяли на основе данных элэми, зафиксили модель вот эту у random ютилити и все.

316: Все, вот это вычли оттуда. То есть мы подумали, что это как бы такое непрямое такое. Да, да, да, то есть тоже, ну, как бы, как бы, не знаю, позволит такой, плюс минус объективные вещи из лмки достать, минуя её какой-то

317: Субъективное отношение к этим, ко всем делам. Вот.

318: Все, я думаю, если ни у кого больше вопросов не осталось, мы можем завершать нашу лекцию. Большое спасибо нашему спикеру Владимиру. Спасибо большое нашим слушателям, что приходите, поддерживаете и слушаете. Все. Спасибо вам.

319: Угу.