0: По моему, 18 10. Мы должны были начинать. Начнём в 18 0 6. По моему, время в начале представлюсь. Меня зовут Василий Мещеряков. Я и мои коллеги работаем в компании навиа, и мы занимаемся автономным вождением.
1: Я заместитель директора по разработке, по продуктам автономного вождения. Я проведу некую вводную часть, расскажу про компанию в целом, чем мы сейчас занимаемся, какой статус разработки таких продуктов в России. Расскажу немного о последних трендах в области архитек.
2: 3 принципиальных подходов к построению автономных систем и затем передам слово моим коллегам. Это Василию бугаеву, да, нашему ведущему эксперту и специалисту по разработке продукта симулятора и Алексею воропаеву, руководителю направления.
3: По разработке нейросетевых моделей. Ну, наверное, навио 1 из там 2 2 с половиной компаний в России, которые занимают действительно ведущую позицию в области разработки.
4: Беспилотных автономных систем не так много. Про нас в публичном пространстве было известно. Мы сейчас нашей командой маркетинга это активно исправляем и начинаем проводить мероприятия, нацеленные в том числе на сотрудничество с вузами, со студентами.
5: Специальностей, чтоб больше рассказывать о наших разработках. Ну и, конечно, привлекать людей к сфере автономных систем, поскольку, ну, это эпоха физика, лояль только начинается. И мы в самой, самой Заре, на самом деле, окей, у нас
6: Компании. В целом мы занимаемся разработкой технологий, то есть мы, я расскажу немного про наши продукты, но для нас самое главное это технологии, и мы хотим привнести новую мобильность в жизнь людей и улучшать опыт взаимодействия с системами, которые долгое время казались уделом
7: Ну, непосредственно присутствие там, живого водителя, там, не знаю, живого Кучера или человека, который управляет каретой. Немного компании. У нас головной офис находится в Москве, на проспекте Андропова. Крупный офис есть в Санкт-Петербурге.
8: И филиал. В Нижнем Новгороде у нас совокупно порядка 1000 человек сейчас в компании флот тестовых автомобилей более двухста единиц включает в себя как легковые, так и грузовые, и, по большому счёту мы
9: Ведём разработки не только систем искусственного интеллекта автономного транспорта, но ещё прикладные технологии, прикладные продукты, которые используются в автомобильной технологии автомобильной индустрии. Не буду очень долго про нашу историю рассказывать. Мы более 5
10: Лет на рынке существуем. В своё время запустили самый большой флот тестовых автомобилей в европе. Из того, что вы могли видеть недавно. У нас вот такой вот есть собственный прототип полностью автономного магистрального тягача. Называется он л. 5
11: Название является отсылкой к 5 категории автономности здесь даже не предусмотрена кабина для водителя, то есть примерно такие штуки будут в будущем замещать тягачи, водить фуры по грузовым основным направлениям в прошлом.
12: Году мы начали очень важную для нас очень важный переход на новую архитектуру разработки автономных систем. Я чуть чуть об этом расскажу. И в этом году мы начали больше рассказывать о наших дополнительных продуктах. В частности, мы представили
13: Программу мультимедийную платформу интегрировались с 1 из крупнейших в России производителей автомобилей. Ну вот что-то типа аналога там карплей кар авто для того, чтобы интегрировать разные мультимедийные информационные системы с телефоном и с автомобилем
14: Ну, все-таки для нас базовое направление это разработка технологий автономного транспорта. То есть наш основной продукт это называется ai пайлот. Да, это тот самый автономный водитель на базе искусственного интеллекта.
15: Из каких-то недавних интересных вещей, которые мы достигли, у нас совокупный автономный пробег более 6000000 уже автономные наши грузовые тягачи в тестовой эксплуатации возят коммерческие грузы коммерческие, то есть это real.
16: Грузы реальных компаний, реальных клиентов, с которыми мы сотрудничаем, какие-то гипермаркеты, какие-то миджи, продукты, в основном по трассе Москва, Санкт-Петербург м 11. И вот несколько лет это уже происходит, по большому счёту автономную технологии.
17: Уже рядом с нами находится. То есть наконец то уже там после 10, 15 лет мировых разработок это история, которая не лабораторная, не из какого-то далёкого будущего. Это то, что можно там буквально каждый день у нас встретить. Ну и можно нам как сотрудникам прокатиться, на каком тягач
18: Из Москвы в Санкт-Петербург или обратно, пока в кабине должен быть водитель, мы работаем в рамках так называемого экспериментального правового режима с ограниченно российским законодательством. Полностью выгнать водителя из кабины, пока права не имеем, но он сидит за рулём.
19: Тягач. Грузовик едет в автономном режиме, но в случае чего есть человек, который может управление подхватить, чтобы все были спокойны и в полном комфорте. Но там, естественно, основной целью на ближайшее время для нас является высадка водителей, чтоб
20: Многие работали уже совершенно без участия живого человека. Ну и вот была недавно новость, по моему, в августе мы первые в России проехали в автономном режиме 24 часа по маршруту Санкт-Петербург.
21: Г. Москва Казань, и это отсылка к тем выгодам, пользам для общества и бизнеса, которые эти технологии в себя несут. Зачем мы этим занимаемся? Дело в том, что 1 из основных статей расходов для компаний Перевозчиков является водители зарплаты водителей в России.
22: Сейчас дефицит людей, дефицит рабочей силы и водителей, в том числе и мы этот дефицит способны закрыть. Плюс, в отличие от живого белкового органического человека, у нас алгоритмы способны работать 24 часа в сутки, ну, с каким-то минимальным временем, да, технически
23: Обслуживание и поддержку. И нам не нужно соблюдать нормы труда и прочие штуки, которые эффективность бизнеса могут снижать, ну и не говоря уже о том, что алгоритмы, способные стабильно и предсказуемо работать в определённом режиме.
24: В определённом режиме работы двигателя тем самым экономит топливо и расходные материалы. Вдобавок ко всему. Окей, ну, это вводная часть. Про компанию я здесь заканчиваю и несколько слов по существующим подходам к архитектуре построения автономных систем, значит,
25: Долгое время, даже практически десятилетие, там лет 15 на мировом рынке, да, в индустрии автономных систем господствовал так называемый классический алгоритмический подход. Суть его заключается в том, что у нас в архитектуре есть набор каких
26: Модулей каких-то, подсистем независимых, каждый из которых выполняет какую-то свою функцию, да, это восприятие, да, сенсоры персепшен, это локализация определения, местоположения предикшн, предсказание поведения.
27: Транспортного средства и других участников движений это планирование маршрута и это контроль управления, то есть подача непосредственно управляющих импульсов на какие-то ходовые части автомобиля. Этот подход был классный тем, что можно за достаточно быстрое время
28: Было сварганить прототип, получить какое-то демо легко, это относительно сертифицировалось, ну и вот такой Лёгкий эмвипи, да, минимум y продакт можно было получить в рамках этого подхода разработчики должны
29: Писывать правила или сценарий, например, на основе дтп, по которым у нас система функционирует вот буквально по принципам, что если тогда да и death и это несёт в себе определённый минус этого подхода, принципиальный что такие системы?
30: Достаточно сложно масштабировать, и они себя могут не очень эффективно вести в условиях неопределённости. Что будет, если в реальной жизни мы встретим сценарий, который мы не учли, да, если у нас произошла какая-то ситуация, комбинация условий участников движения там
31: Окружающей среды, дорожных знаков, которые мы наших там Десятков тысяч условий не предусмотрели. То есть система просто не будет знать, что делать. Будет. Вынуждена безопасно остановиться, прервать свой маршрут, затем разработчики вручную, снова новый
32: Изменяющиеся условия должны все учесть, записать это в виде чётко регламентированного набора правил, то есть учесть все возможные сценарии, в 1 очередь редкие или которые мы встречаем буквально там 1 раз в жизни за рулём достаточно сложно, поэтому для
33: Полноценной эксплуатации без живого человека такой подход оказался подходит не очень хорошо и альтернативным подходом, который сейчас является мейнстримом, таким трендом, актуальным в основном системах. Это использование нейросетевых
34: System, там систем генеративного искусственного интеллекта. В 1 очередь это подход на базе ввела архитектур, ввела это аббревиатура вижн, ленгвич, экшн. То есть это визуальные, языковые, нейросетевые модели, суть их заключа
35: В том, что мы объединяем в 1 контуре, в 1 модуле, как восприятие информации, так и принятие решений по маршруту и управлению. Эти модели обучаемые. То есть мы их обучаем на базе каких-то ассетов, на базе, каких-то набор.
36: Данных и главное преимущество этого подхода заключается в том, что мы можем решить проблему длинного хвоста лонгтейл. То есть эти модели способны работать в условиях неопределённости, да, будучи обучены на определённом спектре сценариев, если они столкнутся с какой-то необычно,
37: Ситуации, они, тем не менее, способны предсказать, что может произойти, проанализировать окружающую сцену, окружающую среду и принять адекватное решение. Без каких-то ограничений. Такие модели сложнее, дороже с точки зрения стоимости вычислений, да.
38: Не про стоимость в живых деньгах, а про стоимость вычислительную, их сложнее запускать на непосредственно конечном устройстве. Поэтому, например, у нас есть выделенная команда специалистов, которые занимаются непосредственно оптимизацией этих моделей, уже приземлением на конеч.
39: Когда мы будем подходить к вопросу масштабирования и уже там не единичных тестовых автомобилей, а паром десятки, сотни тысяч, стоимость этих компонентов, конечно, будет играть гораздо большую роль.
40: Ну что ж, вот в рамках этой архитектуры, этого технологического подхода мы в прошлом году начали этот переход, и сейчас как раз все наши силы брошены на то, чтобы работать на базе вот такой современной архитектуры. Ну, наверное, все компании на рынке, так или иначе, сейчас
41: В рамках этого подхода и работает и где-то здесь появляется разработка наша внутренняя собственная разработка, которая называется фотореалистичный симулятор, которая необходима для работы таких систем, не просто нужна из неё a normal.
42: Эксплуатировать не сможет. И сейчас я передам замечательный кликер и виртуальный микрофон. Да, моему тёзке Василию бугаеву. Всем спасибо, мои коллеги.
43: Спасибо большое. Всем привет. Туда не обязательно говорить. Вась, хорошо, я это учту. Я работаю в команде симулятора, и немножко хотелось рассказать про то, что у нас за симулятор, зачем мы его делаем и как
44: Помогает тестировать и обучать технологии автономного вождения. Ну, прежде чем говорить, зачем нам симулятор? Давайте немножко определимся. А что вообще такое технология автономного вождения, чтобы ответить на этот вопрос? Давайте подумаем, а какие
45: Действия мы совершаем за рулём как водитель. В то время, когда управляем транспортным средством, мы ежесекундно анализируем окружающую обстановку, смотрим окружающих нас участников дорожного движения. Куда они едут. Мы
46: А за элементами инфраструктуры, такими ремонтные работы, различные знаки цвета светофора. Смотрим за направлением движения дороги и при этом при всем все ещё размышляем о том, а как же нам все-таки доехать то до нашей точки назначения пункт
47: Исходя из этого, мы уже формируем управляющий сигнал на наш автомобиль, ну, непосредственно жмём на педаль тормоза, на педаль Газа, либо поворачиваем руль влево, вправо. Вот все эти действия, они в некотором Роде могут стать базисом для определения технологии автонового вождения как систем
48: Реального времени с распознаванием окружающей среды и формированием управляющих сигналов на автомобиль с учётом предсказания траектории окружающих нас объектов, например, как изображено на видео при движе.
49: И мы должны, увидев динамическое препятствие, остановиться либо замедлить свою скорость, и только после того, как препятствие в виде пешехода уйдёт с нашего пути, мы можем продолжить набирать скорость и двигаться по маршруту.
50: При разработке основных направления, на которых мы фокусируемся. 1, это эффективность. Про неё Вася уже говорил. Каждая новая технология, которую мы приносим в этот мир и хотим, чтобы она была актуальна, востребована на рынке, она должна быть эффективной. Ну,
51: Технологии у нас есть 3.
52: При разработке технологии у нас есть 3 основных направления, на которых мы фокусируемся. 1, это эффективность. Про неё Вася уже говорил. Каждая новая технология, которую мы приносим в этот мир и хотим, чтобы она была актуальна, востребована на рынке, она должна быть эффективной. Ну,
53: Можно сказать, что технология автономного вождения с лихвой оправдывает свою автономные грузовики могут проводить движение до 23 часов в сутки, весь цикл логистических операций автоматизирован, и им не нужно время на отдых, на сон и на.
54: Эффективность.
55: Можно сказать, что технология автономного вождения с лихвой оправдывает свою эффективность автономные грузовики могут проводить движение до 23 часов в сутки. Весь цикл логистических операций автоматизирован, и им не нужно время на отдых, на сон и на.
56: Отвлекающий фактор. При этом благодаря особенности конструкции и точному управлению транспортным средством мы обладаем расходом топлива на 15% ниже, чем
57: При управлении под руководством водителя и особенности аэродинамики 2 немаловажным является комфорт требование комфорта напрямую прописано в стандарте c y g 30 16, который как раз-таки классифицирует уровень автономности.
58: Там написано, что чтобы технология была принята рынком, чтобы ей доверяли, чтобы каждый из нас не боялся сесть в автономную машину и поехать доработать, она должна быть комфортной, но все-таки основным фокусом нас как разработчиков.
59: Является безопасность. По данным национального управления движения по дорогам, до 94% дтп происходит по вине человека. Это огромное число, и оно приводит к смертям, к получению увечья.
60: Мы все-таки верим в то, что технология автономного вождения поможет это число существенно снизить, но для того, чтобы это гарантировать, мы должны убедиться, что наша технология в 1 очередь безопасна. Для этого нужно провести тестирование.
61: Технологии 1000000 возможных вариантов и в каждом из них доказать, что наша технология безопасна, не врезается, никого не сбивает, и она действительно работает стабильно. Но что такое тестирование?
62: Тестирование это некоторый процесс, когда у нас есть объект тестирования, и мы проверяем, что он соответствует тем требованиям, которые мы к нему предъявили. А какие требования мы можем применить к такой современной технологии, которая ещё до конца не рас.
63: Технология автономного вождения да, у нас есть требования правил дорожного движения. Конечно, мы обязаны их соблюдать, иначе беспилотный автомобиль просто будет не нужен на дороге его будет останавливать каждый уважающий себя инспектор.
64: Но одних этих одних этих правил дорожного движения нам не хватает, чтобы сформулировать конкретные требования к технологии, поэтому мы провели огромную работу по накоплению и систематизации.
65: Экспертных знаний. Мы проанализировали все знания водителей, которые они нам передали, как вести себя в разных дорожных ситуациях. Все полученные знания мы сегментировали примерно в 17 категорий. Все эти категории используются в дальнейшем для
66: Формирование требований технологии и для обучения наших генеративных моделей эти знания не одинаковы по частоте встречаемости на дорогах общего пользования. Например, движение удержание в пол.
67: Это, ну, казалось бы, такая базовая вещь, которую грузовик выполняет на протяжении почти всей своей дороги при грузоперевозке, когда едет из Москвы, из Питера, едет просто в правой полосе, стоит, старается не врезаться впереди идущего и не ехать слишком медленно, чтобы тот, кто идёт сзади него.
68: Врезался в него, но при этом есть требования более редкие, которые тоже надо соблюдать. Например, взаимодействие со спецтрак. Да, если нужно уступить скорой, все-таки нужно уступить скорой. От этого зависит жизнь человека.
69: На основе всех этих требований формируется пул тестовых сценариев, которые мы должны проверять.
70: Для апробации нашей технологии на 3 категории. Те, которые встречаются очень часто на дороге, и которые проверить те, которые встречаются Реже, их проверить сложно, но в общем и целом возможно.
71: Сценарий можно условно поделить легко.
72: Для апробации нашей технологии сценарий можно условно поделить на 3 категории те, которые встречаются очень часто на дороге, и которые проверить легко те, которые встречаются Реже, их проверить сложно, но в общем и целом возможно.
73: И те сценарии, которые проверить, ну, практически невозможно без угроз для безопасности как самого объекта тестирования нашего беспилотника, так и для окружающей среды в рамках 1 категории большинство
74: Ну, работы в то время как на объездной.
75: Например, движение в полосе с удержанием скорости мы можем проверить либо на дороге, либо на полигоне запустили, поехали, убедились, что все хорошо, замечательно, есть сценарий пореже, например, объезд ремонтные.
76: Ну, например, движение в полосе с удержанием скорости мы можем проверить либо на дороге, либо на полигоне. Запустили, поехали, убедились, что все хорошо, замечательно. Есть сценарий пореже, например, объезд, ремонтные работы, в то время как на объездной
77: Дороги, я его проверить уже, согласитесь, ну гораздо сложнее, особенно зимой, когда дороги, в общем то, не очень любят ремонтировать. И целом, если очень захотеть потратить очень много
78: Но, в общем, материальных ресурсов это сделать.
79: Дороги, я его проверить уже, согласитесь, ну гораздо сложнее, особенно зимой, когда дороги, в общем то, не очень любят ремонтировать, но в общем и целом, если очень захотеть потратить очень много материальных ресурсов это сделать.
80: Тоже можно есть сценарий. Лобовое столкновение, когда к вам несёт в лоб курьер из яндекс еды, которому, ну, очень нужно доставить эту пиццу. Это проверить очень невозможно. И
81: Например, клиенту.
82: Тоже можно есть сценарий. Например, лобовое столкновение, когда к вам несёт в лоб курьер из яндекс еды, которому, ну, очень нужно доставить эту пиццу клиенту это проверить очень невозможно. И
83: И страшно. Почему? Потому что в случае, если технология не отработает, человек может пострадать, может пострадать техника. Все это накладывает определённые ограничения для проверки этого в реальном мире, именно для
84: Проверки. В 1 очередь таких сценариев. Нам нужен фотореалистичный симулятор.
85: Какие есть преимущества фотореалистичного симулятора. Ну, в 1 очередь, как я говорил, проводить тестирование в достаточно редких рисковых сценариях, что позволит нашей генеративной модели обучить способность к критическому мышлению. Но
86: Мы можем.
87: Какие есть преимущества фотореалистичного симулятора. Ну, в 1 очередь, как я говорил, мы можем проводить тестирование в достаточно редких рисковых сценариях, что позволит нашей генеративной модели обучить способность к критическому мышлению, но
88: При этом безопасно виртуальной среде без угрозы для жизни или угрозы для кошелька инвестора. При всем при этом все эти сценарии мы можем достаточно легко.
89: При всем вот модифицировать.
90: При этом при всем безопасно виртуальной среде, без угрозы для жизни или угрозы для кошелька инвестора. Вот при всем при этом все эти сценарии мы можем достаточно легко модифицировать.
91: Их на миллионы различных вариаций, добавлять различные погодные условия, менять положение участников дорожного движения, удалять и добавлять, менять их траекторию и все это можно с лёгкостью встроить.
92: Тестирование. Ну, они
93: Автоматически знаю, разработчики не очень любят вручную запускать тесты. Считают, что это неправильно, это выше их, но когда они автоматизированы, когда гарантированно работают
94: Тестирование автоматически знаю, разработчики не очень любят вручную запускать тесты. Считают, что это, ну, неправильно, это выше их, но когда они автоматизированы, когда они гарантированно работают,
95: Дают точный результат, они, несомненно, ускоряют разработку всей технологии.
96: Разработки есть на рынке.
97: Когда мы задумывались над необходимостью своего симулятора, проанализировали несколько вариантов, которые уже 1, 1 из самых популярных это симулятор газеба, он
98: Мы, естественно.
99: Когда мы задумывались над необходимостью разработки своего симулятора, мы, естественно, проанализировали несколько вариантов, которые уже есть на рынке. 1, 1 из самых популярных. Это симулятор газеба, он
100: Обладает большим фокусом на реалистичной физике как самого автомобиля, так и его составных частей хорошо реализованы модели динамики, шасси, подвески, колёс, но при этом обладает и рядом недостатков модели сенсоров.
101: Которые как раз-таки обеспечивают нам корректность тестирования алгоритмов восприятия, то есть модели камер, модели лидаров, модели радаров. Они достаточно упрощённые, не соответствуют тем сенсорам, которые
102: В реальности используется в перспективных беспилотных автомобилях. Не менее важно тем, что здесь нет никакой модели дорожного траффика встроенной, поэтому мы можем проводить только простые тесты. Ну, мы не можем тестировать движение в потоке, хотя
103: Казалось бы, это 1 из основных направлений при тестировании беспилотного транспортного средства, либо все эти движения всех акторов мы должны задавать вручную, но это чудовищная работа для любого.
104: Тестировщика. Если вы к нему придёте и скажете, что у меня есть 200 машин, которые едут, нарисуем всем траектории, они тебя проклянут и откажутся что-либо делать. Такой вариант нам не подходит, особенно при условии того, что нам нужно подготовить миллионы тестовых ей
105: С этим.
106: Тестировщика. Если вы к нему придёте с этим и скажете, что у меня есть 200 машин, которые едут, нарисуем всем траектории, они тебя проклянут и откажутся что-либо делать. Такой вариант нам не подходит, особенно при условии того, что нам нужно подготовить миллионы тестовых ей
107: Но газета достаточно хороший симулятор, особенно когда технология находится на раннем уровне развития. Вам нужно заставить её ехать вперёд, поворачивать, проверить, как она управляется с пульта. Все это прекрасно проверяется здесь, однако.
108: Технологии. Нам нужны новые возможности для тестирования. Такие новые возможности предоставляет симулятор качественной графикой, потому что основан на, у него есть версии как под 4, как
109: Карла, он обладает весьма игровом движке под
110: Технологии. Нам нужны новые возможности для тестирования. Такие новые возможности предоставляет симулятор Карла. Он обладает весьма качественной графикой, потому что основан на игровом движке. У него есть версии как под 4, как под
111: 5 фотореалистична.
112: Те, кто играет в компьютерные игры, возможно, видели игры на 5. Там действительно очень хорошая графика, хоть и не также. Карл обладает достаточно широким набором моделей сенсоров, которые
113: 5. Те, кто играет в компьютерные игры, возможно, видели игры на 5. Там действительно очень хорошая графика, хоть и не фотореалистична. Также Карл обладает достаточно широким набором моделей сенсоров, которые
114: При должном файнтюнинге позволяют выдавать действительно хорошие результаты, приближённые к реальности.
115: Тем самым позволяя нам корректно отрабатывать модели восприятия.
116: Что ещё есть в данном симуляторе? Отличный набор инструментов. Моделированию городского трафика. Очень простая интеграция с 1 из самых популярных инструментов для генерации трафика. Это самым мы уже можем проводить интегра,
117: По сумма тем.
118: Что ещё есть в данном симуляторе? Отличный набор инструментов по моделированию городского трафика. Очень простая интеграция с 1 из самых популярных инструментов для генерации трафика. Это сумма. Тем самым мы уже можем проводить интегра
119: Тестирование в различных условиях, как при проезде перекрёстков, например, вот здесь, у метро таганская, сегодня проезжали очень сложный перекрёсток.
120: Так и при движении, в потоке и перестроении, но при этом у Карла есть 1 существенный недостаток в начале своей части я говорил, что наш симулятор используется не только как инструмент тестирования, но и как инструмент обучения.
121: Модель.
122: Карла же вычислительно тяжело, она работает очень долго. К сожалению, когда нам для обучения нужно прогонять сотни тысяч сценариев.
123: Очень.
124: Модель Карла же очень вычислительно, тяжело. Она работает очень долго. К сожалению, когда нам для обучения нужно прогонять сотни тысяч сценариев.
125: Мощности Карла нам не хватает, мы будем вынуждены потратить на это очень мощные вычислительные ресурсы и очень много. Поэтому мы пришли к тому, что нам просто необходимо разработать новое поколение инструментов.
126: Симулятор.
127: Вы можете увидеть, как из видеозаписи реального проезда с помощью наших технологий мы установили трёхмерный, которым мы можем управлять, мы можем там ездить, добавлять акторов на сцену, удалять, менять все то, о чем я говорил ранее.
128: Абсолютно замечательно.
129: 2 фокусом в нашем симуляторе было то, что он должен быть модуль. По, разрабатывав симулятор в течение долгого времени, мы понимаем, что для тестирования всех технологий нам
130: Нужно действительно запуск всех, всех, всех, всех, всех модулей. Например, для проверки модуля, планирования траектории изолированно от всех остальных модулей. Нам не нужно генерировать фотореалистичную картинку. Зачем?
131: Мы заменим.
132: Результат?
133: Нужно действительно запуск всех, всех, всех, всех, всех модулей. Например, для проверки модуля, планирования траектории изолированно от всех остальных модулей. Нам не нужно генерировать фотореалистичную картинку. Зачем мы заменим результат?
134: Модули восприятия идеальными версии мол, запустим только узкий перечень необходимых нам модулей и поедем по дороге замечательно, очень быстро и убедимся, что все алгоритмы выполняются корректно.
135: Ну, как говорится, залаз, блокнот за лист это фокус на моделирование динамики движения. Это очень важно, так как позволяет нам доказать, что результаты Тестов в нашем симуляторе, они действительно соотносятся с реальностью.
136: Что?
137: Ну, как говорится, залаз, блокнот за лист это фокус на моделирование динамики движения. Это очень важно, так как позволяет нам доказать, что результаты Тестов в нашем симуляторе, они действительно соотносятся с реальностью, что
138: Модель движения нашего в данном случае грузовика честно принимает сигналы управления от подсистем технологий и выдаёт реалистичную, правдивую, честную обратную связь, пусть и с некоторыми погрешностями.
139: При условии.
140: Модель движения нашего в данном случае грузовика честно принимает сигналы управления от подсистем технологий и выдаёт реалистичную, правдивую, честную обратную связь, пусть и с некоторыми погрешностями, при условии.
141: Различной погоды, различного дорожного полотна. Все моделируется, выдаётся честный
142: И?
143: Различной погоды, различного дорожного полотна все моделируется и выдаётся честный результат.
144: Мы с в нём.
145: Как мы создаём тестовый симулятор, на самом деле все очень просто. Любого проезда можем сгенерировать автоматизированный сценарий для симулятора и затем проезжать это очень удобно, особенно на тех случаях.
146: Как мы создаём тестовый симулятор. На самом деле все очень просто. Мы с любого проезда можем сгенерировать автоматизированный сценарий для симулятора и затем проезжать в нём это очень удобно, особенно на тех случаях.
147: Когда мы на проездах нашли какие-то интересные кейсы, какие-то редкие, которые мы хотим проверить, либо, наоборот, нашли большое число часто встречающихся кейсов, которые нам удобно строить, чтобы проверять сразу многочисленный набор требований.
148: В рамках данного видео можете посмотреть? Мы сгенерировали автоматизированный у нас
149: Сценарий такой упрощённый.
150: В рамках данного видео можете посмотреть, мы сгенерировали автоматизированный сценарий, у нас такой упрощённый редактор.
151: Так видит, выглядит достаточно пережатое видео, но картинка достаточно и абсолютно точно также видел с помощью
152: Дорогу, чтобы мы убедились, что ты не переобучился на расположение тех объектов, которые находятся слева справа от тебя, и он действительно едет прямо ему ничего не мешает, он не задерживается, не ждёт того, как Чёрная bmw обгонит его с правой полосы.
153: Но возможность просто так.
154: Наибольший интерес, конечно же, представляет создавать редкие рискованный кейс. Помните, я говорил про курьера, который едет вам в лоб? Я говорил, это не вы можете посмотреть. Вот эта сцена изначально записанная.
155: Но наибольший интерес, конечно же, представляет возможность создавать редкие рискованный кейс. Помните, я говорил про курьера, который едет вам в лоб? Я говорил, это не просто так. Вы можете посмотреть вот эта сцена изначально записанная.
156: Камеры, вот камаз, который по встречной полосе, вот мы перенесли его на соседний. И вот эта зараза, которая движется реальности, такое встречается хоть не так часто, но встречается и отработать это крайне тяжело.
157: Прямо на нас, да, в
158: Камеры вот камаз, который по встречной полосе, вот мы перенесли его на соседний. И вот эта зараза, которая движется прямо на нас. Да, в реальности такое встречается хоть не так часто, но встречается и отработать это крайне тяжело.
159: Наличием такого отличного симулятора мы можем провести бесконечное множество таких кейсов и убедиться, что ни 1 курьер яндекс доставки не будет сбит.
160: Исходя из всего вышеперечисленного, немножко под суммирую, как происходит у нас с наиболее часто встречающихся требований в проезде мы формируем автоматический сценарий, либо, как я уже говорил,
161: Процесс тестирования.
162: Исходя из всего вышеперечисленного, немножко под суммирую, как происходит у нас процесс тестирования с наиболее часто встречающихся требований в проезде мы формируем автоматический сценарий, либо, как я уже говорил,
163: Наиболее интересных кейсов, где какие-то редкие рискованные сценарии мы также автоматически генерируем, но находится, конечно, набор требований, на которых сценариев у нас нет, нет проездов, поэтому мы берём какой-нибудь сцена.
164: Который нам удобен и расставляем объекты вручную. Все это вместе формируется в единый пак и отправляется на сессии, где автоматизированно тестируют все алгоритмы, которые люди пытаются
165: Прокон добавить в нашу технологию.
166: Который нам удобен и расставляем объекты вручную. Все это вместе формируется в единый пак и отправляется на сессии прокон, где автоматизированно тестируют все алгоритмы, которые люди пытаются добавить в нашу технологию.
167: Тестирование происходит в рамках 3 контуров тестирования. 3 классические контура. 1 из них 2 и 3.
168: Начнём с 1, смотря на то, что видео идёт на 3, мы начнём с 1. 1 тестировании. Это то, что каждый разработчик может развернуть у себя на компьютере и проверить её симулятор запускается одновременно.
169: Технологии. Это позволяет нам изолированно проверить работоспособность технологии, но не учитывает особенности вычислителя задержки кабельной сети, возникающие
170: Того, что кабельной сети, в общем то здесь и нет. 2 контуром тестирования уже является это тот контур, где мы можем протестировать работу железа в контуре с программного обеспечения в рамках этого контура.
171: Все программное обеспечение уже размещено на тех вычислителях, на которых оно стоит в реальной машине с помощью кабельной сети все вычислители связаны между собой, подсоединены к специальному стенду, который работает под управлением операционной системы реального времени, на которо.
172: Размещён наш симулятор симулятор как в случае софт, так и в случае, а в 1 очередь моделирует сенсоры, которые выдают нам информацию об окружающем мире, и те сенсоры, которые выдают нам информацию о параметрах движения автомобиля.
173: Датчики колёсной, альная операционная система и гнсс кабельная сеть в рамках данного стенда проектируется так, чтобы она полностью повторяла кабельную сеть на автомобиле. Это позволяет нам нивелировать возможную
174: Одометрии.
175: Датчики колёсной одометрии, альная операционная система и гнсс. Кабельная сеть в рамках данного стенда проектируется так, чтобы она полностью повторяла кабельную сеть на автомобиле. Это позволяет нам нивелировать возможную
176: Разницу между кабельной сетью в автомобиле и кабельной успешное тестирование в рамках контура позволяет нам говорить о том, что на стыке софта и железа все действительно работает хорошо, правильно, и можно переходить к 3 контуру тестировании.
177: Сети на state.
178: Разницу между кабельной сетью в автомобиле и кабельной сети на state успешное тестирование в рамках контура позволяет нам говорить о том, что на стыке софта и железа все действительно работает хорошо, правильно, и можно переходить к 3 контуру тестировании.
179: Я включу видео ещё раз, у меня получится.
180: Кода 6 раза у меня получится.
181: Так как контр тестирование, симулятор представляет собой некоторые очки виртуальной реальности для автомобиля, все программное обеспечение выполняется на автомобиле, автомобиль программное обеспечение реально управляется автомобилем, но видит он не то, что видит реальность.
182: Картинку из симулятора. Это позволяет нам на полигонах проверять очень рискованный. Её, например, когда мы обнаружили автомобиль, который стоит на нашей полосе, мы движемся с большой скоростью. Мы можем проверить, насколько наше экстренное торможение выполняет
183: По результатам тестирования в контуре, как и в контуре, и в контуре, мы можем собрать определённый набор метрик и сравнить
184: Попадают ли они в определённый коридор по погрешности относительно ground рус или нет, и если они попадают, мы можем принять решение об успешности тестирования, тем самым гарантировав, что наша технология не ухудшилась, не деградировала в результате.
185: Новых алгоритмов, а новые алгоритмы работают корректно, как сами по себе, так и на реальном железе, так и на целевом транспортном. Я говорил про то, что мы рассматриваем некоторую погрешно
186: Средстве, однако.
187: Новых алгоритмов, а новые алгоритмы работают корректно, как сами по себе, так и на реальном железе, так и на целевом транспортном средстве. Однако я говорил про то, что мы рассматриваем некоторую погрешно
188: А почему мы просто не сравниваем со значением граунд ус, которое мы как сняли с эксперимента, как проехали в полигоне, также и хотим повторить. Это обусловлено некоторым реалити гэпом, а именно расхождение между поведением системы как в симуляторе, так и в мире реальном. Откуда?
189: Почему мы не повторяем точь в точь то поведение, которое было на проезде? Ну, в 1 очередь это относится к моделированию физики, какая бы у нас хорошая модель динамики не была она не идеальна, либо, наоборот, идеальна?
190: Учитывает те самые особенности, которые могут возникать вследствие реального использования автомобиля, да, когда мы едем на автомобиле на полигоне, у нас не самые новые шины. Протектор уже может быть подстерто.
191: Может быть неидеальным. Вот и все эти тонкости могут не учитываться при моделировании физики, как мы это решаем. Ну, все наши модели, мы проводим валидацию на базе существующих стандартов, они допускают определённый диапазон погрешностей, и мы стараемся
192: Откуда ещё у нас могут возникать неточности симуляции? Ну, может возникать неточность моделировании се, а именно мы можем не учитывать погодные условия, шумы, артефакты.
193: Все мы знаем, что туман, дождь влияет на качество льда неприятно, и как мы с этим боремся? Мы запускаем симуляционные данные на них, оцениваем качество работы, технологии восприятия, смотрим.
194: На таких же реальных данных и пытаемся нивелировать разницу, чтобы модели восприятия работали одинаково как там, так и там.
195: Также неточности возникают из за упрощённого моделирования окружающего трафика. Ну, мы понимаем, что система стахастический, предсказать её полностью невозможно. Всегда найдётся какой-нибудь водитель, который решит объехать пробку по обочине со скоростью 300 километров в час. Мы это, ну, никак не предугадаем. Вот, но с этим
196: Таким образом, если мы видим такой кейс ух, мы его сразу откладываем, сразу записываем и сразу используем. В большинстве своих таким образом, у нас возникает все больше и больше дорожных ситуаций, которые используются как для тестирования, так и впоследствии.
197: Для обучения модели управления автономным. На этом у меня все. Я передам слово Алексею он расскажет подробно, как в нашем симуляторе появляется такая замечательная, реалистичная
198: Транспортным средством.
199: Для обучения модели управления автономным транспортным средством. На этом у меня все. Я передам слово Алексею он расскажет подробно, как в нашем симуляторе появляется такая замечательная реалистичная картинка, как это все работае.
200: Спасибо, Василий. Всем привет. Меня зовут Алексей Воропаев. Направлением в рамках которого мы, во первых, создаём вот этот симулятор с его фотореалистичной графикой.
201: Я руковожу.
202: Спасибо, Василий. Всем привет. Меня зовут Алексей Воропаев. Я руковожу направлением, в рамках которого мы, во первых, создаём вот этот симулятор с его фотореалистичной графикой.
203: Во вторых, собственно, разрабатываем те самые нейронные сети, которые управляют движением автомобиля, то есть нейронные сети. Для моя часть будет чуть более техническая, чем предыдущие. Мы с вами чуть чуть поговорим про математику того, как это
204: Все под капотом происходит, ну, про фотореалистичность, зачем она нужна в принципе, уже было сказано, да, основная проблема это то, что называется shift. Вот когда нейронная сеть видит не то, на чем её обучали в результате
205: Она себя ведёт неадекватно, поэтому вот такие картинки нам не очень подойдут, как создают вообще фотореалистичное изображение, да, исторически, наверное, таким 1 из первых.
206: Методов создания картинки, которая, в общем, до сих пор кое-где используется, это так называемые нерв сети, а много знает людей в аудитории. Что такое нерв? Сеть? Можете руки, пожалуйста, поднять? Ага, почти никто не знает. Давайте
207: Тогда чуть чуть чуть чуть расскажу, какая у нас вообще задача стоит. Да, вот мы в своём симуляторе хотим воспроизвести сцену, которую мы уже видели в реальности, да, мы её записали и хотим нашпиговать какими-то агентами, которые как
208: Нестандартно двигаться в этой сцене. Либо это уже был какой-то нестандартный кейс там типа выпрыгивающая лось на дорогу. Что мы делаем? У нас есть картинки наших сцены. Ну это классический пример. С трактором мы делаем нейросеть.
209: Задача которой состоит в следующем, она на вход получает координату точки внутри некоторого объёма, да, то есть вот эту координату она получает угол, под которым мы на эту точку смотрим. Вот.
210: 2 угла и дальше она, соответственно, выдаёт, во первых, прозрачность этой точки, да, то есть мы хотим, чтобы воздух был прозрачный и никак нас не останавливал. И, соответственно, цвет этой точки вот удивительным образом для меня на самом деле
211: Загадка, почему это работает, но это работает, работает достаточно хорошо. Дальше. Соответственно, если мы хотим под новым ракурсом, да, под каким-то вот этим синтезировать это изображение, мы просто берём луч, который проходит
212: Пиксель изображения, да, виртуальный. И соответственно, на этом луче семплируем эти точки, складываем их с учётом прозрачности. И у нас получается какое-то значение изображения пиксель. Вот. Ну и соответственно точно
213: Также мы можем обучать, да, прошлись по этому, вызвали там сколько-то 100 раз эту сеточку и её сделали шаг обучения. Так разбираемся с кнопочками, в чем проблема.
214: Проблема не заключается в том, что, допустим, для стандартного разрешения картинки
215: Для стандартного разрешения картинки 1024 на 768. Нам нужно, ну просто перемножаем 2 числа. Нам нужно 786000 лучей. Это, соответственно, пикселей. Количество пикселей на изображении и
216: И для каждого луча мы хотим проссумировать 128 точек. Типичные такие параметры для работы просомтрите. Это значит вызвать нейронную сеть для конкретной точки объёма под конкретным углом, под которым мы на неё смотрим. И это
217: Получается 100000000 вызовов нейронной сети просто для того, чтобы создать 1 изображение довольно дорого, на самом деле очень дорого, я бы сказал, с точки зрения производительности пытаются это всяческим образом ускорять.
218: Например, мы можем вместо 1 большой нейронной сети распилить наш объём, которым мы реконструируем нашу сцену на большое количество Кубиков. Каждый кубик это нейронная сеть поменьше, и мы ещё можем оптимизировать не все кубики семплировать, а как-то более.
219: Способом. Ну, при таком раскладе получаются вот такие вот картинки. Так, а че мы как-то вперёд забегаем?
220: Ладно, будем считать, что это красивая реалистичная картинка. Вот этот туман это какой-то артефакт слайдов. Значит здесь у нас что слева? Это реальная запись камеры справа воспроизведение той же сцены при помощи
221: То есть это работает, это используют. Это вот, в частности, довольно известная компания ваби, которая тоже занимается беспилотным транспортом. Вот они рекламируют свой симулятор на базе нерфов. Проблема 1 у нерфов, самая высокая.
222: Производительность это порядка 10 фпс на 1 графическом ускорителе, что в принципе мало почему это мало беспилотный автомобиль, это 8 камер плюс лидары, то есть лазерные сканеры, которые тоже подобным образом надо симулировать. Итого
223: Получается, что нам для того, чтобы просто в реал тайме откручивать 1 машину, надо там с десяток оо, а мы хотим эти тесты проводить 1000.
224: Дорох другой, соответственно, поехал. Это, конечно, не, это диффузия, диффузионные сети, в принципе.
225: Все знают, там эти все нашумевшие сеточки с дерущимся сталиным, там и все такое красиво, модно, задорно, но очень дорого. Вот, соответственно, синтез.
226: Ну, таких красивых, прям хороших фотореалистичных изображений. Примерно 1 фпс на графическом ускорителе. Поэтому, собственно, приходится ждать, пытаются делать симуляторы на базе диффузионных сетей, но
227: Получается примерно вот так. То есть вот эта сетка, она работает близко к реалтайму. Это компания wave, английская, которая тоже делает, а вот они презентовали свой симулятор в прошлом году. Гая.
228: Так себе. Здесь должно было быть видео, че то у меня все пошло немножко не по плану. Ну, в общем, качество картинки передаётся, верно? Ну и, соответственно, что у нас получается по нерфам, по нерфам самый
229: Быстрые это как раз сравнение качества разных нервов. Правый это такой прям хороший нерв, который генерит хорошую картинку. У него получается 1 100 фпса. Ну прям очень долго.
230: Очень дорого всячески это ускоряли. Вот джипи, это по моему, love сетка, у неё почти 10, но опять же, мы как бы
231: Говорили, почему это нам не подходит? Ну и, соответственно, не так давно. Это конец 23, начало 24 года появляется технология, которая называется гаусо платинг 3 д, ну, в смысле трёхмерный гауссов платинг.
232: В чем его суть? Вообще платинг это предельно старая технология. Ей там уже 20 лет в обед, если не больше, откуда-то из девяностых годов смысл заключается её в том, что мы можем взять какой-то примитив.
233: Ну, например, кругляшочек, да, в данном случае и при помощи этого примитива замостить сцену этими объектами. И у нас получится какая-то картинка в каком-то смысле, вот современная компьютерная графика, да, где у нас
234: Полигончики, она берет своё начало вот именно из этого с Платин. В общем, дальше про него забыли и вспомнили не так давно, создав эту штуку, значит, как она работает, ну,
235: Во первых, изображение строится из гаусин. Наверное, все практически знают, что такое гусиан. Да все знают, что такое гаусин. Поднимите руку. Кто знает, что такое гаусианну. Вот пример.
236: Все, ладно, смотрите, это математическая функция, значит её можно определить в двухмерном пространстве и нарисовать её можно. Тогда получается вот такое размытое пятно, можно определить её в трёхмерном пространстве, они, соответственно, могут быть
237: Там растянутый всяческим образом имеет разный цвет, разный поворот, разный угол, ну и соответственно, список параметров, да, которыми он определяется. Средняя, это её размер, поворот, прозрачность, то есть она
238: Сама по себе прозрачная. То есть когда мы двигаемся от центра, её прозрачность увеличивается. Ну и плюс ещё общая прозрачность. И, соответственно, то, что называется Редин филд, умное слово. Но по сути, это цвет, который зависит от направления, под которым мы
239: Смотрит вот, соответственно, вот такой вот очень простой примитив. Чем он хорош, он хорош тем, что современные графические процессоры умеют очень быстро вычислять математику, которая нужна для отрисовки этой гуся. Что мы можем
240: Сделать. Мы можем взять какое-то количество этих гаусин, ну вот тут на слайде их пару Десятков, сложить их вместе, и мы получим какой-то образ, да, такой похожий на этот кубик. Если мы возьмём гаусин побольше, то мы можем сложить их вот
241: Такую штуку. То есть если гусины достаточно мелкие, они накладываются друг на друга с перехлёстом, у них там высокая непрозрачность получается. Вот такая картинка. Давайте посмотрим вот здесь как это выглядит
242: Вот это такая демонстрационная картинка, которую везде показывают про k платинг моделька велосипеда обратите внимание, вот здесь вот снизу хорошо видны вот такие эллипсы, это те же самые гаусин, только не нарисованные с прозрачностью, а просто
243: Нарисованы в виде такого эллипса трёхмерного, да, такого шарика раздутого. И, в принципе, вот вся эта картинка вот этими Гасина и замощена. Ну, где-то они крупные, да, где мало деталей, а где-то вот как
244: Roma допустим, велосипеда, там всякие трава и прочее гусяны настолько мелкие, что даже на этом рисунке они теряются, видно, но если мы эти гаусин отрисуем по честному, да, то есть с прозрачностью,
245: Все как положено, то получается вот такая замечательная картинка. Вот они, эти гусянки. Здесь специально сделано так, чтобы их внизу было видно там, где буквально несколько кадров попало в оптимизацию. Тут у нас
246: Соответственно, получается вот такая вот дырка, на которой видно эти гуся.
247: Соответственно, здесь примерно 1000000 этих 2. Теперь как это работает, как вообще строится сцена? У нас все начинается с того, что мы берём какое-то изначальное облако точек, оно может
248: Строится разными способами вот есть способы из motion, можно брать какие-то сети, которые генерируют трёхмерное представление двухмерных картинок, в общем, способов много, если говорить про нашу.
249: Автономное вождение, то самый ходовой способ это лазерный сканер. То есть машина едет, у неё стоит 5 лидаров, которые сканируют пространство вокруг автомобиля и формируют некий такой облако точек. И дальше просто
250: Каждая точку на этом скане.
251: Каждую точку на этом скане мы представляем в виде какой-то простой небольшой гуси получается довольно мутное изображение. Ну вот что-то вот в этом духе, вот в котором мало что просматривается, вот изображение реальное, да, которое получается если мы
252: Casyana точки лидара превратим в гаусин в воздухе они болтаются и дальше смотрите дальше начинается такой цикл, который 1 в 1 напоминает цикл обучения нейронных сетей.
253: У нас есть какое-то референсное изображение, то есть с реальной камеры мы, соответственно, запускаем отрисовку этих гаусин, получая вот такую картинку. Дальше у нас есть los функция, да, то есть это математическая функция, которая говорит, насколько вот
254: Вот эта картинка похожа на вот эту картинку и дальше. Соответственно, запускается обратное распространение ошибки. Ровно тот же самый алгоритм, который используется в обучении нейронных сетей только в нейронных сетях. Этот алгоритм корректирует веса нейронной сети так, чтобы
255: Нейронная сеть правильно решала задачу. В нашем случае мы корректируем положение этих
256: Получается, получается, получается, получается примерно вот так давайте чуть чуть перемотаю свою презентацию. То есть видите, да, по мере того, как идёт оптимизация, мы начинаем с какого-то
257: С какого-то случайного момента, когда эти гусины разбросаны достаточно хаотично из лидарного скана, они подкрашены немножко изображениями с камер. Вот специально они сделаны зашумлёнными, так как это помогает дальнейшей.
258: И соответственно, видно, как потихоньку картинка собирается во что-то фотореалистичное и готово.
259: Так, мы отмотали сюда, да, соответственно, как происходит рене. То есть, собственно, отрисовка у нас есть простой алгоритм.
260: Да.
261: Так, да, мы отмотали сюда, да, соответственно, как происходит рене. То есть, собственно, отрисовка у нас есть простой алгоритм.
262: Называется альфа блендинг точно так же, как нерфах. Мы семплируем точки. Отдельные точки, взятые на луче. Точно также мы можем отсортировать наши гусянки вдоль какого-то луча и потихонечку идти по ним брать, какой у нас здесь
263: Гусина, получается, кажется, да, перемотал, соответственно, дальше смотреть следующую гусину, только если предыдущая была достаточно прозрачной и так потихонечку двигаться. Простенькие уравнения, которые
264: Процесс описывают. Ну, мы в подробности вдаваться не будем.
265: Да, соответственно, у нас есть вот собственно формула, по которой происходит смешивание цвета этих гаусин. Здесь самый важный параметр. Это вот это альфа, то бишь накопленная
266: Накопленная прозрачность изображения. Ну то есть ещё раз мы двигаемся по гусянка и соответственно, по мере того, как они становятся, все изображение становится все менее и менее прозрачным. Мы соответственно копим цвет и в какой-то момент прерываемся
267: Дальше идёт довольно большая секция про производные, которую мы перемотаем. Вот она нам интересна, не интересна, значит, га платине, чем он хорош, применяется довольно большое количество разных оптимизаций.
268: Самое важное из них это так называемый тайлинг, когда все изображение нарезается на небольшие квадратики 32 на 32 пикселя, и, соответственно, внутри графический процессор устроен как
269: У него есть так называемые см. Блоки, внутри которых происходят вычисления. И этим блокам очень важно, чтобы данные, которые они обрабатывают, были похожи. Ну, то есть, условно говоря, одни и те же гуси в нашем случае, и мы, соответственно, разбиваем
270: Наше изображение на эти тайлы и перепаковываем гусины таким образом, чтобы в все гаусин, которые попадают в этот tale, они были одинаковым образом отсортированы и дальше, соответственно, пиксели этих тайлов, они эффективно будут
271: Другая штука это редианс. Филд, тоже очень важная. В чем здесь идея, если вы смотрите на автомобиль под разными углами. Да, у нас происходят какие-то отражения, например, ночью.
272: Машина едет по асфальту с каких-то Углов, асфальт будет для нас выглядеть освещённым, с каким-то темным для того, чтобы это реализовать. Используется вот такая штука. Если вы знаете, что такое преобразование фурье, это очень
273: Похожая вещь только в рамках сферы у нас есть, условно говоря, нулевая гармоника, да, которая отражает свет под любым углом. Дальше у нас есть гармоники, которые отражают свет прямо
274: Снизу сбоку, соответственно, 3 координаты, ну и так далее. У нас есть гармоники, которые под большим количеством Углов. И, соответственно, складывая все эти гармоники, у нас получается какой-то цветовой, скажем так, рисунок, который меняется в зависимости
275: От того, под каким углом вы на гаусианну смотрите. И, соответственно, здесь у нас получается, что у нас цвет гусины задаётся уже не 3 параметрами ргб, а шестнадцатью параметрами, которые вот, собственно, определяют коэффициенты.
276: Этих гармоник. Ну и перед тем, как, собственно, отрисовать эти гусины, мы же знаем, с какого угла мы смотрим, мы вычисляем их цвет. Дальше идёт отрисовка. Отдельная штука в сплатино тоже важная вещь. Это управле.
277: Плотность этих 2 с, то есть если помните, если мы посмотрим вот на вот этот рисуночек, где у нас здесь, да, лазерный скан, он, в общем, довольно-таки разряженный то есть точки они идут не то чтобы очень
278: Плотно, особенно если мы отклоняемся от плоскости, в которой едет машина, да, соответственно, у нас довольно много мест, где гаусин мало, недостаточно. И более того, если какая-то детализированная будет поверхность, да, с каким-то
279: Рисунком с какой-то текстурой, там точно будет недостаточно Гусин количество гаусин нам нужно будет динамически увеличивать. Соответственно, используется алгоритм, который, ну там разные используются алгоритмы, но в самой своей
280: Base этот алгоритм, что смотрит он наблюдает, как себя ведёт гаусианоы. Время обучения. Если гаусин относительно небольшая, и она, условно говоря, дёргается, то в 1 сторону её алгоритм ух ты сейчас.
281: Ничё себе. Я че, своп? Все, я все сломал нормально. Как, как там 1 сломал, 1 потерял.
282: Не буду трогать. Значит, что происходит? У нас оптимизационный алгоритм. На каждом шаге оптимизатор подстраивает параметры. В идеале. Мы что хотим? Мы хотим, чтобы Гусина приняла.
283: Тот вид, который нужно оптимизатору. И вот зависла в этом положении, больше никуда не двигалась. При этом, если гусяна находится на каком-то, давайте назовём это стыке текстур, да, с 1, ну какая-то граница между
284: Там изображение где-то там тёмное, снизу светлое сверху то у нас эта гаустяна начинает дёргаться, она на 1 изображении оптимизатор пытается её вверх сдвинуть, на другом изображении вниз сдвинуть. Вот, значит, в этом случае
285: Алгоритм действует методом старика хатабыча. Он, в общем, делает 2 гусины для оптимизатора 1 Гусина идёт вверх, 1 гусяна идёт вниз, дальше оптимизатор подрастя вает, заполняет форму. Ну и получается что-то хорошее, значит,
286: Другая проблема Ровно с противоположного конца когда у нас слишком большая Гусина получается здесь, мы просто контролируем её размер, говорим, что мы не хотим, чтобы гусины были слишком большие. Их по какой-то причине.
287: Раз бывает точно так же мы делим на пополам, делаем оптимизация.
288: Их поменьше и дальше.
289: Раз бывает точно так же мы делим на пополам, делаем их поменьше и дальше оптимизация.
290: И дальше, значит, результаты, что у нас получается самая главная циферка здесь, тут, если помните этот велосипед, у самого оптимизированного нерфа было 10 фпс. Здесь мы говорим про фпс больше.
291: На 1 графической карте. То есть это супер эффективный алгоритм для создания фотореалистичного изображения на сегодняшний день у нас для того, чтобы в реальном времени симулировать картинку для 1 автомобиля, это
292: Помню, там 8 камер, 5 лидаров и все это через Платин генерируется. Нам нужно всего 3 графических карты, причём графические карты не топ класса, а такие средненькие. Назовём их типа 5000.
293: Кроме того, значит, за счёт того, что гаусианоы какой-то условно физический объект, да, он находится в трёхмерном пространстве, мы можем для каждой гаусианоы рассчитать.
294: Расстояние, на котором она находится, и кроме фотореалистичной картинки, ну, которая местами не очень фотореалистично, конец начала сцены. Мы можем также получить глубину для каждого пикселя сцены. А если мы получим
295: Глубину мы можем смоделировать, собственно, наш лидар. Ну вот, ну и вот здесь, внизу показано, да, вот эти концентрические круги, это лучи лидара на асфальте. Красненькая у нас здесь
296: Это настоящий лидар и зелёненький, это лидар, сгенерированный с плати клёво. Все работает, все получается, про Эльдара сказал, ну ещё раз видосик, который уже показывали про наш любимый.
297: Маркетинг мы добавляем, удаляем картинку. В принципе, если прям приглядываться, то видны некоторые артефакты, но они для работы нейросетей уже не так существенны, потому что общая фотореалистичная
298: Признаки, которые, на которые нейросеть обращает своё основное внимание, они здесь сохранены. То есть у машины есть фары, номер и прочее, прочее, прочее, такие детали, ну и
299: И опять же качество картинки сильно зависит от ресурсов, которые мы готовы на это дело выделять. И вот здесь хорошая тоже такая демонстрация.
300: Так, это, соответственно, наше видео с редактором показано, как удаляются машинки, то есть как они вообще производятся, эти машинки, мы
301: Сценария, в котором
302: Так, это, соответственно, наше видео с редактором сценария, в котором показано, как удаляются машинки, то есть как они вообще производятся, эти машинки, мы
303: У нас есть какая-то куча гаусин, которые формируют основную сцену, и мы берём какую-то маленькую кучку гаусин. Мы знаем, где на этой сцене расположены автомобили, и мы эту кучку гаусин подставляем вот сюда, где машина располо.
304: Дальше у нас работает оптимизатор, он отдельно оптимизирует гусины статической сцены и отдельно оптимизирует гусины автомобиль. Дальше мы можем эти гусины выкинуть, да, потому что мы знаем, где они гусины.
305: Относится к автомобилю и получить пустую сцену. Пример это симуляция сделана специально для производительности таких симуляций очень много. И если мы симулируем фотореалистичность,
306: И вот здесь хороший.
307: Относится к автомобилю и получить пустую сцену. И вот здесь хороший пример. Это симуляция сделана специально для производительности таких симуляций очень много. И если мы симулируем фотореалистичность,
308: В том числе на больших расстояниях. То есть чем больше дистанция, на которой мы создаём реалистичность, тем больше гуси нам нужно и тем ниже получается производительность. Правильно? И, соответственно, здесь
309: Вот такие забавные артефакты.
310: Интересно, на паузу чудо. Вот если вы посмотрите вот сюда, да, то вот здесь дома то, что называется, несколько зашакалены.
311: Почему такое происходит? Потому что, собственно, не хватило гусян для того, чтобы качественно реконструировать вот этот участок сцены. Ну и, соответственно, тут видно, чем дальше дом хуже, он хуже становится. Но опять же, это небольшая проблема, потому что нейросеть в принципе, не
312: Обращает внимание на эти объекты она натренирована так, чтобы следить за дорогой для неё важен знак ограничения 40, ремонтные работы, ну и другие элементы автомобилей, которые конструируются очень близко к идеальному.
313: Ну и, соответственно, куда без диффузионных сетей, без них никуда. В платине они также применяются. Я, наверное, уже не буду в подробности, как это работает, вдаваться. Это, в общем, тот же самый алгоритм, который называется stable.
314: Diffusion, на базе которого вообще вот этот весь диффузионный хайп зародился, значит, и его идея заключается в следующем у сплатино вот эти вот артефакты.
315: Опять долго смотреть. Ну давайте вот здесь посмотрим значит, в чем проблема, если мы, платинг оптимизирует саму сцену с точки зрения, с которых на него смотрела камера. Соответственно, если мы отходим куда-то в сторону,
316: Где камеры не было? Да? Ну, самый простой сценарий. Мы отъезжаем куда-то вбок. Мы ехали по 1 полосе, теперь мы перестроились в другую полосу, то появляются характерные артефакты. Вот здесь по бордюру очень хорошо видно.
317: Ну и в принципе, если видео запустить и посмотреть вот на левую часть, вот тут вот, вот они, видите, такая ёлочка получается. Вот ёлочка пошла, это, собственно, те артефакты, которые связаны с тем, что мы
318: С этого ракурса эту сцену не видели. А раз мы её не видели, оптимизатор может там делать, что ему, в общем, заблагорассудится, а ему ничего хорошего не благорассудится. Вот. И для того, чтобы это исправить, очевидно, в автономном вождении мы хотим не только ехать по той полосе, по которой
319: Мы записали эту сценку, мы хотим перестраиваться, мы хотим агентов двигать по каким-то другим траекториям. Очень много всякого разного. Мы пропускаем эту сцену через диффузионную модель, и в принципе сразу видно, оп, как улучшается качество.
320: Изображение выглядит, то есть диффузион, и они тоже находят своё применение в этой всей истории, но уже в какой-то оффлайн части, которая не требует
321: Как-то так это.
322: Изображение как-то так это выглядит, то есть диффузион и они тоже находят своё применение в этой всей истории, но уже в какой-то оффлайн части, которая не требует
323: Производительность. Так, ну и на этом, наверное, все, в принципе, в платине ещё очень много чего есть интересного. Можно прям отдельную лекцию по нему сделать. Спасибо большое за внимание.
324: Спасибо. Смотрите, да, резюмируя все вышесказанное, мы специально сделали больше упор на часть продуктовую. То есть что за симулятор, какие задачи он решает?
325: Что из себя, как продукт представляет? Я начал с какого-то очень короткого введения вообще про бизнес компании в области автономного транспорта какой сейчас статус в России и какие основные подходы к построению таких базовых архитектур, автономных систем и спасибо.
326: Алексею, да, который чуть подробнее рассказал про алгоритмы и основные математические модели, которые находят применение в области построения фотореалистичного изображения. Мы переходим к завершающему этапу. Сейчас есть возможность задать какие-то вопросы по выступлению там
327: В целом про нас. Поэтому давайте начнём, молодой человек, да, спасибо за ваши доклады. Можно понятно, зачем цвет в фотореалистичном симуляторе, чтобы его можно было называть фотореалистичным. А зачем цвет машине? То есть, когда, если, да, если дистан
328: Можем определить по нескольким камерам, зачем ей знать, какого цвета будет курьер жёлтый? Он там синий, зелёный, жёлтый. Сбивать розовый не сбивать. Это понятно. Молодец.
329: Все правильно.
330: Можем определить по нескольким камерам, зачем ей знать, какого цвета будет курьер жёлтый? Он там синий, зелёный, жёлтый. Сбивать розовый не сбивать. Это понятно. Молодец. Все правильно.
331: Значит, здесь вот.
332: Здесь Ровно та же логика работает зачем человеку цветное? Собаки спокойно ходят с черно белым изображением цветное зрение оно появилось для того, чтобы можно было отличать.
333: Зрение.
334: Значит, здесь, здесь Ровно та же логика работает. Зачем человеку цветное зрение? Собаки спокойно ходят с черно белым изображением? Вот цветное зрение, оно появилось для того, чтобы можно было отличать.
335: Нюансы, нюансы, связанные с тем, там поспел у неё поспел и фактически отличает жёлтого курьера от зелёного. Все так, в случае беспилотного автомобиля это вопрос, во первых, полноты данных, потому что
336: Данное облако, оно не очень плотное и на относительно большом расстоянии, ну, скажем, метров около 100. В нём уже сложно понять, что это движется. То есть ещё можно понять, что че то движется, а что именно движется, непонятно, и то ли на нас летит мотоцикл.
337: Со скоростью 150 километров в час, который через там секунду до нас, либо это все-таки этот медленный курьер, которому ещё ехать и ехать. И вот тут, собственно, как раз камеры на помощь. Момент это
338: Доедет, который приходят и, соответственно, 2
339: Со скоростью 150 километров в час, который через там секунду до нас доедет. Либо это все-таки этот медленный курьер, который, которому ещё ехать и ехать. И вот тут, собственно, как раз камеры на помощь приходят. И, соответственно, 2 момент это
340: То, что мы, чтобы все наше поле зрения перекрывалось 2 видами сенсоров, потому что у каждого из этих сенсоров есть свои недостатки. Например, камера видит через туман, лидар не видит.
341: Хотим через туман для Ильдаров.
342: То, что мы хотим, чтобы все наше поле зрения перекрывалось 2 видами сенсоров, потому что у каждого из этих сенсоров есть свои недостатки, например, камера видит через туман, лидар не видит через туман для Ильдаров.
343: Туман становится чем-то большим и твёрдым. Если б мы ездили только по лидарам, мы бы пугались каждой. В общем выхлопной трубы зимой вот камеры позволяют это иметь. Ну и опять же сломается лидар. У нас ещё есть камеры для того, чтобы аварий.
344: Хорошо, а ещё такой вопрос. А как вы сравниваете изображение? Вот вы говорили, что у вас есть алгоритм сравнения, а что можно как-то подробнее? Там разные.
345: Есть алгоритмы, есть алгоритмы, которые непосредственно 2 картин.
346: Хорошо, а ещё такой вопрос. А как вы сравниваете изображение? Вот вы говорили, что у вас есть алгоритм сравнения, а что можно как-то подробнее? Там разные есть алгоритмы, есть алгоритмы, которые непосредственно 2 картин.
347: Сравнивают. Их удобно использовать в разработке, потому что быстро, но, конечное, значит, мерило назовём то, что называется.
348: Выдаётся результат, да, он
349: Это так, это.
350: Пёс реалити.
351: Сравнивают. Их удобно использовать в разработке, потому что быстро выдаётся результат. Но конечное, значит, мерило. Назовём это так, это то, что называется пёс реалити, да, он
352: Бывает реалити гэп с точки зрения персепшен, мы берём какую-то сцену реальную, мы распознали в ней 10 машин. Мы её создали фотореалистичную. Теперь вопрос. Мы все эти 10 машинок можем распознать или нет? Обычно получает
353: Что не все. И где-то цифра колеблется в районе 98. И 2 собственно reality. Гэп возьмём планировщик сцене проехал. Проедет ли он?
354: Ну, процентов планировщика, если мы, который по реальной, как-то так.
355: Реалити гэп это
356: Что не все, и где-то, ну, цифра колеблется в районе 98%. И 2, собственно, реалити гэп это reality гэп планировщика. Если мы возьмём планировщик, который по реальной сцене проехал как-то так, проедет ли он
357: Вновь созданной сцене. Так, если сцену он воспринимает фотореалистично и, собственно, это в том числе даёт нам право утверждать, что какие-то там артефакты
358: Должен проехать.
359: На заднем фоне.
360: Вновь созданной сцене. Так должен проехать, если сцену он воспринимает фотореалистично и, собственно, это в том числе даёт нам право утверждать, что какие-то там артефакты на заднем фоне они
361: Я периодически радары сейчас вы, например, говорите лидары, да, вот вопрос, есть ли радары в итоге радар и касаемо радаров. Ну, я чуть чуть занимался.
362: Слышу, что там есть про камеры и
363: Я периодически слышу, что там есть радары. Сейчас вы, например, говорите про камеры и лидары, да, вот вопрос, есть ли радары в итоге радар и касаемо радаров. Ну, я чуть чуть занимался.
364: Того, как получаются данные радаров и так далее. Там есть очевидные эффекты переотражений и так далее. И вопрос, как бы вот этот гасовский подход, связанный с оплатами, моделируете вы на основе него радар.
365: Да, потому что они позволяют там хорошо скорость вычленять на больших расстояниях, что самое приятное с высоким разрешением. Вот, вот этот момент учитывайте сейчас, как короткий ответ нет.
366: Значит, Платин, в отличие от лидаров с радарами, не работает по той простой причине, что для того, чтобы правильно смоделировать радар, нам нужно включать волновую физику пере.
367: Отражение, рейтрейсинг и прочее. Мы сразу теряем производительность. В нашем случае радары используются относительно простые автономного класса класса, они двухмерные, то есть они дают картину
368: Только по азимуту и расстоянию. И в этом смысле их гораздо проще симулировать через накопление. Вот мы сделали какой-то реальный проезд, мы накопили точки, откуда у нас отражаются
369: Такими углами и дальше простым эвристическим каким-то алгоритмом вероятностным. Мы это облако семплируем так, чтобы было похоже на реальность. Если это машина двигается, мы видим какой-то типичный отражённый сигнал от автомобиля, как он выглядит. Ну и нам тоже его
370: В этом смысле нам какая-то такая прям физичность радаров не нужна просто потому, что это очень крупный сенсор, он правильно, он даёт информацию о скорости, но его основное назначение, ну вот, собственно, по большей части в этом и заключается, да, если у нас стоит столб,
371: Него отражаться и симуляция через облако это позволяет. Если че то движется, нам надо знать скорость этого чего-то. Вот. И это тоже через такую простую симуляцию решается. Здесь фотореалистичность нужно, да?
372: Ну то есть частая ситуация, что может кто-то зеркалом заднего вида ослепить камеру.
373: Простить предыдущий вопрос. Скажите, пожалуйста, как подход его симулирует отражение поверхностей и nu. Кажется, это важно?
374: Простить предыдущий вопрос. Скажите, пожалуйста, как подход его симулирует отражение поверхностей? Ну то есть частая ситуация, что может кто-то зеркалом заднего вида ослепить камеру и nu. Кажется, это важно. Это важно.
375: Если мы говорим конкретно про такой кейс, то он, значит, смотрите, там есть 2 варианта ответа. Вариант ответа, как это у нас, у нас вот отражение именно в зеркале, оно никак не моделируется, да?
376: И ослепить нас именно зеркалом невозможно. Можно ослепить встречным автомобилем и через гаусианну просто вот как, например, моделируется тень, да, идущего автомобиля мы просто берём чёрные гаусианоы, с некоторой прозрачностью накладываем
377: Поехала, получается тень. Также можно засветку от впереди идущих фар смоделировать просто какими-то яркими белыми гусями. Вот. Но вообще есть подходы, которые позволяют в рамках кассового слейтинга реализовать полноцен
378: Модель освещения. Более того, есть подходы, которые рейтрейсинг полноценный. В голосовом этапе голосового слейтинга работает раза 2 медленней. Вот, но, в принципе, работает. Вот там уже можно
379: Используют.
380: Модель освещения. Более того, есть подходы, которые используют рейтрейсинг полноценный. В голосовом этапе голосового слейтинга работает раза 2 медленней. Вот. Но, в принципе, работает. Вот там уже можно
381: Зеркальные поверхности полноценно. Спасибо за доклад. Очень интересно. Я плохо знаком с областью, поэтому немножко такой базовый вопрос. А как, собственно, происходит виде? То есть
382: В авторегрессионно режиме мы взяли изображение, как бы сцену подали на больной, община точку пространства, там новое значение датчика. На основе этого мы не следующее изображение, так и так, то есть, когда получа
383: Тестируем наш модуль. А когда мы создаём наоборот, обучающие данные, как в таком формате обучающие данные, мы создаём реальным нас реальный проезд, а получается, а то есть мы, получается, реальным проездом моделируем то, точнее обучаем, то работа
384: Да, и потом уже эту обученная модель применяем, да, и дальше мы её можем. Вот главная фишка, то, что, допустим, нельзя просто залезть внутрь нейронной сети и там, убрав какие-то веса, сделать так, чтобы она о чем-то забыла.
385: А со платингом такой мы можем взять санки из другой сцены с автомобилем, подставить в новую сцену. А, да, вот та сцена, где курьер и грузовик, там, если кто обратил.
386: Фокус проходит. Это именно про то, что вы говорили, как работает добавление, удаление объектов, да?
387: А со платингом такой фокус проходит. Мы можем взять санки из другой сцены с автомобилем, подставить в новую сцену. А это именно про то, что вы говорили, как работает добавление, удаление объектов. Да, да, вот та сцена, где курьер и грузовик, там, если кто обратил.
388: Маленькие вообще.
389: Развёрнута. Показывали на слайде фотографии. Далее. Угу. Очень сильно сказали, что в туман, допустим,
390: Здания.
391: Маленькие вообще развёрнута, показывали на слайде фотографии здания. Далее. Угу. Очень сильно сказали, что в туман, допустим.
392: Если у нас сильный проливный дождь, который замывает камеры и вторичное.
393: Это очистки сенсоров сенсорами должны быть чистыми.
394: Это уже решается на уровне инженерии системы. То есть на самом деле автомобиль не может ехать грязными, и они проектируются так, чтобы, во первых, дождь на них поменьше капала.
395: Это, это уже решается на уровне инженерии, системы очистки сенсоров. То есть на самом деле автомобиль не может ехать грязными сенсорами, должны быть чистыми, и они проектируются так, чтобы, во первых, дождь на них поменьше капала.
396: Во вторых, каждый сенсор, форсунку, через которую подаётся, и форсунку, через которую подаётся сжатый, и система очистки, собственно, контролирует все время, чтобы сенсор был чистый, то есть есть отдельная нейронная сеть, которая
397: Он имеет воздух.
398: Жидкость.
399: Во вторых, каждый сенсор, он имеет форсунку, через которую подаётся жидкость и форсунку, через которую подаётся сжатый воздух, и система очистки, собственно, контролирует все время, чтобы сенсор был чистый, то есть есть отдельная нейронная сеть, которая
400: Вычисляет, насколько сенсор привязаны. И, соответственно, ну это вот, потому что слепые
401: Тут помимо спереди все так, все так. Это задача системы очистки.
402: Того, что сверху дождь.
403: Вычисляет, насколько сенсор привязаны. И, соответственно, тут, помимо того, что сверху дождь, спереди, все так, все так, ну это вот это задача системы очистки, потому что слепые
404: Ну, как бы без это, без омывайки зимой ездить по зимой, если эти
405: Москве нереально получается.
406: А вот замерзают так там же от а точно.
407: Ну, как бы без это, без омывайки зимой ездить по Москве нереально. А вот зимой, если эти, получается, замерзают, так там же от, а точно.
408: Справедливости ради я добавлю я в такую погоду, когда проливной дождь, когда мне из под колёс поехал, прижался на обочину и постоял не, ну такую дорогу попадал там выше 20 километров в час.
409: Лететь. Я бы сам не, я пару раз в ездить нереально, ничего не видишь?
410: Справедливости ради я добавлю я в такую погоду, когда проливной дождь, когда мне из под колёс лететь, я бы сам не поехал, прижался на обочину и постоял не, ну я пару раз в такую дорогу попадал, там выше 20 километров в час ездить нереально, ничего не видишь?
411: Особенно снегопады, короче. А так вообще умывает, омывается, уходит у меня машину там.
412: Ещё какие-то, да, бывает, на работу неделю канистру. Я даже не знаю в каких объёмах.
413: Особенно снегопады ещё какие-то, короче, да, бывает. А так вообще умывает, омывается, уходит у меня на работу неделю, канистру, машину там, я даже не знаю в каких объёмах.
414: Так что по вине людей процентов.
415: Вопрос какой процента, вы говорите? Происходит дтп. Вопрос, на кого приходится ещё 6.
416: 1, наверное, вот 94.
417: Так, вопрос какой 1? Наверное, вот 94%. Вы говорите, что по вине людей происходит дтп. Вопрос, на кого приходится ещё 6%.
418: Ну, глупый, но для понимания, потому что если бы все ездили по пдд, то, наверное, бы, ситуации не было вообще.
419: У курьер, значит.
420: Не совсем так. Ну как не смотрите, много происходит. Не
421: Ну, глупый, но для понимания, потому что если бы все ездили по пдд, то, наверное, бы, у ситуации не было вообще курьер, значит, не совсем так. Ну, как не смотрите, много происходит, не
422: Того, что человек осознанно нарушил, он, может быть, неосознанно где-то не увидел гололёд, не учёл, что может быть гололёд, да, машину занесло. Я вообще не
423: Угу. Специалист вот по этой статистике, по
424: Пожалуйста.
425: Того, что человек осознанно нарушил. Угу. Он, может быть, неосознанно где-то не увидел гололёд, не учёл, что может быть гололёд, да, машину занесло, пожалуйста, я вообще не специалист вот по этой статистике, по
426: Дтп там сколько процентов, из за чего происходит, но точно знаю, что есть случаи, там, связанные с отказом именно оборудования. Недавно вот там нашумевшая история с автовазом, у которого на
427: Ходу клинит руль.
428: Дтп там сколько процентов, из за чего происходит, но точно знаю, что есть случаи, там, связанные с отказом именно оборудования. Недавно вот там нашумевшая история с автовазом, у которого на ходу клинит руль, просто
429: Как бы человек не может управлять автомобилем. Просто вот девушка там, ну вот как пример, да, хорошо, спасибо. И тогда ещё 1 вопрос. Как вы обучаете модель по сложным ситуациям, как раз по пдд. Ну, условно, там какой-нибудь уступи.
430: Пдд.
431: Нет, как раз помеха справа, допустим, потому что автомобиль будет следовать, он без разметки дорога, но есть правила пдд. Уступи дорогу, помехи.
432: Справа тут это уже
433: Пдд нет, как раз помеха справа допустим потому что автомобиль будет следовать, он без разметки дорога, но есть правила пдд, уступи дорогу, помехи справа тут это уже
434: Надо отдельную лекцию про обучение планировщика рассказывать, и целом планировщик частей есть нейронная сеть, которая, собственно, увидела какое-то количество примеров, как ведут себя реальные, а реальные водители накатывают нам.
435: В общем, водители.
436: Состоит из 2.
437: Надо отдельную лекцию про обучение планировщика рассказывать. В общем и целом планировщик состоит из 2 частей. Есть нейронная сеть, которая, собственно, увидела какое-то количество примеров, как ведут себя реальные водители, а реальные водители накатывают нам
438: Ну, там сотни тысяч ближе к 1000000 километров на руках наезженных. Там довольно много встречается то, что вы описали, это довольно простая. Вот, и есть ещё 2 кон.
439: На автомобилях ситуация.
440: Даже редких ситуаций.
441: Ну, там сотни тысяч ближе к 1000000 километров на руках, наезженных на автомобилях. Там довольно много даже редких ситуаций встречается то, что вы описали, это довольно простая ситуация. Вот, и есть ещё 2 кон.
442: Безопасности, который написан сети там, где фляжку сорвалась.
443: Ну, как бы то она.
444: Обычными правилами, он довольно простой. Вот его основная задача остановить машину, если у нейронной куда-то в обочину поехала.
445: Безопасности, который написан, ну как бы обычными правилами, он довольно простой. Вот его основная задача остановить машину, если у нейронной сети, там где-то фляжку сорвалась, она куда-то в обочину поехала.
446: Спасибо. 30 60 хватает.
447: Какое железо должен стоять? Ну вот.
448: Где?
449: Спасибо. Какое железо должен стоять? 30, 60, где хватает? Ну вот.
450: Вот самые последние наши сети катаются на 50, 90. Ну, это разработческие машины, разработка, а вообще видеоускорители, ну, из таких, из последних.
451: Картах уровня, собственно, идёт
452: Есть.
453: Вот самые последние наши сети катаются на картах уровня 50, 90. Ну, это разработческие машины, собственно, идёт разработка. А вообще есть видеоускорители, ну, из таких, из последних
454: Известных. Это nvidia тор, это специализированный бпу, который поставляется именно автоматик решений, там сертификация, защита от окружающей среды. То есть очень много таких сложных историй это уже превраща
455: Какое решение нагрузка сейчас без связи?
456: У нас, в частности, скажите, а это автономная история? То есть без связи, да?
457: Она может работать.
458: Какое решение у нас, в частности, нагрузка сейчас? Скажите, а это автономная история? То есть она может работать без связи, без связи, да?
459: Какое-то время точно может, но вообще это такая достаточно неприятная для меня ситуация. Либо связь должна восстановиться, она не нужна непосредственно для оперирования. То есть оно все внутри, там все нейронные сети, все данные, все там.
460: Эту ситуацию.
461: Но есть истории, когда автомобиль не может дальше ехать. Дальше включается контур телеоператора. То есть реальный человек подключается к автомобилю, как-то разруливает. Если у нас нету связи. Ну там, не знаю, сложно.
462: Но есть истории, когда автомобиль не может дальше ехать. Дальше включается контур телеоператора. То есть реальный человек подключается к автомобилю и как-то разруливает эту ситуацию. Если у нас нету связи, ну там, не знаю, сложная авария.
463: Какая-то произошла там её вот как обычно мозг меняют на
464: Все перекрыто, перегорожено как-то там вот.
465: Немножко продолжая тему связи. Ну, сотовая связь ещё относительно
466: Какая-то произошла, там все перекрыто, перегорожено. Её вот как обычно мозг меняют на как-то там вот немножко продолжая тему связи. Ну сотовая связь ещё относительно.
467: Доступе. У нас gps связь куда больше страдает, насколько числе, поэтому
468: Джипиэс мы как раз не зависим, джипиэс плохой источник, в том и точность у него относительно даже в специальных режимах запросто.
469: Низкая. Вот.
470: Доступе у нас gps связь куда больше страдает насколько джипиэс мы как раз не зависим джипиэс плохой источник в том числе, поэтому и точность у него относительно низкая, вот даже в специальных режимах запросто.
471: Которая, по данным картам, при помощи лазерного сканера, грубо говоря, определяет, сканирует пространство вокруг себя, смотрит, на какой участок дороги оно, похоже, и определяет своё положение с точностью сантиметров.
472: Который уже ещё, то есть у нас внутри все.
473: Вопрос машины находится весь необходимый, все необходимое железо, то есть все видеокарты или она общается по есть каждая машина это
474: Внутри то.
475: Вопрос, который уже ещё, то есть у нас внутри машины находится весь необходимый, все необходимое железо, то есть все видеокарты или она общается по все внутри. То есть каждая машина это
476: Центрального нет. Если интернет упадёт, она будет ехать. Я немного раскрою то, что говорил Алексей про
477: То есть?
478: Удалённый, удалённых операторов. Дело в том, что вот сейчас в России готовится законодательство.
479: Центрального нет. То есть, если интернет упадёт, она будет ехать, я немного раскрою то, что говорил Алексей про удалённый удалённых операторов. Дело в том, что вот сейчас в России готовится законодательство.
480: Законы аванс, да, мы в том числе участвуем в рабочих группах, которые с нашими коллегами по рынку эти законы создают. Ну и по плану, там 27 год, наверное, в каком-то финальном виде законы будут приняты. И, наверное, к этому времени, если нам, нам всем
481: С вами разрешат, у нас будет уже абсолютно самостоятельная автономная система. Так вот, этот закон подразумевает наличие все равно удалённого человека, который в случае чего может выполнить какие-то действия, начиная от технической поддержки, да, продолжая это вот ситуациями.
482: Происходит дтп зачастую там, например, не по нашей вине, да, там экстренных служб, колесо лопнуло и так далее. Вот связь как таковой, чтобы автомобиль ехать, не нужна. Но есть ситуации, которые подразумевают, что удалённый человек должен постоянно следить и мониторить
483: Состояние флот, в случае чего подключаться. Как это будет в финальной версии закона? Что мы делаем, когда связи нет? Это пока вопрос открытый. Ждём консультацию.
484: Выглядеть, да что спасибо.
485: Такой я может.
486: Состояние флот, в случае чего подключаться. Как это будет в финальной версии закона выглядеть? Да, что, что мы делаем, когда связи нет, это пока вопрос открытый. Ждём консультацию. Спасибо. Такой я может
487: Чуть чуть пропустил скорее бизнесовый вопрос. Я слышал про дтп, что это там фича для того, чтобы предотвращать, как-то улучшать, а если более глобальные цели, не знаю, там я услышал, что это в том числе с государством.
488: Не знаю, может в какую-то конкретную автомобильную компанию приходить и продавать свой продукт, что это фича конкретной, там, не знаю, машины или что-то такое. То есть есть ли цели, планы именно развиваться, вот продуктово и в сторону продавать.
489: Мы в 1 очередь сейчас являемся разработчиками системы искусственного интеллекта. То есть это вот наша основа и у нас есть ряд партнёров. Да, сейчас я на этом не буду останавливать внимание, которые являются непосредственно производителями колёсных шасси, да, и мы в сотрудничестве
490: С ними даём нашу экспертизу, в чем мы сильнее всего, чтобы фокусироваться, да, именно на непосредственно части, связанной с, а вот это вот наша сейчас миссия, наша бизнес модель. А дальше уже посмотрим, пока вот, вот с этой задачей разберёмся. И дальш
491: Понятно, в какие стороны можно двигаться. В принципе, это вот некий такой де факто стандарт на рынке, потому что если идти одновременно и в шасси продукт, и в разработку интеллектуальных систем, все это крайне ресурсоёмкие истории, можно ещё
492: Быстрый вопрос, он скорее такой, типа, не очень. Вы сказали, что по законодательству обязательно должен быть находиться удалённый человек, который в случае чего там какую-то техническую поддержку окажет что-то такое. А вот все-таки должен ли это быть человек или
493: Можно заранее закладывать, что какие-нибудь базовые вопросы должен будет решать, не знаю, какой-нибудь чат бот. Не знаю, эйай помощник или все-таки на законодательном уровне будет. Так что только человек, только живая помощь. Просто это может как бы
494: Дополнительные затраты принести. Пока речь идёт о человеке, пока речь идёт о человеке. Есть отдельный вопрос, в каких ситуациях он будет подключаться оо, и будет ли регламентировано количество транспортных средств на 1 условного телеоператора, пока это все такое огромное количество неизвес.
495: Вещей и не скажем так, других. У нас их мно
496: Знаю, там в публичных материалах некоторых мировых лидеров на этом рынке 2 компании, там надо просто использовать такие формулировки. Сейчас у нас мало автомобилей на 1 телеоператора, а в неком светлом будущем.
497: Вещей и не знаю, там в публичных материалах некоторых, скажем так, других мировых лидеров на этом рынке 2 компании. Там надо просто использовать такие формулировки. Сейчас у нас мало автомобилей на 1 телеоператора, а в неком светлом будущем у нас их мно
498: Идёт. О. Угу.
499: То есть вот буквально речь, презентация отчётности перед инвесторами, что такое мало, много, никто точно не знает. То есть вот сейчас задача вместе с рынком и понять, сколько будет хватать какие-то закладывать риски, либо наоборот, мы перезакла
500: То есть, вот буквально речь идёт о. Угу. Презентация отчётности перед инвесторами, что такое мало, много, никто точно не знает. То есть вот сейчас задача вместе с рынком и понять, сколько будет хватать какие-то, закладывать риски, либо, наоборот, мы перезакла
501: Вкладываемся в какой-то пессимистичный, стоит его обслуживание. Я думаю, что мы вопросы стоимости сейчас
502: Консервативный понял про деньги, сколько стоит 1 автомобиль с автономными датчиками и сколько
503: Спасибо, вопрос тоже.
504: Ну, соответственно.
505: Вкладываемся в какой-то пессимистичный, консервативный. Понял. Спасибо. Вопрос тоже про деньги. Сколько стоит 1 автомобиль? Ну, соответственно, с автономными датчиками и сколько стоит его обслуживание? Я думаю, что мы вопросы стоимости сейчас
506: Спрошу. Ну да, смотрите, как нашей. Да, смотрите, так как разработчик технологий, нам интересно наши технологии играть абсолютно разные виды и городского транспорта.
507: Это Дарья, да, руководитель.
508: Спрошу. Ну да, смотрите, как это Дарья, да, руководитель нашей, да, смотрите, так как разработчик технологий, нам интересно наши технологии играть абсолютно разные виды и городского транспорта.
509: И коммерческого, в том числе сегодня вы можете увидеть и легковые автомобили, которые выполняют определённые маршруты, и на них можно совершить тестовую поездку, и грузовые автомобили, у которых вообще абсолютно другая экономика.
510: Как они высчитываются, и это будет другая экономика, в том числе, когда водитель полностью будет отсутствовать в нём. Поэтому тут это прям очень серьёзный, отдельный вопрос с дискуссией про экономику. Поэтому я бы сюда пока не
511: Потому что безопасности в самой нейросети, которая ведёт машину то баги то вы сказали.
512: Вы говорили о контурах? Возникают какие
513: Случае, если для
514: Потому что вы говорили о контурах безопасности в случае, если для самой нейросети, которая ведёт машину, возникают какие-то баги, то вы сказали.
515: Хотелось бы узнать, на каких принципах, системах основана контур безопасности, который машина отвечает и выводит, насколько быстро она нейросеть, насколько эффективно она работает, насколько быстро и
516: Идеях на обочину.
517: Распознает, что сошла с ума.
518: Хотелось бы узнать, на каких принципах, идеях, системах основана контур безопасности, который машина отвечает и выводит на обочину, насколько быстро она распознает, что нейросеть сошла с ума, насколько эффективно она работает, насколько быстро и
519: И вообще, какая у неё перспектива заменить человека там, условно лет через 10, когда уже стартовый уровень будет легализован?
520: И?
521: Сейчас.
522: Смотрите, значит.
523: И вообще, какая у неё перспектива заменить человека, там, условно лет через 10, когда уже стартовый уровень и будет легализован. Сейчас, смотрите, значит,
524: Контур безопасности он устроен по принципу Василий в самом начале рассказывал про классический алгоритм на правилах.
525: Вот как? Ну, на конкретных, на чётких правилах.
526: Контур безопасности, он устроен по принципу, вот как Василий в самом начале рассказывал про классический алгоритм на правилах, ну на конкретных, на чётких правилах.
527: У него, значит, классическое восприятие, условно говоря, смотрит только в ближнем радиусе.
528: 2 основных куска, когда у нас есть специальная нейросеть, которая у нас есть, радары, которые видят подальше, но, например, смотрят только
529: Это, собственно действия.
530: У него, значит, 2 основных куска. Это, собственно, классическое восприятие, когда у нас есть, условно говоря, специальная нейросеть, которая смотрит только в ближнем радиусе действия. У нас есть радары, которые видят подальше, но, например, смотрят только
531: Перед нами выискивают шанс приехать кому-то зад и, соответственно, там зашиты вполне себе чёткие правила, ну примерно как в современных машинах, да, вот эти все контуры безопасности, если мы сближаемся с автомобилем,
532: Со слишком большой скоростью, пожалуйста, там дистанция, если маленькая, все останавливается, на в этом смысле действует мгновенно. То есть она, если видит, что нарушается какой-то и другой пример, да, выход за границы.
533: У нас есть дорога, мы вот вдоль неё едем, и, соответственно, нейросеть почему-то показывает, что нам надо направо завернуть, а там тротуар. Ну очевидно, такая траектория будет просто сразу отвергнута, она не будет даже исполняться вместо этого, то есть
534: Мы какое-то время проедем, ну, условно говоря, 100 миллисекунд проедем и дальше. Соответственно, либо нейросеть вернётся к нормальной рации.
535: В режиме, то это очень короткий
536: Промежуток времени, либо мы просто
537: Мы какое-то время проедем в режиме, то, ну, условно говоря, 100 миллисекунд проедем. Это очень короткий промежуток времени. И дальше, соответственно, либо нейросеть вернётся к нормальной рации, либо мы просто
538: А если у нас, например, выйдет из строя 1 камера, например, сбоку, то, соответственно, контур контур безопасности знает, что система вышла из строя зрение и уже автоматически примет решение остановить машину. Да, спасибо.
539: А вот такой вопрос ума с клавиатуры ей управлять можно? Можно геймпада управлять?
540: Лишается.
541: Машина ручного управления при этом
542: Иссл с моей.
543: А вот такой вопрос лишается машина ручного управления, при этом иссл с ума моей с клавиатуры ей управлять можно, можно геймпада управлять.
544: Но при этом все механизмы управления, они остаются, более того, они настроены. Так что если они какое-то вмешательство, управление отдаётся есть, условно говоря, стоит там чуть чуть посильнее, ну,
545: Чувствуют все человеку, то и все машина отпускает.
546: Но при этом все механизмы управления, они остаются, более того, они настроены так что если они чувствуют какое-то вмешательство, все управление отдаётся человеку. То есть, условно говоря, стоит там чуть чуть посильнее, ну и все, машина отпускает.
547: Ну и да, над.
548: Удалённое управление мевают, что человек сможет в случае чего взять контроль. Но единственное, что речь идёт не так называемый драйв, да, как видео.
549: Телеоперационная транспортным средством.
550: Ну и да, удалённое управление, телеоперационная мевают, что человек сможет в случае чего взять контроль над транспортным средством. Но единственное, что речь идёт не так называемый драйв, да, как видео,
551: Сидим дома на работе, да и у нас беспилотный автомобиль да, gta x выполняет какие-то действия, аккуратненько, скажем, хотя бы потому, что для этого нужно очень низкая, а очень низкий пинг, и это реально.
552: Работать не будет. Мы используем подход. Это ремонт оперейшенс, когда, если необходимо вмешательство человека, ну, например, сложное дтп, да, в котором, чтоб проехать, нужно вот уместиться на скорости 5 километров в час с сантиметровым зазором, человек сложно проехать
553: Я утрирую немного. В этом случае человек, удалённо подключаясь к автомобилю, видит, может видеть изображение с его сенсоров, с камер, может произвести диагностику, понять, там, отвалилась ли камера. Например, был ли вопрос? Да, видит карты, видит изображение с лидара и может задавать какие
554: Точки, либо траектории, по которым транспортное средство будет двигаться. И затем, если вы, например, сложную ситуацию проехали, либо, не знаю, там перезапустили какую-то систему, да, снова можно отдать полноценное управление автономной системе. Все поедет или в случае чего,
555: Если мы понимаем, что случилось, дтп, там, колесо, ещё что-то, да, то вызвать службу дорожной поддержки. Робот асист, который уже на месте, сможет что-то сделать. Ну и какое-то время, наверное, все-таки переходный период у нас будет физически руль. То есть, да.
556: Мы говорим о прототипе система 5, да, через какое-то время они тоже будут использоваться. Но пока следующим этапом является то, что мы пересадим водителя на пассажирское сиденье, а потом уже его физически будем просить остаться за пределами автомобиля. Но возмо
557: Сесть за руль и довести автомобиль в ручном режиме. Она в переходный период будет точно оставаться. Дальше уже давайте по шагам посмотри, коллеги, давайте последние 2 вопроса.
558: Как, пожалуйста, если есть требования юридическое к удалённому управлению.
559: Сесть за руль и довести автомобиль в ручном режиме. Она в переходный период будет точно оставаться. Дальше уже давайте как по шагам. Посмотри, коллеги, давайте последние 2 вопроса, пожалуйста, если есть требования юридическое к удалённому управлению,
560: Да, а, страна Россия большая, и на многих участках связи, да, ну а то управление.
561: Нету вообще никакой. Это ваше основное. Хотите ли вы для связи?
562: Да, а страна Россия большая, и на многих участках нету вообще никакой связи, да? Ну а это ваше основное то управление. Хотите ли вы для связи?
563: Навигации, запустить собственную спутниковую группировку. Слово группировка мне очень нравится, как звучит. Я в начале дам некое замечание, что у нас фокус все-таки не только на грузовые перевозки. Я об этом рассказывал, поскольку
564: Там конкретной трассе 11. Мы можем раньше начать коммерческую эксплуатацию, нежели чем ситуация полноценного такси в городе, да, все-таки это немного более простые случаи, а наша задача является полноценно. Я и водитель в любых условиях только перевозки, но и город
565: Общественный транспорт, такси не 1 момент. 2 момент, да, для удалённых операций тут нужна связь, поэтому здесь, во первых, мы работаем с операторами сотовой связи, там отдельно у нас есть подразделение, которое занимается переговорами с поставщиками услуг.
566: Чтобы они там планировали, это 1, 2. Спутниковая связь это выход. Свою группировку, наверное, в ближайшее время мы разворачивать не будем, потому что, чтобы это экономически было целесообразно, нужно ещё свои многоразовые
567: Система запуска, делать вот такой расфокус. Ну, мы немножко ещё подождём. В частности, в России есть ряд компаний, не знаю, там, там бюро 14 40, с которыми можно общаться, сотрудничать, может быть, какие-то ещё, и когда они начнут оказывать полноценные
568: Связи. Мне кажется это таким неплохим решением. Ну, как минимум как дублирующий контур, как максимум, когда будет стабильный, стабильная связь, может быть даже полноценная замена, сотовый и последний вопрос, пожалуйста.
569: Вопрос, а вот вы говорите, сейчас обязательно автопилоте должен присутствовать водитель, который вот и вопрос, а конечную ответственность образно за какое-то дтп будет нести? Вот сейчас несёт водитель или там в целом компания. И, соответственно, вопрос такой философский, возможно,
570: В концепции, когда водителя полностью не будет, кто будет нести конечную ответственность, личный вопрос, это все как раз ещё до конца не определено. Вот когда у нас с вами законодательство будет уже каким-то образом сформулировано, это будет ясно. То есть это вот некие пока
571: И, может быть, серые зоны в плане, да, не только в России, кстати, ещё и в мире, это скорее будет рассматриваться индивидуально каждая ситуация. И затем уже, наверное, в рамках прецедентной практики, в рамках там очень длинных консультаций какая-то будет выработана модель. Пока вот однозначного ответа.
572: Я вам дать не могу, наверное, никто не, а сейчас, конечно, ответственность несёт водитель.
573: Ну, если у нас водитель в данный момент управляет транспортным средством, и там, либо он необходимо перехватывать, то, да. А если он, ну, просто сидит, ну, не предпринял никаких здесь, здесь, наверное, прямо сейчас затрудняюсь ответить. Да, да, смотрите, если мы рассматриваем
574: Часто у нас сейчас по законодательству обязательно в автомобиле Вац находится инженер, который контролирует и в случае чего готов перехватить управление. Угу. Если он не перехватывает управление, он все равно будет.
575: Виновен в этих, да, на данный момент, да, но это как раз-таки особый, особое постановление, в рамках которого мы сегодня пр. Совершаем любые поездки, если забегать в будущее.
576: То есть он, ну, водитель.
577: Виновен в этих, то есть он, ну, водитель, да, на данный момент, да, но это как раз-таки особый, особое постановление, в рамках которого мы сегодня пр, совершаем любые поездки, если забегать в будущее.
578: Говорить про закон, то там у нас с вами добавляется ещё новое лицо. Это владелец автономного транспортного средства, это не водитель, это не компания разработчик технологии, а тот, кто купил транспортное средство.
579: С этой технологии провайдеру. Да, да. Поэтому вот это на самом деле очень спорный вопрос, так как мы пишем это законодательство вместе с коллегами мы тоже регулярно собираемся и это обсуждаем, как это будет выглядеть и как в случае подключён
580: Телеоператора мы будем делить ответственность, на ком она лежит или в случае, если вдруг технология нестабильно сработала, то все-таки кто виноват, создатель технологии? Или так как ты уже купил это автономное средство, оно полностью принадлежит.
581: Тебе и ты его там не должным образом обслуживал. То есть вопрос на самом деле пока очень дискуссионный. Спасибо. Окей, можно потом ещё будет попробовать кого-то поймать в дуальном режиме. И последнее, что хотел бы сказать. Друзья, спасибо огромное, что пришли
582: Это на самом деле, я вам признаюсь, 1 подобное мероприятие, которое мы в нави проводим уже в рамках направления сотрудничества с вузами. На прошлой неделе у нас было 1 мероприятие открытый день для прессы мы становимся более открытыми, потихоньку стараемся всякие
583: Штуки из наших направлений, из лабораторий, которые мы создаём, которыми гордимся делиться в открытом рынке. Что ещё могу интересного сказать для вас у нас огромный упор идёт сейчас на R&D исследовательское направление в 1 очередь вот.
584: Том направлении, за которое отвечает Алексей и его коллеги, да, то симулятор, нейронные сети л архитектура и кроме там, позиции найма, да, непосредственно специалистов по глубокому обучению нейросетям, у нас регулярно открываются какие-то
585: Позиции, стажёрские позиции, практики. В основном это происходит ближе к весне, поздней весне, то есть в районе апреля мая, да, то есть такая классическая практика, там длительностью, наверное, 3, 6 месяцев из расчёта, там, 20 часов.
586: Или больше, но на нашем сайте можно видеть открытые позиции как на фуллтайм занятость, так и на позиции стажёрские или практикантские материалы, портфолио, резюме можно на самом деле скидывать. Я сегодня общался с коллегами из hr службы даже раньше это все.
587: Попадает в единую базу, когда какие-то позиции у нас будут открываться. Мы в том числе там вас, надеюсь, буквально вас, присутствующих в этой аудитории, при вашем желании, мотивации, готовности будем рассматривать как наших будущих коллег, поскольку у нас
588: Сейчас максимальный фокус идёт на исследования разработки, и очень нужны специалисты в этой области, которые готовы развиваться, поскольку мы здесь вижу для себя миссию не только как для коммерческой компании в целом. Да, мы считаем, что у страны должны быть обязательно свои суверенные, ключевые
589: Технологии, а вот автономный транспорт к ним 100% относится, поэтому это возможности есть и будут. Вам спасибо, что пришли отдельно. Благодарю коллег из высшей школы экономики. Да, Максим Минец Илона Яковлева. Кирилл пошегорева. Спасибо.
590: Василий Бугаев. Да, Алексей, всех благодарю.