Как работает автопилот в автомобиле применяя нейронную сеть

0
174
Как работает автопилот в автомобиле применяя нейронную сеть

Люди постоянно принимают данные из окружающего мира, используя свои пять первичных чувств: зрение, вкус, слух, обоняние и осязание.

Представьте, что вы едете по шоссе, где вас окружает постоянный поток информации. От дорожных и уличных знаков до мотоциклистов, грузовиков и пробок — способность мгновенно принимать взвешенные решения — это не просто умение, это правило.

Подобно тому, как восприятие позволяет людям создавать мгновенные ассоциации и действовать на них, способность извлекать соответствующие знания из непосредственного окружения является фундаментальной опорой для безопасной работы автономного транспортного средства.

Благодаря возможности восприятия окружающего мира автомобиль может обнаружить автомобили впереди, используя камеры и другие датчики, определить, станут ли они потенциальными опасностями, чтобы постоянно отслеживать их движения. Эта возможность распространяется на 360-градусное поле вокруг автомобиля, позволяя автомобилю обнаруживать и отслеживать все движущиеся и статические объекты по мере их перемещения.

Восприятие — это первый этап в вычислительном конвейере для безопасного функционирования самоходного автомобиля. Как только транспортное средство сможет извлечь соответствующие данные из окружающей среды, оно может планировать путь вперед и приводить в движение, без вмешательства человека.

Поиск сигнала через шум

Автономные датчики автомобиля генерируют огромное количество данных каждую секунду. От других автомобилей, до пешеходов, уличных вывесок, светофоров, каждый километр содержит индикаторы, для которых самоходный автомобиль должен или не должен ехать.

Идентификация этих индикаторов и определение тех, которые необходимы для безопасного передвижение, невероятно сложны, требуя многоразового использования нейронных сетей. Программный стек NVIDIA DRIVE — основной компонент платформы NVIDIA DRIVE — содержит библиотеки, фреймворки и исходные пакеты, которые позволяют необходимым глубоким нейронным сетям работать вместе для всестороннего восприятия.

Эти сети включают в себя DriveNet, которая обнаруживает препятствия, и OpenRoadNet, которая обнаруживает управляемое пространство. Чтобы планировать путь вперед, LaneNet обнаруживает края полосы, а PilotNet обнаруживает управляемые дорожки.

Программное обеспечение NVIDIA DRIVE обеспечивает эту интеграцию, основываясь на высоко оптимизированных и гибких библиотеках. Эти разнообразные сети работают одновременно и могут перекрываться, обеспечивая максимальное покрытие, ключевой элемент безопасности.

Безопасный автопилот

В дополнение к максимальному покрытию в слое восприятия эти сети дублируют общую функцию автомобиля, повышая безопасность на каждом уровне.

Например, карта высокой четкости автомобиля может указывать на четырехстороннее пересечение, а в паре с данными датчиков в реальном времени уровень восприятия показывает автомобилю точно, где остановиться, применяя более мощный способ определить местоположение автомобиля.

Восприятие также способствует разнообразию возможностей автономного транспортного средства, позволяя автомобилю видеть мир с той же сложностью, что и люди. Вместо того, чтобы просто идентифицировать препятствия, он может различать неподвижные объекты, а также движущиеся и определять их путь.

Благодаря дополнительным возможностям программного обеспечения, например, предлагаемым партнером NVIDIA Perceptive Automata, автомобиль может даже прогнозировать поведение человека, читая язык тела и другие маркеры. Эта добавленная способность восприятия человеческого поведения может работать одновременно с другими алгоритмами, управляющими автономным транспортным средством, благодаря вычислительной мощности с платформы NVIDIA DRIVE.

Благодаря этому объединенному аппаратно-программному решению разработчики постоянно добавляют новые способности восприятия к развитию мозга автомобиля.

Источник: nvidia.com