Навигация с сетчатыми представлениями в искусственных агентах

0
268

Большинство животных, включая людей, способны свободно перемещаться по миру, в котором они живут, — изучать новые области, быстро возвращаться к запоминающимся местам и делать пометки. Действительно, эти способности кажутся такими легкими и естественными, что не сразу видно, насколько сложны основные процессы на самом деле. Напротив, пространственная навигация остается серьезной проблемой для искусственных агентов, чьи возможности намного опережают способности млекопитающих.

В 2005 году потенциально важной частью нейронной схемы, лежащей в основе пространственного поведения, было обнаружено удивительное открытие: нейроны, которые попадают в поразительно правильную гексагональную картину, когда животные исследуют окружающую среду. Считается, что эта решетка точек облегчает пространственную навигацию, подобно линиям сетки на карте. В дополнение к оснащению животных внутренней системой координат эти нейроны, известные как ячейки сетки , недавно были выдвинуты гипотезой для поддержки навигации на основе векторов . То есть: позволяя мозгу рассчитать расстояние и направление к желаемому месту назначения, « как ворона», позволяя животным совершать прямые маршруты между разными местами, даже если этот точный маршрут не выполнялся раньше.

Группа, которая впервые обнаружила клетки сетки, была совместно награждена Нобелевской премией 2014 года по физиологии и медицине за то, что она пролила свет на то, как могут работать познавательные представления о пространстве. Но после более чем десятилетнего теоретического изучения с момента их открытия вычислительные функции ячеек сетки — и поддерживают ли они векторную навигацию — оставались в значительной степени загадкой.

 

Мы разработали искусственный агент для проверки теории, согласно которой клетки сетки поддерживают навигацию на основе векторов, в соответствии с нашей всеобъемлющей философией, что алгоритмы, используемые для искусственного интеллекта, могут осмысленно приближать элементы мозга.

В качестве первого шага мы обучали рекуррентную сеть для выполнения задачи локализации себя в виртуальной среде с использованием преимущественно сигналов скорости движения. Эта способность обычно используется млекопитающими при движении по незнакомым местам или в ситуациях, когда нелегко обнаружить знакомые ориентиры (например, при навигации в темноте).

Мы обнаружили, что сетчатые представления (в дальнейшем решетчатые единицы) спонтанно возникли внутри сети — обеспечивая поразительную конвергенцию структур нейронной активности, наблюдаемых у кормящих млекопитающих, и согласуется с тем, что ячейки сетки обеспечивают эффективный код пространства.

Затем мы попытались проверить теорию о том, что ячейки сетки поддерживают векторную навигацию, создавая искусственный агент, который будет использоваться в качестве экспериментальной морской свинки. Это было сделано путем объединения первоначальной «сетчатой ​​сети» с более крупной сетевой архитектурой, создающей агента, который можно было бы обучить с использованием глубокого обучения усилению, чтобы перейти к задачам в сложных игровых средах виртуальной реальности.

Этот агент выполнялся на сверхчеловеческом уровне, превосходил способность профессионального игрового игрока, и проявлял тип гибкой навигации, обычно связанной с животными, с использованием новых маршрутов и ярлыков, когда они стали доступными.

Посредством серии экспериментальных манипуляций мы показали, что сетчатые представления имеют решающее значение для векторной навигации. Например, когда ячейки сетки в сети были отключены, способность агента перемещаться была нарушена, и представление ключевых показателей, таких как расстояние и направление к цели, стало менее точным.

 

Мы считаем, что наше исследование представляет собой важный шаг в понимании фундаментальной вычислительной цели клеток сетки в головном мозге, а также подчеркивает преимущества, которые они предоставляют искусственным агентам. Доказательства убедительно подтверждают теорию о том, что ячейки сетки обеспечивают евклидову пространственную структуру — концепцию пространства — позволяющую навигацию на основе векторов.

В более широком смысле наша работа подтверждает потенциал использования алгоритмов, которые, как считается, используются мозгом, являются вдохновением для архитектур машинного обучения . Обширные предыдущие исследования нейронауки в клетках сетки делают интерпретируемость агента, которая сама по себе является основной темой в исследовании ИИ, значительно проще, предоставляя нам подсказки о том, что нужно искать, пытаясь понять его внутренние представления. Работа также демонстрирует потенциал использования искусственных агентов, активно участвующих в сложном поведении в реальных виртуальных средах, для проверки теорий о том, как работает мозг.

Следуя этому принципу, подобный подход можно использовать для проверки теорий относительно областей мозга, которые важны для восприятия звука или контроля конечностей, например. В будущем такие сети могут обеспечить новый способ для ученых проводить «эксперименты», предлагая новые теории и даже дополняя некоторые из работ, которые в настоящее время проводятся у животных.

Источник: https://deepmind.com/