Анализ пригодности различных архитектур нейронных сетей на синтетическом наборе данных для задачи выбора маршрута

Одной из задач беспилотного транспорта является выбор наиболее подходящего маршрута движения среди нескольких альтернатив. Данная задача является общей для различных навигационных систем, систем принятия решения и оптимизации. Различные варианты решения существуют для морских [1], воздушных [2], наземных [3] транспортных систем. Важно отметить, что критерии выбора могут неочевидным образом коррелировать с входными параметрами маршрутов, при этом определение оптимального без уменьшения количества параметров становится неразрешимой задачей [1]. Хорошие результаты в решении задач маршрутизации показывают различные алгоритмы искусственного интеллекта: генетические алгоритмы [4], модели машинного обучения с подкреплением [5], муравьиный алгоритм [2], а также нейронные сети [6]. Поэтому для задачи выбора маршрута предлагается применение нейронных сетей, которые наиболее приспособлены для поиска скрытых связей между данными. Однако важно определить архитектуру, наиболее подходящую для данной задачи.

Для анализа моделей сформируем синтетический датасет. Набор данных создадим случайным образом с указанием явной зависимости между параметрами (для проверки работы моделей). Входные данные были выбраны следующим образом:

1) Параметры маршрутов (для анализа сформировано по 3 альтернативных маршрута): длина маршрута, проходимость (в виде коэффициента от 0 до 1), средняя скорость трафика, погодные условия, количество заправочных станций на маршруте; 2) Параметры города начала пути: количество заправочных станций, погода, стоимость стоянки. Выходные данные - распределение вероятностей выбора одного из маршрутов или города (стоянка без продолжения следования).

Для анализа пригодности была сформирована матрица корреляции (рис. 1).

Рисунок 1. Матрица корреляции между данными Данная матрица показывает, что между данными существует определенная связь, а значит они могут быть использованы для дальнейшей оценки моделей [7].

Для начала необходимо определить, сможет ли система работать с постоянным количеством входных параметров. Для этого сравним 3 полносвязные модели: с 1 маршрутом, с 2 маршрутами, с 3 маршрутами. При этом выбираются маршруты с наименьшей длиной пути – оставшиеся отсеиваются. Это определяется из требований ко всем навигационным алгоритмам по поиску кратчайших маршрутов.

Модели имеют одинаковую архитектуру: 3 последовательных линейных слоя с батч-нормализацией, dropout и функцией активации LeakyReLU, выходной линейный слой с функцией активации softmax.

Обучение длится 1300 эпох, применяется оптимайзер Adam и функция ошибки – Cross- Entropy.

Для моделей введены 2 оценки точности:

1) правильность выбора конкретного маршрута или остановки в городе; 2) правильность выбора любого из маршрутов или остановки в городе.

Последняя оценка покажет, будут ли дополнительные маршруты влиять на результаты работы моделей.

Все данные делятся на 2 выборки:

1) тренировочная – 80% данных; 2) тестовая – 20% данных.

Оценка производится на тестовой выборке – на данных, которые модели никогда не видели. Рисунок 2. График обучения модели с 1 входным маршрутом. Рисунок 3. График обучения модели с 2 входными маршрутами. Рисунок 4. График обучения модели с 3 входными маршрутами. Из графиков видно, что модели хорошо обучены и достигли стагнации.

Результаты оценки точности:

Модель с 1 входным маршрутом:

- точность выбора маршрута или остановки:

82.5%;

- точность выбора любого маршрута или остановки: 82.5%.

Модель с 2 входными маршрутами:

- точность выбора маршрута или остановки:

84.5%;

- точность выбора любого маршрута или остановки: 86.5%.

Модель с 3 входными маршрутами:

- точность выбора маршрута или остановки:

81%;

- точность выбора любого маршрута или остановки: 87.5%.

Данный анализ показывает, что при введении в модель информации об альтернативных маршрутах меняется точность определения действия «остаться в городе или продолжить движение». При этом каждый следующий маршрут будет вносить меньше влияния в данную оценку. Следовательно, необходимо рассматривать модели, принимающие переменное количество маршрутов для различных обстоятельств [8]. Также можно применять постоянное количество альтернативных маршрутов, но в этом случае если маршрутов будет меньше, придется заполнять пропуски 0, из-за чего может быть неверная корреляция. Другой альтернативой является кодирование всех маршрутов в одном. Однако в этом случае необходимо рассмотреть преобразования данных: например, как объединить информацию о погоде на маршрутах, или о длине пути. Т.к., во-первых, логических способов объединить данные нет, во-вторых, в будущем данные будут добавляться для улучшения работы системы.

И самое главное, мы не сможем выделить один маршрут из объединения, поэтому данный вариант неприменим.

Рассмотрим основные виды современных моделей [9]:

1) RNN – рекуррентная нейронная сеть. В исследовании будет применяться ее вариант GRU, в котором решена проблема взрывных и затухающих градиентов.

Для сравнения моделей между собой необходимо подобрать оптимальное количество параметров для каждой из моделей. Для этого будем сравнивать по 4 модели с различным количеством параметров. Оцениваться будут точность и количество параметров. Последний критерий будет прямым образом влиять на скорость расчетов модели и на потребление памяти.

Рисунок 5. Зависимости точности моделей от количества параметров.

На рисунке 5 можно увидеть, что с данным набором данных лучше всего справляется RNN (GRU). При этом стоит отметить, что Transformer при малом количестве параметров имеет хорошую точность, но при большем – наоборот точность начинает снижаться. Это обусловлено быстрым переобучением модели трансформера на приведенном наборе данных.

Важно отметить, что благодаря простоте внутреннего алгоритма GRU он рассчитывается быстрее, чем модель Transformer с тем же количеством параметров.

Сформируем следующие выводы:

- LSTM и RNN наименее подвержены переобучению на наборе данных маршрутов; - затраты на время обучения у RNN меньше, чем у других рассмотренных моделей; - скорость вычисления у LSTM и RNN выше, чем у transformer (при одинаковом количестве параметров); - при малом количестве параметров точность модели Transformer выше. Таким образом, модель Transformer лучше справляется с задачей по выявлению связей между параметрами маршрута для выбора лучшего варианта, однако необходимо следить за переобучением. Благодаря тому, что Transformer требует меньшее количество параметров для стабильной работы, это может скомпенсировать проигрыш во времени расчета в сравнении с RNN и LSTM.