ИНТЕГРАЦИЯ ПРИСТАВКИ НА БАЗЕ RK3588 С AR/VR-ОЧКАМИ

Рассказываем о своем опыте интеграции мультимедийной приставки на базе RK3588 и AR/VR-очками

Задача:

Заказчик - разработчик мультимедийной приставки на базе rk3588, которая не только выполняет стриминг видео, но и поддерживает пользовательскую работу с медиа-контентом в интернете и управление удаленными устройствами и ресурсами.

Стремясь предоставить принципиально новый уровень пользовательского опыта, заказчик решил интегрировать свою приставку с очками AR/VR и реализовать поддержку обработки нейросетевых алгоритмов на ней.

Что было сделано:

С этой задачей он обратился в ЦПР РТСофт. Для решения этой задачи нам прежде всего потребовалось подобрать подходящую модель очков, с максимально эффективным SDK, а также обеспечить работоспособность фреймворка rkntoolkit на устройстве заказчика. Задача осложнялась таем, что большинство производителей очков предоставляют свои SDK под ЦПУ х86 и ОС Windows и Android. При этом программное обеспечение мультимедийной приставки на ЦПУ ARM разработано под Linux. Поэтому на устройстве заказчика были параллельно запущены две ОС Android и Debian и соответственно прикладное ПО под них, выполнявшее разные целевые функции. Обмен данными между параллельными процессами был организован через разделяемую память.

Дополнительной проблемой, которая была решена - данное устройство изначально не предусматривалось для работы в таком режиме, поэтому через некоторое время перегревалось и переставало функционировать. В качестве решения был разработан ряд системных утилит, мониторивших состояние здоровья устройства и соответствующим образом управлявших его производительностью и работой с памятью с тем, чтобы избежать тротлинга.

Для дополнительной помощи пользователю очков в навигации по мультимедийному контенту был разработан программный модуль с нейросетевым алгоритмом, отслеживающий поворот головы и корректирующие направление виртуальной указки.

Если у вас возникают проблемы с бесшовной передачей видеопотоков и интеграцией современных AR/VR очков с алгоритмами ИИ - отправьте свой запрос на info@list.dev.rtsoft.ru.