С этой задачей он обратился в ЦПР РТСофт. Для решения этой задачи нам прежде всего потребовалось подобрать подходящую модель очков, с максимально эффективным SDK, а также обеспечить работоспособность фреймворка rkntoolkit на устройстве заказчика. Задача осложнялась таем, что большинство производителей очков предоставляют свои SDK под ЦПУ х86 и ОС Windows и Android. При этом программное обеспечение мультимедийной приставки на ЦПУ ARM разработано под Linux. Поэтому на устройстве заказчика были параллельно запущены две ОС Android и Debian и соответственно прикладное ПО под них, выполнявшее разные целевые функции. Обмен данными между параллельными процессами был организован через разделяемую память.
Дополнительной проблемой, которая была решена - данное устройство изначально не предусматривалось для работы в таком режиме, поэтому через некоторое время перегревалось и переставало функционировать. В качестве решения был разработан ряд системных утилит, мониторивших состояние здоровья устройства и соответствующим образом управлявших его производительностью и работой с памятью с тем, чтобы избежать тротлинга.
Для дополнительной помощи пользователю очков в навигации по мультимедийному контенту был разработан программный модуль с нейросетевым алгоритмом, отслеживающий поворот головы и корректирующие направление виртуальной указки.
Если у вас возникают проблемы с бесшовной передачей видеопотоков и интеграцией современных AR/VR очков с алгоритмами ИИ - отправьте свой запрос на info@list.dev.rtsoft.ru.