Au-Zone Technologies у співрозробці представила Raivin — модуль 3D-сприйняття, який поєднує радар, обробку зображень і edge AI в одному блоці для роботи автономних машин у складних умовах видимості.
Про це повідомляє сайт Аграрії разом з посиланням на сайт Robotics Tomorrow.
Автономні машини в полі, на будмайданчиках чи у складських зонах часто стикаються з умовами, де «чисте» комп’ютерне бачення або один тип сенсора дають збої: туман, дощ, відблиски, пил, захаращені сцени. У матеріалі RoboticsTomorrow описано модуль Raivin, який має закрити цю прогалину за рахунок 3D sensor fusion — злиття даних радара та відео з виконанням AI-інференсу безпосередньо «на краю» (edge), без залежності від хмари.
Рішення позиціонують як готовий до інтеграції блок, що об’єднує обробку «сирих» радарних даних (radar cube), відеоданих і запуск моделей сприйняття в одному апаратно-програмному стеку. Це, за задумом розробників, має зменшити затримки (latency) та спростити впровадження багатосенсорного сприйняття в серійні машини.
Чому роблять ставку на злиття радара і відео
У публікації наголошується, що традиційні підходи мають відомі обмеження:
- камерні системи погіршують якість роботи за низької видимості та слабкого освітлення;
- LiDAR дає точність, але є дорогим і енерговитратним;
- радар стабільніший у негоду, але має нижчу роздільну здатність для точної класифікації об’єктів.
Комбінація радара та відео, підсилена AI-інференсом, має формувати синхронізовану контекстну 3D-модель оточення: відео додає семантику (виявлення, класифікація, сегментація), а радар — глибину та відстеження руху/швидкості навіть за часткових візуальних перешкод.
Технічні характеристики та параметри
- Форм-фактор: модуль 3D-сприйняття (production-ready unit), що поєднує радар, обробку зображень і edge AI.
- Обробка даних: низькорівнева обробка radar cube та відеоданих із виконанням AI на борту.
- Обчислювальна платформа: побудовано на Toradex Verdin iMX8M Plus.
- ПЗ та інструменти розробки: використано EdgeFirst Studio (збір мультимодальних даних, AI-асистоване маркування, навчання, валідація та деплой), а також EdgeFirst Perception Stack із попередньо навченими моделями та середовищем для швидшого проєктування sensor fusion.
- Заявлені властивості: оптимізація під low latency та low power для edge-середовища.
Результати демонстрації в умовах «стресу»
За описом у матеріалі, Raivin перевіряли в живій демонстрації, яка відтворювала типові для автономних машин фактори — погодні умови, рух і візуальні перешкоди. Зокрема зазначено:
- у тумані радар зберігав виявлення об’єктів, трекінг і просторову обізнаність;
- за відблисків (glare) механізм злиття підтримував точне відстеження об’єктів;
- у змодельованому дощі радар і AI разом утримували точність сприйняття;
- у захаращених сценах радар відстежував швидкість, а AI та відео виконували сегментацію й класифікацію людей, техніки та перешкод у реальному часі.
Що це може означати для агросектору
У публікації серед потенційних сценаріїв застосування згадано, зокрема, precision agriculture. Для агровиробників і виробників техніки такі модулі можуть бути корисними там, де автономним або напівавтономним машинам потрібно стабільно «бачити» в умовах пилу, туману чи опадів і швидко реагувати без затримок, пов’язаних із хмарною обробкою.
Також зазначено, що модуль вже комерційно доступний і орієнтований на масштабування для OEM-впроваджень у мобільних роботах, автопарках і спеціалізованих машинах.