Визначення положення об'єктів у реальному часі з використанням технології Apriltag
09.05.2023
Визначення положення об'єктів у реальному часі з використанням технології Apriltag
Вирішення проблеми визначення положення об’єкту в обмеженому просторі у реальному часі є зараз дуже популярним питанням у різноманітних наукових колах та є дуже затребуваним великим та малим бізнесом. Багато передових компаній світу займається вирішенням цього питання для різноманітних потреб.
Система, що буде визначати положення об’єкту у реальному часі та транслювати на інтерактивну мапу знайде великий попит у багатьох підприємствах з замкнутим циклом виробництва, складах, торгівельних центрах та інших установах де є переміщення великої кількості об’єктів у однаковій або дуже схожій тарі.
Комерційно значимими для масового ринку є інтерактивні сервіси моніторінгу продукції. Велика кількість виробництв мають дуже застарілий спосіб відстежування переміщення продукції та чіткого слідування технологічним процесам. Наприклад, система може визначати положення товару у просторі, прорахувати його дійсний технологічний маршрут та прислати повідомлення на смартфон керівника, що продукція знаходиться у правильному або неправильному місці. За допомогою маркування з використанням бази даних об’єкт на підприємстві буде мати зрозумілий та прозорий технологічний процес, який виключає або значно зменшує вірогідність помилки при виконанні особливо трудомістких та коштовних операцій. Це дозволить значно пришвидшити багато технологічних процесів та упорядкувати контроль за продукцією.
Іншим прикладом може бути розміщення товару на складах, де можливо відстежувати велику кількість контейнерів та записувати їх місцезнаходження у базі даних, сповіщати повідомленнями через смартфон або e-mail. Керівник складу або уповноважена особа зможе у реальному часі керувати на інтерактивній мапі розташуванням усіх об’єктів та буде переконана, що усі товари знаходяться у потрібних локаціях.
У лікарнях дуже корисним буде відстежування контейнерів з цінними ліками або іншим медицинським обладнанням. Інтерактивна мапа дозволить пришвидшити знаходження необхідних ліків, обладнання та інструментів. З внесенням до бази даних працівника, що отримує вантаж ця система дозволить зробити облік у цій сфері більш прозорим та зрозумілим. Це дозволить покращити час на виконання екстрених операцій та облік препаратів, що використовуються.
Для визначення положення об’єкту у обмеженому просторі у реальному часі та демонстрації на 3D мапі потрібно вирішити декілька питань:
1. Як розпізнати певний з багатьох однакових контейнерів?
2. Як визначити положення об’єкту у системі камери?
3. Як трансформувати координати з системи камери до системи 3D мапи?
Для вирішення першого питання було обрано систему тегів Apriltags. Дані теги вперше були використані у робототехніці для калібрування роботів. Вони добре розпізнаються камерами, можливо отримати ідентифікаційний номер тегу, його якорні кути та знайти обмежувальну рамку навколо нього. Положенням контейнеру можливо враховувати положення центру тегу. Для вирішення другого питання потрібно визначити фокусну довжину камери та виконати перетворення координат тегу у систему камери, відносно її центру. Для вирішення третього питання обрано розрахунок, що базується на матриці обертання R та вектору трансформації t.
Система маркерів AprilTag була розроблена April Robotics Laboratory Мічиганського університету (Олсон, 2011). AprilTag застосовується для широкого кола завдань: калібрування камери, робототехніка, доповнена реальність тощо. Він дозволяє розрахувати точне положення, орієнтацію та ідентичність маркера відносно камери. AprilTag використовує вбудований 2D-кодований маркер для виявлення тегів і для того, щоб відрізняти його від інших тегів. Візуальний маркер може бути будь-якого розміру з квадратним розміром. Бирка надрукована на білому фоні з чорним контурним квадратом. Усередині квадрата вбудований чорний штрих-код. AprilTag використовує унікальний алгоритм виявлення для швидкого, надійного виявлення та мінімізації впливу невеликих оклюзій.
Після розпізнавання тегу у кадрі та визначення його положення у системі камери, необхідно визначити де саме знаходиться об’єкт, щоб корректно відобразити його на 3D моделі. Необхідно розуміти, що камери, які розташовані у робочому просторі мають різне положення, кут нахилу, поле зору та фокусну відстань. Необхідно знайти найкраще обертання та трансляцію, які вирівняють точки в наборі даних A з набором даних B. Тут «оптимальний» або «найкращий» є з точки зору помилок найменших квадратів. Це перетворення іноді називають евклідовим або жорстким перетворенням, оскільки воно зберігає форму та розмір. Це на відміну від афінного перетворення, яке включає масштабування та зсув.
Використання цього методу дозволяє виконувати таке перетворення багато разів знаючи усього точки, які відповідають положенню у системі камери, матрицю обертання R, що буде унікальною для кожної з камер та вектор трансформації t, що також буде унікальним.
Після розпізнавання ми можемо визначити положення контейнеру в обмеженому просторі та зобразити його на 3D моделі.
Назва конкурсу: Конкурс «Кращий інноваційний диплом (проект)»
ПІБ Керівника/Куратора: Полякова Наталія Петрівна
ПІБ конкурсанта: Поляков Олександр Олександрович
Країна: Україна
Область: Запоріжська область
Назва НЗ: Запорізький національний університет
Учасник фіналу: Ні
Файл статті (pdf): Завантажити
