FEI STU sa snaží podporovať spoluprácu študentov so súkromnými firmami, a preto Ústav robotiky a kybernetiky na FEI STU autorovi práce odporučil, aby sa dohodol na téme u svojho zamestnávateľa – vo firme XIMEA. Stretlo sa tu viacero okolností. V rovnakom čase začal ústav s touto firmou rozvíjať spoluprácu, súčasťou čoho bola aj ponuka na vypísanie tém záverečných prác. Spoločnosť XIMEA sa zároveň rozhodla rozšíriť svoje portfólio produktov – priemyselných kamier – o 3D kamery založené na technológii time-of-flight (TOF). Prvý produkt z tohto radu, v tom čase vo vývoji, bola RGB-D kamera typu RGB+TOF, čo bolo vhodným námetom aj pre záverečnú prácu.

Výsledky porovnateľné s komerčnými riešeniami

Cieľov a prínosov diplomovej práce bolo hneď niekoľko:

  • rešerš informácií k spracovaniu dát z TOF kamery, aby pre ňu mohla byť implementovaná podpora vo firemnom softvéri XIMEA CamTool,
  • vytvorenie demonštračnej aplikácie pre túto kameru, aby mohol byť produkt ponúknutý potenciálnym zákazníkom, čiže implementácia kompletného spracovania dát z kamerového systému až po farebné mračno bodov,
  • výborná príležitosť pre autora získať viac informácií a prehľad o svete kamier a pre spoločnosť získať kvalifikovanejšieho zamestnanca.

Demonštračná aplikácia bola napísaná v jazyku C++, pričom autor práce sa snažil minimalizovať použitie dostupných knižníc počítačového videnia. Pre toto rozhodnutie, i keď za cenu o niečo slabšieho výkonu aplikácie, sa autor rozhodol preto, aby sa na celej záležitosti čo najviac naučil a nabral čo najviac skúseností. Kompletné spracovanie obrazu opísal autor na základe vedeckých článkov, pričom dostupné knižnice ako OpenCV a Pointcloud Library zabezpečujú v rámci riešenia len renderovanie výsledkov.

Jednotlivé časti spracovania majú príslušné vlákna, pričom sú implementované na CPU aj GPU s použitím platformy Nvidia CUDA. Aby mala práca aj vedecký rozmer, sú v nej porovnané výkony aplikácie na CPU s GPU, ako aj na počítačovej doske Nvidia Jetson so špičkovým x86_x64 počítačom.

Dodatkom k demo aplikácii sú kalibračné skripty, ktoré autor vytvoril úplne sám na základe vedeckých článkov. Z vedeckého hľadiska bola kvalita autorovej implementácie porovnávaná s implementáciou knižníc počítačového videnia.

Pri farebnej (RGB) kamere bola implementovaná rekonštrukcia farieb (demosaicing), korekcia radiálneho skreslenia, vyváženie bielej a korekcia farieb pomocou korekčnej matice. Pri TOF kamere bol implementovaný výpočet hĺbkovej mapy a IR obrazu (demodulácia), Poissonovho šumu, korekcia radiálneho skreslenia a prepočet radiálnej vzdialenosti, ako aj korekcia permanentnej hĺbkovej odchýlky. Menším nedostatkom na demo aplikácii je absencia kompenzácie teplotného driftu hĺbkových dát a chyba zarovnania hĺbkových a farebných dát – na farebnom mračne bodov sú tak farby o niekoľko pixelov posunuté oproti svojim hĺbkovým náprotivkom.

Prezentácia na veľtrhu VISION 2024

Základná podpora pre TOF kameru bola implementovaná v softvéri CamTool ešte v lete 2023. Po odovzdaní dokončenej diplomovej práce sa začali práce na implementovaní dodatočných prvkov spracovania dát pre túto kameru.

Demo aplikácia bola vystavená na medzinárodnom veľtrhu VISION 2024, kde ju obchodní zástupcovia firmy XIMEA prezentovali návštevníkom a potenciálnym zákazníkom. V súčasnosti sa hovorí o možnosti ďalšieho vývoja aplikácie, aby mohla byť poskytovaná zákazníkom.

Povzbudený pozitívnymi výsledkami diplomovej práce sa autor prihlásil na doktorandské štúdium v Ústave robotiky a kybernetiky, kde sa venujem rôznym oblastiam spracovania dát z time-of-flight kamier. Naďalej tak zúročuje získané vedomosti a ponúknutú príležitosť.

Ing. Michal Lúčny
FEI STU v Bratislave
Ústav robotiky a kybernetiky
michal.lucny@stuba.sk