Obr. Fúzia s multisenzorovou integráciou (vľavo) a vodopádový model fúzie (vpravo).

Fúzia dát nachádza čoraz väčšie uplatnenie v mnohých oblastiach dátového spracovania. Mnohí programátori implementujú fúzne prístupy do svojich aplikácií. Momentálne je v terminológii ohľadom systémov využívajúcich princípy fúzie veľa nejasností a rozporov. Došlo k tomu pri rozličnom používaní výrazov senzorová fúzia, dátová fúzia, informačná fúzia, multisenzorová dátová fúzia a multisenzorová integrácia v technickej literatúre, pričom tieto výrazy sa používali na označovanie rôznych techník, technológií, systémov a aplikácií, využívajúcich dáta z rôznych informačných zdrojov. Ďalším z dôvodov týchto nejasností je používanie fúznych princípov v aplikáciách bez toho, aby programátori vedeli, že využívajú fúziu.

V našej práci využívame fúziu dát získaných zo zariadení integrovaných na mobilnej meracej platforme (obr. 1). Mobilná meracia platforma sa skladá z dvoch laserových skenerov, zo siedmich kamier, prijímača GPS, servera, switcha a UPS. Laserové skenery využívame na presné meranie priestoru v blízkosti mobilnej meracej platformy. Prvý skener používame na meranie celého prierezu priestorom, druhý na presné meranie povrchu vozovky. Cieľom práce je vytvorenie 3D modelu reálnych objektov, ako sú tunely, cesty alebo budovy. Použitie zvolených zariadení vychádza z požiadavky skonštruovať meraciu platformu využiteľnú na zber informácií o pozemnej komunikácii, jej bezprostrednom okolí a dopravnom prúde.

Fúziou dát z laserových skenerov a prijímača GPS sme schopní vygenerovať 3D model meraného priestoru, tvorený mračnom bodov. V prípade použitia fúzie dát získaných zo 70-stupňového skenera a prijímača GPS sme schopní vygenerovať 3D model povrchu cesty. V prípade použitia fúzie dát získaných z 360-stupňového skenera a prijímača sme schopní vygenerovať 3D model okolitého priestoru. Následne na takto vygenerovaný model zmeraného priestoru môžeme aplikovať algoritmus na tvorbu plôch, ktorý vytvára plochy na základe geometrických vlastností jednotlivých bodov. Následne na takto vygenerovaný 3D model s príslušnými plochami možno aplikovať textúru. Obrazovú informáciu o príslušnej textúre získavame pomocou kamier, pričom textúru na model cesty získavame z kamery namierenej na povrch vozovky a textúru na model celého okolitého priestoru získavame pomocou zvyšných šiestich kamier. Zorné pole jednej kamery je 60 stupňov. Použitím šiestich kamier a správneho rozloženia dosahujeme 360-stupňové pokrytie.

Úvod do procesu fúzie

Čoraz viac dôležitých aplikácií závisí od počítačových systémov, ktoré musia komunikovať s okolitým svetom. Existuje veľké pole aplikácií, v ktorých sa takéto systémy môžu využiť, a to vo výrobe, v lekárstve, armáde, bezpečnostných a dopravných systémoch. Pri návrhu systémov pracujúcich v reálnom čase treba zohľadniť tieto aspekty:

  • Senzorické obmedzenie – aplikácie sa nemôžu spoliehať iba na jeden senzor vzhľadom na obmedzenú rozlíšiteľnosť vstupného signálu, citlivosť senzora, prípadne možnosť chyby senzora.
  • Požiadavky na reálny čas – v mnohých aplikáciách treba dodržať požiadavku práce v reálnom čase. Časové zlyhanie niektorých aplikácií môže ohroziť ľudí, prípadne stroje. Aplikácie s požiadavkou na prácu v reálnom čase môžu byť postavené na využití rôznych prístupov.
  • Spoľahlivostné požiadavky – v niektorých aplikáciách treba zabezpečiť bezpečnosť pri poruche, aby nespôsobila kritický stav. Senzorická fúzia redundantných snímačov môže v prípade poruchy zabezpečiť kompletnú, prípadne obmedzenú, ale zato bezpečnú funkčnosť systému.
  • Požiadavky na komplexné riadenie – veľakrát treba rozdeliť komplexný systém na subsystémy s cieľom zjednodušenia implementácie a testovania.

Rôzne obmedzenia systémov, ktoré vnášajú senzory, možno odstrániť pomocou senzorickej fúzie. Ako už názov napovedá, senzorická fúzia je technika, ktorá dáta z niekoľkých senzorov spracúva s cieľom zabezpečiť úplnosť a presnosť výstupnej informácie. Aplikácie senzorickej fúzie môžeme nájsť v rôznych odvetviach od robotiky cez automatizovanú výrobu až po vojenskú oblasť. Senzorická fúzia sa využíva napríklad aj v aplikáciách počítačového videnia alebo mobilných robotov, kde sa často realizuje na základe biologickej fúzie podobných dát pri živých tvoroch. Aplikácie využívajúce dátovú fúziu prinášajú rad výhod oproti klasickým senzorickým systémom. Pri senzorických systémoch sa môžeme stretnúť s týmito problémami:

  • strata údajov zo senzora – porucha senzora alebo jeho časti vedie k strate informácií o pozorovanom jave,
  • obmedzené priestorové pokrytie – údaj získaný pomocou snímača sa vzťahuje iba na malý priestor okolo neho,
  • obmedzené časové pokrytie – niektoré snímače potrebujú určitý čas na spracovanie nameranej veličiny a na jej prenos, čo obmedzuje maximálnu frekvenciu merania,
  • nepresnosť – do procesu merania sa vnáša nepresnosť snímača,
  • neistota – na rozdiel od nepresnosti viac závisí od pozorovaného objektu ako od pozorovacieho zariadenia a vznikne vtedy, ak pri meraní chýbajú doplnkové funkcie, napr. keď senzor nemôže zmerať všetky relevantné údaje.

Ďalším veľmi často používaným výrazom je multisenzorová integrácia využívajúca spoluprácu senzorických dát na dosiahnutie systémových úloh. Senzorická fúzia na rozdiel od multisenzorovej integrácie spracúva informácie zo senzorov do jednej výslednej infor­mácie. Rozdiel medzi senzorickou fúziou a multisenzorovou integrá­ciou vystihuje obr. 2a. S1 až S3 sú senzory, ktoré poskytujú informácie o prostredí. Výstupom bloku senzorickej fúzie je príslušné vyjadrenie premenných z prostredia. Tento údaj následne vstupuje do riadiacej aplikácie. Pri použití multisenzorovej integrácie vstupujú informácie zo snímačov o prostredí priamo do riadiacej aplikácie.

Na fúziu dát sa využívajú mnohé modely. Najrozšírenejším a najjednoduchším modelom, ktorý aj my používame, je vodopádový model zdôrazňujúci predspracovanie dát na nižšej úrovni. Etapy vodopádového modelu sú znázornené na obr. 2b. Jednotlivé úrovne tohto modelu korešpondujú s úrovňami JDL modelu. Prvé dve úrovne vodopádového modelu, snímanie a spracovanie signálu, zodpovedajú prvej úrovni JDL modelu. Úroveň, na ktorej sa vykonáva vyhodnotenie situácie, je zhodné s druhou úrovňou JDL modelu. Úroveň rozhodovania zodpovedá tretej úrovni JDL modelu. Ako vidno, vodopádový model je veľmi podobný JDL modelu, pričom majú aj rovnaké nevýhody. Model je síce presnejší pri analýze, avšak jeho hlavným obmedzením je nemožnosť použitia spätnej väzby dátového toku.

Súčasný stav tvorby 3D modelov

Existuje veľké množstvo svetových projektov, ktoré sa zaoberajú tvorbou 3D modelov. Výskumníci Ústavu geodézie, kartografie a geogra­fických informačných systémov Technickej univerzity Košice vykonali meranie Urbanovej veže (obr. 3a) pomocou zariadení Trimble VX Spatial Station a Leica ScanStation 2. Urbanova veža je gotická zvonica pri Dóme sv. Alžbety v Košiciach. Prístrojom Trimble VX Spatial Station bola naskenovaná zo štyroch stanovíšť a z troch stanovíšť prístrojom Leica ScanStation 2. Jednotlivé body, v ktorých sa vykonávali merania, boli vložené do jednej súradnicovej sústavy. Výsledné mračno bodov tvorilo 43,64 milióna bodov, pričom po filtrácii ostalo 8 miliónov bodov [1]. 3D model objektu možno vytvoriť aj pomocou fotografií. Tejto metóde sa venujú viacerí autori, niektorí sa zameriavajú na menšie objekty (napr. historické vázy, sochy), alebo väčšie objekty, ako sú budovy alebo pohoria (obr. 3b).

Ak potrebujeme vytvoriť trojrozmerný model vonkajšieho priestoru, možno použiť stabilné terestriálne laserové skenery, ktoré umožňujú zmerať priestor okolo skenera a následne programovo vytvoriť virtuálny model snímaného priestoru. Virtuálny model potom možno použiť na najrôznejšie účely, napríklad na meranie veľkosti zosnímaných objektov či pozorovanie vzájomných vzťahov medzi objektmi. Niekedy však pomerne zložitý terestriálny skener použiť nemožno. Napríklad ak potrebujeme vytvoriť model železničnej trate alebo diaľnice aj s okolím, nemožno na čas merania zastaviť dopravu, doprostred železničnej trate alebo diaľnice postaviť skener a zapnúť meranie. Pritom model dopravnej stavby vytvorený takýmto skenerom je veľmi užitočný, pretože umožňuje sledovať vzájomné vzťahy medzi objektmi mimo cesty a vozidlami pohybujúcimi sa po ceste alebo železničnej trati. Ak napríklad stavby, zariadenia vedľa trate alebo porast zasahujú do priestoru, v ktorom sa pohybujú vozidlá, hrozí nebezpečenstvo zrážky vozidiel s týmito objektmi a poškodenia vozidiel aj objektov mimo cesty, prípadne aj zranenia cestujúcich. Niektoré objekty mimo cesty môžu prekážať vo výhľade vodičom a virtuálny model ich pomôže odhaliť.

Z týchto dôvodov sme sa na Katedre riadiacich a informačných systémov na Elektrotechnickej fakulte Žilinskej univerzity venovali vývoju mobilného meracieho systému, ktorý umožní zmerať priestor počas pohybu. Na pohyblivú meraciu platformu sme umiestnili potrebné zariadenia, ktoré pri pohybe základne odmerajú všetky údaje potrebné na vytvorenie 3D modelu.

Literatúra

[1] Zameranie Urbanovej veže pomocou Trimble VX Spatial Station. [online]. Publikované 18. 1. 2016. Dostupné na: http://web.tuke.sk/ugkagis/sk/zameranie-urbanovej-veze-pomocou-trimble-vx-spatial-station/ .

Ing. Marián Hruboš, PhD.
Ing. Rastislav Pirník, PhD.
Ing. Dušan Nemec
Ing. Vojtech Šimák, PhD.
Ing. Jozef Hrbček, PhD.

Žilinská univerzita
Elektrotechnická fakulta
Katedra riadiacich a informačných systémov
Univerzitná 8215/1
010 26 Žilina