Aplikácie vzdialene ovládanej robotiky v inteligentnom priestore (1)

Termín internet vecí (Internet of Things – IoT) v poslednom čase rýchlo naberá na popularite naprieč IT sektorom. Podstatou IoT je prepojenie rôznych objektov s komunikačnou sieťou (zvyčajne internetom) spolu s rôznymi druhmi senzorov, aktuátorov atď. IoT zariadenia na komunikáciu zvyčajne využívajú bezdrôtové technológie. Komunikácia prebieha buď medzi týmito zariadeniami, alebo medzi zariadením a decentralizovanou databázou, v ktorej sú všetky dáta uložené a spracované na neskoršie použitie.

Hlavnou silou myšlienky IoT je jej vplyv na mnohé aspekty každodenného života používateľov. Ovplyvňuje domácich aj profesionálnych používateľov. Ako oblasti využitia, v ktorých bude mať IoT značnú dôležitosť, môžeme uviesť napr. tzv. smart cities, elektronické zdravotníctvo či rôzne podporné prostriedky pre zdravotne postihnuté osoby, t. j. oblasť známu ako assisted living [1]. Z perspektívy podnikania bude mať IoT prínos prevažne v oblastiach ako priemyselná výroba, logistika, automatizácia a inteligentná doprava [2].

Vďaka IoT a moderným technológiám môžeme vykonať mnoho vecí, ktoré v minulosti neboli možné. IoT pomáha vytvárať inteligentné prostredie, ktoré dokáže plniť naše potreby. Napríklad pomocou kamier môžeme identifikovať konkrétnych používateľov a nastaviť teplotu v našom dome na ich preferovanú hodnotu alebo predhrievať miestnosti ešte predtým, ako sa vrátime domov, na základe našej polohy a charakteru cesty. Najsľubnejším príkladom využitia je inteligentný priemysel, v ktorom je vývoj zariadení IoT súčasťou tzv. Industry 4.0.

Z technologického hľadiska implementácia IoT zvyčajne zahŕňa kombináciu viacero softvérových a hardvérových komponentov usporiadaných vo viacvrstvovom celku, ktorý je zvyčajne rozdelený do troch vrstiev:

• zariadenie alebo vec – IoT zariadenia ako senzory, aktuátory alebo procesory,
• konektivita – komunikačné protokoly medzi zariadeniami a cloudom, napr. MQTT,
• cloud – počítačová technológia využívajúca internet, ktorá poskytuje svoje služby na riadenie a správu všetkých dát a informácií ako celku.

Na využitie a umožnenie všetkých týchto nových inovatívnych technológií IT infraštruktúry sú potrebné nové riadiace princípy, nástroje a procesy, ktoré ich dokážu efektívne riadiť, spravovať a spájať [3].

Inteligentný priestor

Inteligentný priestor (Intelligent Space – IS) opisuje miesto, kde je rozložené množstvo senzorov a inteligentných zariadení (zväčša IoT zariadenia), prepojených pomocou komunikačných technológií. Za IS môžeme považovať miestnosť, chodbu alebo ulicu vybavenú senzormi a aktuátormi. Hlavným cieľom snímačov je zhromažďovať údaje o tom, čo sa deje v prostredí, konkrétne o tom, čo robia používatelia. Senzory môžu byť aktívne alebo pasívne. Aktuátory slúžia na interakciu s ľuďmi a poskytovanie fyzickej podpory [4]. Jedným z najčastejšie používaných zariadení v IS sú kamery. Napríklad pomocou neurónových sietí môžeme identifikovať objekty a určiť prítomnosť osôb alebo navrhnúť postupnosť akcií, a to aj v dynamickom prostredí [5]. Keďže spracovanie obrazu z kamier nie je 100 % presné a závisí od svetelných podmienok, IS používajú na zlepšenie presnosti aj iné technológie, napríklad RFID čítačky/karty, snímače vzdialenosti, stereoskopické kamery či lasery [6], [7].

Mobilné roboty môžu byť použité ako agenty na interakciu a obsluhu ľudských používateľov v podobe osobných asistentov [8]. Využívajú dáta poskytované IS na plnenie svojich úloh a prístup k ďalším informáciám o svojom okolí, ako je napr. umiestnenie objektov, pozícia ľudí a iných robotov alebo podmienky v miestnostiach (teplota, vlhkosť atď.). Asi najužitočnejším prínosom IS je však možnosť telerobotiky a navigácie.

Telerobotika sa zaoberá riadením robotov na diaľku pomocou bezdrôtovej siete (ako je Wi-Fi, Bluetooth, Deep Space Network a pod.) alebo káblového pripojenia. Jej význam je podobný výrazu diaľkové ovládanie. Môže byť však realizovaná ako rozhranie človek – stroj (priame ovládanie používateľom) alebo stroj – stroj (v tomto prípade ovládanie systémami obsiahnutými v IS).

Všeobecné požiadavky na infraštruktúru

Požiadavky na implementáciu IS konceptu sa všeobecne dajú rozdeliť do štyroch kategórií [9]:

• senzory/aktuátory,
• internetová brána,
• edge IT,
• dátové centrum a cloud.

A. Senzory

Senzory poskytujú informácie o prostredí. Napríklad na navigačné účely v meniacom sa prostredí sú nevyhnutné pri zisťovaní prekážok a získavaní informácií o okolí potrebných na lokalizáciu. Senzory môžu byť rozdelené na aktívne a pasívne. Aktívne senzory vysielajú signál, ktorý sa potom odráža od prostredia, napr. ultrazvuk či LIDAR. Pasívne senzory, napr. kamera, infračervený snímač, modul GPS, naopak len zhromažďujú informácie z prostredia bez vysielania. Pasívne snímače používané na navigáciu v interiéroch zahŕňajú inerciálne senzory, akcelerometre, gyroskopy, magnetometre, Wi-Fi RSS meranie pomocou antény, kamery a pod. [10]. Aktívne senzory používané na navigáciu zahŕňajú ultrazvukové snímače, 2D skenery a pod. [10].

B. Internetová brána

Na zmysluplné ovládanie IS je potrebný systém, ktorý distribuuje informácie zo senzorov do výpočtových jednotiek vykonávajúcich rozhodnutia na základe týchto informácií. Snímače môžu byť umiestnené v blízkosti výpočtovej jednotky a môžu k nej byť priamo pripojené. Tento prístup je však z hľadiska spoločného využívania informácií a hardvérových požiadaviek často nevhodný. Na vyriešenie tohto problému boli zavedené snímače IoT, ktoré sú schopné distribuovať informácie výpočtovým jednotkám prostredníctvom siete [9]. Avšak dôsledkom použitia IoT senzorov je potreba infraštruktúry na distribúciu informácií. Najčastejšie sa používa sieť WLAN založená na Wi-Fi routeroch alebo LAN založená na pripojení cez ethernet [9].

C. Edge IT

Systémy edge IT sú implementované do siete IS na spracovanie dát s cieľom minimalizovať toky a redundanciu v dátach. Preto sa fyzicky umiestňujú do blízkosti samotných senzorov, kde vykonávajú rôzne predspracovanie dát (napr. filtráciu či kompresiu) a môžu tiež poskytovať rôzne analýzy dát [9]. Keďže systémy edge IT predstavujú istú hranicu, resp. hranu medzi operačným prostredím senzorov a aktuátorov a samotným IT prostredím, zaužíval sa pojem edge, resp. fog ako metafora pre priestor medzi dvomi oblasťami.

D. Dátové centrum a cloud

Ak sa nevyžaduje okamžitá spätná väzba, potom môžu byť na podrobnejšie spracovanie použité cloudovo založené systémy a dátové centrá. Tieto cloudové služby môžu poskytnúť výkonnejší IT systém na analýzu, správu a bezpečné ukladanie dát odvíjajúci sa od potrieb používateľa [9], [11].

Navrhovaná IoT infraštruktúra na robotické úlohy

Konštrukcia daného IS závisí od účelu jeho použitia a od rozsahu a typu prostredia (vnútorného alebo vonkajšieho), ktoré by mal IS pokryť. Keďže naším hlavným cieľom je používanie IS na robotické úlohy ako senzorický nástroj pre rôzne typy robotov, ktoré by mohli vzájomne spolupracovať, hlavné typy snímačov by mali byť schopné ponúkať vizuálne a trojrozmerné priestorové informácie. Ďalšie typy senzorov majú viac-menej pomocnú úlohu. Ďalšie aspekty nášho dizajnu IS týkajúce sa komunikačnej siete, hardvéru a softvéru sú opísané ďalej.

E. Sieťová infraštruktúra

Sieťová infraštruktúra našej lokálnej siete pozostáva zo senzorov, klientov a servera na tzv. fog computing [12]. Ako súčasť siete Technickej univerzity v Košiciach má naša sieť prístup k službám poskytovaných univerzitou. Okrem toho môže použiť aj externé služby, napr. cloudy od spoločností Microsoft, IBM a Amazon (obr. 2).

F. Hardvér

V súčasnosti senzory zahŕňajú zariadenia typu Kinect, pôvodne vyvinuté pre herné konzoly od firmy Microsoft a IP kamery s mikrofónmi (obr. 1).

Každý Kinect je pripojený k mini PC, čo umožňuje transformovať Kinect na niečo ako IP kameru, ktorá dokáže preniesť hĺbkový alebo farebný obraz cez preddefinované porty (obr. 2). Alternatívne môže dáta snímať zariadenie Kinect predspracované priamo na mini PC. Ďalej môžeme vytvárať aplikácie, ktoré budú odosielať údaje na server v lokálnej sieti alebo na cloud.

IP kamery sú vybavené snímačom CMOS s rozlíšením 1 megapixel a dokážu streamovať obraz s rozlíšením 1 280 x 800 pri 30 snímkach za sekundu [14]. Tieto kamery sa používajú na projekty spracovania obrazu na lokálnom serveri.

Náš IS je navrhnutý pre úlohy s viacerými mobilnými robotmi, v našom prípade Nao, Lego Mindstorms, Turtlebot 2 a Qbo. Na zlepšenie presnosti lokalizácie robota bola vyvinutá prenosná RFID čítačka so zabudovaným Bluetooth, ktorá môže byť pripojená k šasi robota. Toto funguje v spojení s RFID kartami integrovanými v podlahe nášho IS. Pozícia používateľa v IS je určená pomocou modifikovaných topánok, ktoré tiež obsahujú čítačku RFID kariet. Pomocou zabudovaného Bluetooth môžu tieto čítačky posielať dáta do cloudu, z ktorých potom môže robot určiť svoju pozíciu alebo pozíciu používateľa v budove. Keď je používateľ lokalizovaný, môže ho robot sprevádzať na požadované miesto. Aby sa odhalili neočakávané situácie (napríklad veľké objekty prenášané cez malú chodbu), sú senzory Kinect použité na sledovanie hál a informovanie robotov o prekážkach v ceste. Najnovším typom senzorov u nás sú iBeacons založené na technológii Bluetooth. Ide o vysielače podobné rádiomajákom, ktoré môžu prenášať isté množstvo informácií (napr. o objekte, na ktorom sa nachádzajú) a ktorých pozíciu možno určiť na základe sily a smeru prichádzajúceho signálu.

G. Softvér

Mini PC používajú operačný systém Microsoft Windows a na správny chod senzorov typu Kinect využívajú knižnice Kinect for Windows SDK a Codding4Fun Kinect Service na vytváranie streamu do iných zariadení. Pripojenie na mini PC poskytuje TeamViewer, ktorý sa môže pripojiť odkiaľkoľvek, alebo tzv. remote desktop.
Na lokálnom serveri beží systém Windows Server 2008 a pomocou virtualizačného programu Hyper-V možno spustiť aj iné operačné systémy, ako sú Ubuntu, Cent OS a pod. Linuxová distribúcia umožňuje ľahké ukladanie videa z IP kamier alebo Kinectov pomocou FFmpeg frameworku. Tento framework dokáže tiež previesť video vo vysokom rozlíšení do štandardného rozlíšenia. Zníženie rozlíšenia šetrí miesto na disku, najmä pri ukladaní streamov z viacerých zariadení.

Pokračovanie nabudúce.

Literatúra

[1] Johanyak, Z. C.: Real-World Software Projects as Tools for the Improvement of Student Motivation and University-Industry Collaboration. In: International Conference on Industrial Engineering, Management Science and Applications (ICIMSA), 2016, pp. 1 – 4.
[2] Atzori, L. et al.: The Internet of Things: A survey. In: Computer networks, 2010, Vol. 54, No. 15, pp. 2 787 – 2 805.
[3] Wortmann, F. – Flüchter, K.: Internet of Things. In: Business & Information Systems Engineering, 2015, Vol. 57, No. 3, pp. 221 – 224.
[4] Lee, J.-H. – Hashimoto, H.: Intelligent Space - Its concept and contents. In: Advanced Robotics Joumal, 2002, Vol. 16, No. 4.
[5] Balara, D. – Timko, J. – Žilková, J.: Application of neural network model for parameters identification of non-linear dynamic system. In: Neural network world, 2013, Vol. 23, No. 2, pp. 103 – 116.
[6] Hvizdoš, J. – Vaščák, J. – Březina, A.: Object Identification and Localization by Smart Floors. In: IEEE 19th International Conference on Intelligent Engineering Systems (INES), 2015, pp. 113 – 117.
[7] Vaščák, J. – Hvizdoš, J. – Puheim, M.: Agent-Based Cloud Computing Systems for Traffic Management. In: International Conference on Intelligent Networking and Collaborative Systems (INCoS), Ostrava, 2016, pp. 73 – 79.
[8] Morioka, K. – Lee, J. H. – Hashimoto, H.: Human Centered Robotics in Intelligent Space. In: IEEE International Conference on Robotics & Automation (ICRA’M), 2002, pp. 2 010 – 2 015.
[9] The 4 stages of an IoT architecture. [online]. Dostupné na: http://techbeacon.com/4-stages-iot-architecture.
[10] Khoshelham, K. – Zlatanova, S.: Sensors for Indoor Mapping and Navigation. In: Sensors, 2016, Vol. 16.
[11] Andonovski, G. – Music, G. – Blazic, S. – Skrjanc, I.: On-line Evolving Cloud-based Model Identification for Production. In: 4th IFAC Conference on Intelligent Control and Automation Sciences (ICONS). IFAC Papersonline, 2016, Vol. 49, No. 5, pp. 79 – 84.
[12] Bonomi, F. – Milito, R. A. – Zhu, J. – Addepalli, S.: Fog computing and its role in the internet of things. In: Proceedings of the first edition of the MCC workshop on Mobile cloud computing (MCC@SIGCOMM), Helsinki, Finland, 2012, pp. 13 – 16.
[13] Hézsely, V.: Inštalácia kamier, Kinect senzorov a PC pre TU FEI KKUI – LUI. Unpublished technical manual, 2016.
[14] Datasheet Vivotek PD8136. [online]. Dotupné na: http://download.vivotek.com/downloadfile/downloads/datasheets/pd8136datasheet_en.pdf.
[15] Newman, N.: Apple iBeacon technology briefing. In: Journal of Direct, Data and Digital Marketing Practice, 2014, Vol. 15, No. 3, pp. 222 – 225.
[16] Voisan, E. I. – Paulis, B. – Precup, R. E. – Dragan, F.: ROS-Based Robot Navigation and Human Interaction in Indoor Environment. In: IEEE 10th Jubilee International Symposium on Applied Computational Intelligence and Informatics (SACI), 2015, pp. 31 – 36.
[17] Kalal, Z. – Mikolajczyk, K. – Matas, J.: Tracking-learning-detection. In: IEEE transactions on pattern analysis and machine intelligence, 34(7), 2012, pp. 1 409 – 1 422.