Nástroje použité pri implementácii výučbového systému

Implementácia systému zahŕňa použitie viacerých webovo orientovaných technológií zdieľania procesných informácií, ktorých vzájomné prepojenie je zobrazené na obr. 3. Hlavným zámerom riešenia bolo použitie v čo najväčšej miere open source technológie, čo znamená minimalizáciu nákladov a zároveň maximalizáciu kustomizovateľnosti navrhnutého systému.

Výsledným produktom je distribuovaná sieťová aplikácia realizovaná v prostredí WWW nezávislá od hardvérovej platformy mobilných zariadení. Spracovanie procesných veličín a logika aplikácie sa spracúva centralizovane na strane servera a samotná vizualizácia získaných informácií je realizovaná na strane koncových používateľských zobrazovacích mobilných zariadení (tablet, notebook, smartfón) s dôrazom na minimalizáciu hardvérovej a softvérovej náročnosti.

Celé technické riešenie projektu môžeme rozdeliť do viacerých kľúčových úrovní v procese realizácie:

  • databázová časť aplikácie umiestnená na aplikačnom serveri obsahujúca technické špecifikácie jednotlivých technických zariadení bude zdrojom statických informácií o každom zariadení (technická dokumentácia, schémy zapojenia, technické parametre, fotografie);
  • procesné informácie technických zariadení (PLC) budú v definovanej forme a štruktúre prístupné na vlastnom webovom serveri každého zariadenia;
  • aplikačná časť produktu umiestnená na aplikačnom serveri zabezpečí cyklický zber procesných informácií z webových serverov jednotlivých zariadení;
  • vizualizáciu procesných informácií zabezpečia samotné koncové mobilné zariadenia prostredníctvom bežného internetového prehliadača pomocou knižníc JavaScrip a funkcií vo forme dynamicky generovaných 3D objektov, reálnočasovej zmeny vlastností týchto objektov a odkazov na statické databázové informácie;
  • identifikácia orientácie klientskeho zariadenia pre rozšírenú realitu je zabezpečená takisto na strane klienta prostredníctvom bežného internetového prehliadača s prístupom ku kamere daného mobilného zariadenia pomocou knižníc JavaScrip a funkcií na základe vyhodnotenia definičných markerov každého technického zariadenia a následnej reorientácie virtuálnej scény;
  • identifikácia konkrétneho zariadenia bude zabezpečená opäť na strane klienta prostredníctvom bežného internetového prehliadača s prístupom ku kamere daného mobilného zariadenia pomocou knižníc JavaScrip a funkcií na základe vyhodnotenia QR kódu každého technického zariadenia s cieľom priradenia relevantných databázových údajov;
  • minimalizácia prenosovej náročnosti bude zabezpečená správnou štrukturalizáciou údajov prenášaných kanálom zariadenie – aplikačný server – klient.

PLC webový server

Ako sa uvádza v publikácii [8], veľké množstvo technológií v rámci konceptu Industry 4.0 má pôvod vo webových technológiách a v informatike. Avšak ich implementácia na procesnej úrovni je obme­dzená hardvérom, pretože ich použitie je primárne určené na riadenie procesov. V každom prípade existujú možnosti implementácie vlastných používateľských webových stránok pomocou zabudovaného webového servera, ktoré nie sú potrebné pre primárne riadiace funkcie. Táto technológia na jednej strane ponúka pridanú hodnotu na riadenie výroby a na druhej strane umožňuje študentom zvýšenie zručností pri vývoji webových stránok. Vlastné používateľské webové stránky ponúkajú neobmedzené možnosti vizualizácie údajov podľa potrieb zákazníkov od jednoduchých prehľadov až po plnohodnotné webové rozhranie HMI (Human Machine Interface). Používateľské webové stránky sú vyvinuté v jazyku HTML 5 pomocou CSS a JavaScript, pričom súbory stránok treba iba nahrať do PLC.

Naše riešenie využíva spomínaný prístup k aplikácii integrovaného webového servera PLC s optimálnym využitím systémových zdrojov. Aby sa zaistilo minimálne zaťaženie PLC, používateľské webové stránky načítané do ich pamäte obsahujú dáta procesných staníc vo veľmi jednoduchej podobe, a to vo forme procesnej hodnoty uvedenej v html značke div s identifikátorom.

Zabudovaný webový server PLC v spojení s pomocným webovým serverom na báze PC ponúka širokú škálu využitia používateľských webových stránok okrem získavania výrobných dát, napr. prepojenie na technickú dokumentáciu zariadenia. Uplatňovanie týchto technológií sa javí ako oveľa jednoduchšie a menej náročné na hardvér za predpokladu transformácie tradičného pyramídového modelu decentralizovaných riadiacich systémov v súlade s koncepciou Industry 4.0, ako je to znázornené na obr. 4, a dodržiavaním zásad bezpečnosti počítačových sietí.

Technológie jadra výučbového systému

Celá architektúra výučbového systému je postavená na báze open source CMS systému WordPress, ktorého modulárna štruktúra dokonale spĺňa požiadavky na takto orientované systémy [9]. Údajová základňa jadra systému v prostredí mysql je doplnená o vlastný dátový model výučbovej časti systému. Rozšíriteľnosť jadra systému o vlastné moduly na báze jazyka php zabezpečuje priestor na vytvorenie požadovaného komunikačného modulu medzi samotným jadrom výučbového systému a procesnou úrovňou systému AFB Factory.

Technológie implementácie modulu rozšírenej reality

Vzhľadom na komplexnosť navrhnutého systému, ktorého časť je realizovaná formou štandardného databázového systému, podrobnejšie je popísaný zoznam technológií použitých na implementáciu modulu rozšírenej reality. Spojenie reálneho sveta s virtuálnou scénou nazývané rozšírená realita zabezpečuje open source 3D webový framework na vytváranie webovej virtuálnej reality pomocou HTML a Entity-Component s názvom A-Frame [10]. A-Frame umožňuje vytvárať virtuálnu realitu pomocou obyčajných HTML súborov bez nutnosti inštalácie doplnkových komponentov. A-Frame je optimalizovaný od základov pre WebVR. Keďže A-Frame používa rozhranie DOM, aktualizácia 3D objektov je vždy realizovaná priamo v pamäti s minimálnym nárokom na systémové prostriedky v rámci jednej požiadavky na animáciu. A-Frame je výkonný rámec založený na technológii JavaScript, ktorý poskytuje deklaratívnu kompozitnú štruktúru opakovane použiteľných entít. Vývojárovi ponúka neobmedzený prístup k technológiám JavaScript, DOM API, three.js, WebVR a WebGL.

Pomocou tohto nástroja je teda vytvorená virtuálna scéna obsahujúca schematické modely komponentov priemyselnej automatizácie zoskupených do funkčných celkov. Dynamiku objektov možno realizovať buď jednoduchšou formou – animáciou elementov tvoriacich model objektu –, alebo zložitejšou formou – zakomponovaním zložitejších animácií priamo do modelu a ich následnou parametrickou aktiváciou. Vytvorená virtuálna scéna je do rozšírenej reality implementovaná pomocou open source projektu AR.js [11]. AR.js je efektívne riešenie aplikácie rozšírenej reality vo webovom prostredí. Plne funguje v natívnom webovom prehliadači klienta, čo znamená, že nevyžaduje inštaláciu žiadnych ďalších aplikácií. Nevyžaduje ani použitie špecializovaných zariadení. Beží na všetkých mobilných platformách: Android, iOS11 a Windows mobile. V závislosti od použitého zariadenia dokáže pracovať veľmi rýchlo až s frekvenciou 60 snímok za sekundu na relatívne staršom hardvéri (cca dva roky, čo sa vo svete informačných technológií môže považovať za takmer pol generácie vo veku zariadení). Technológia AR.js je založená na využívaní markerov s možnosťou použitia hybridných vlastných značiek. Implementácia systému využíva hybridný personalizovaný marker pre každý technologický subsystém s identifikačným QR kódom, ktorý je v ňom obsiahnutý, ako je znázornené na obr. 5. Tento modul zabezpečuje reálnočasovú reorientáciu VR scény s 3D modelom sledovaného objektu na základe identifikácie AR značky a vyhodnotenia jej polohy a orientácie vzhľadom na používateľa.

Virtuálny model technologického subsystému spolu s technickými údajmi uloženými v databáze je identifikovaný QR kódom, ktorý je naskenovaný pomocou modulu QRCode vytvorenom v jazyku JavaScript a je využiteľný v prehliadačoch s podporou HTML5 [12], [13]. Opäť je to open source projekt založený na projekte ZXing qrcode scanner. Výmena dát medzi jednotlivými technológiami je znázornená vo forme komunikačného diagramu na obr. 6.

Spojením uvedených technológií do jedného celku je aplikácia umožňujúca zobrazenie procesných reálnočasových informácií z prvkov priemyselnej automatizácie v kombinácii s ich technickými údajmi v prostredí webového prehliadača vo forme zmiešanej reality s minimálnymi hardvérovými a softvérovými nárokmi. Ukážka takéhoto spojenia aplikácie určenej na edukačné účely je zobrazená na obr. 7 a 8.

Procesné informácie subsystému sú zobrazované na informačnom paneli prislúchajúcom danému zariadeniu aj v grafickej forme zmenou parametrov virtuálnych objektov (pozícia, farba, mierka, otočenie, priehľadnosť) priamo reprezentujúcich daný element priemyselnej automatizácie. Jednotlivé objekty sú realizované ako interaktívne prvky, kde pomocou A-Frame objektu typu cursor je používateľovi umožnený priamy výber záujmového prvku. Identifikovaný je v tomto prípade v zóne A subsystém na váženie sypkého materiálu s jeho transportom závitovkovým dopravníkom do násypky s následným transportom pomocou stlačeného vzduchu do vstupného zásobníka v zóne B. Na obr. 7 je používateľom zvolený ako objekt záujmu technický prvok automatická váha, ku ktorej sú v informačnej sekcii zobrazené informácie z databázy na základe identifikátora tohto objektu. V signálnej sekcii na obr. 8 sú zobrazené reálnočasové procesné informácie daného subsystému – digitálne a analógové vstupy/výstupy riadiaceho PLC.

Perspektívy do budúcna

Návrh a implementácia výučbového systému je parciálnym cieľom projektu, zaoberajúceho sa zvýšením efektivity a popularity pri výučbe. Budúce plánované rozširovanie systému má dva smery. Jedným je aplikácia existujúcich princípov v iných priestoroch v rámci automatizačnej techniky v ústave a iných oblastiach využitia. V blízkej budúcnosti uvažujeme nad rozšírením projektu do všetkých laboratórií v rámci ústavu. Následne je možná implementácia v širšom rámci. Potenciál existujúceho riešenia je široký. Príkladom môže byť vplyv prípadného nasadenia častí vyvinutého softvéru do systému údržby v praxi, kde by vďaka rýchlemu a efektívnemu prístupu k dokumentácii jednotlivých zariadení mohlo prísť k markantnému skráteniu servisných časov. Prípadne v ekonomickej oblasti pri inven­tarizácii majetku.

Druhý potenciálny smer je aplikovanie nových technických funkcionalít v rámci systému. Existujúci systém poskytuje priestor na implementáciu ďalších technológií, napr.:

  • použitie bezkontaktných technológií NFC, RFID na identifikáciu zariadení;
  • použitie hardvérových prostriedkov mobilných zariadení akcelerometer, gyroskop na identifikáciu orientácie klientskeho mobilného zariadenia spolu s rozhraním na 3D zobrazenie virtuálnej scény;
  • využitie non-marker prístupov na identifikáciu scény pri rozšírenej realite;
  • vytvorenie offline aplikácie v natívnom prostredí operačného systému mobilného zariadenia, ktorá obsahuje všetky údaje a algoritmy spracovania a vyhodnocovania obrazu.

Záver

Rozšírená realita je progresívnym nástrojom na poli vzdelávania a výučbových systémov. V článku je prezentovaná možnosť využitia rozšírenej reality v edukačnom procese. Návrh a implementácia výučbového systému je parciálnym cieľom projektu zaoberajúceho sa zvýšením efektivity a popularity pri výučbe technických predmetov špeciálne zameraných na oblasť priemyselnej automatizácie. Práve rozšírená realita je tým elementom, ktorý umožní študentom získavať teoretické vedomosti priamo pri práci s reálnymi objektmi priemyselnej automatizácie. Modulárnosť a univerzálnosť návrhu však znamená, že systém je univerzálne použiteľný na výučbu ľubovoľných predmetov technického zamerania. Riešenie je postavené na open source platforme, čo podčiarkuje nízkonákladovosť daného systému. Technológie použité pri implementácii navrhnutého systému umožňujú využiť populárne a moderné nástroje informačných technológií na bežných mobilných zariadeniach bez nutnosti inštalácie špecializovaného hardvéru či softvéru. Jednotlivé objekty výučby sú pomocou frameworku A-Frame reprezentované virtuálnymi modelmi, ktoré sú pomocou technológie AR.js prenesené a zmiešané s reálnym obrazom reálneho technologického objektu. Využitá je technológia hybridných AR markerov, ktoré nesú informáciu o skúmanom objekte aj o jeho pozícii a orientácii vzhľadom na pozorovateľa. Výsledkom je teda interaktívna scéna založená na reálnom pohľade, ktorá poskytuje všetky potrebné informácie načítané z databázovej časti výučbového systému. Informácie sú navyše doplnené o reálnočasové procesné informácie z riadiacich prvkov procesnej úrovne vybraných subsystémov komplexnej výrobnej linky AFB Factory od firmy Festo Didactics. Používateľ – študent teda okamžite vidí nielen výsledok zmeny napríklad konfigurácie konkrétneho ovládacieho prvku, ale vo virtuálnej časti aj pohľad do zákulisia týchto zmien.

Pozitívom celého riešenia je nesporne spôsob licencovania využitých softvérových nástrojov formou GPL, ktorý minimalizuje vstupné náklady na projekt a tým robí výstupy projektu všeobecne dostupné aj pre iné oblasti v rámci spoločnosti. Podobné riešenie možno realizovať nielen v oblasti priemyselnej výroby (údržba, servis zariadení, kontrola kvality a pod.), ale určite nájde využitie aj v iných oblastiach v rámci spoločnosti, kde je priestor využiť rozšírenú realitu a identifikáciu predmetov v prostredí v reálnom čase (medicína, doprava, logistika).

V súčasnom stave však vyvinutý systém slúži predovšetkým ako učebná pomôcka v edukačnom procese a predstavuje jednu z ciest, ako priblížiť a prakticky ukázať študentom možnosti sprostredkovania informácií v moderných priemyselných štruktúrach.

Literatúra

[1] SCHUETTEL, P.: The concise fintech compendium. Fribourg: School of Management Fribourg 2017.

[2] STEUER, J.: Defining virtual reality: dimensions determining telepresence. Department of Communication, Stanford University, 15 October 1993.

[3] Introducing virtual environments national center for supercomputing applications. [online]. University of Illinois. Citované 1. 3. 2018. Dostupné na: http://archive.ncsa.illinois.edu/Cyberia/VETopLevels/VR.Overview.html.

[4] CHRYSSOLOURIS, G.: Manufacturing systems – theory and practice. New York: Springer-Verlag, 2006.

[5] NEE, A. Y. C. – ONG, S. K.: Virtual and augmented reality applications in manufacturing. In: IFAC Proceedings Volumes, 2013, Vol. 46, Iss. 9, pp. 15 – 26.

[6] NEE, A. Y. C. – ONG, S. K. – CHRYSSOLOURIS, G. – MOURTZIS, D.: Augmented reality applications in design and manufacturing. In: CIRP Annals, 2012, vol. 61, iss. 2, pp. 657 – 679.

[7] SEGOVIA, D. – MENDOZA, M. – MENDOZA, E. – GONZÁLEZ, E.: Augmented reality as a tool for production and quality monitoring. In: Procedia Computer Science, 2015, vol. 75, pp. 291 – 300.

[8] KOPČEK, M.: Embedded PLC webserver and possibilities of its utilization. In: Research papers Faculty of Materials Science and Technology Slovak University of Technology in Trnava, 2016, vol. 24, no. 39, pp. 33 – 42.

[9] WordPress. [online]. Citované 1. 3. 2018. Dostupné na: https://wordpress.com/.

[10] A-Frame – Make WebVR. [online]. Citované 1. 3. 2018. Dostupné na: https://aframe.io/.

[11] Efficient Augmented Reality for the Web. [online]. Citované 1. 3. 2018. Dostupné na: https://github.com/jeromeetienne/AR.js.

[12] QR Code scanner. [online]. Citované 1. 3. 2018. Dostupné na https://webqr.com/about.html.

[13] Real-time webcam-driven HTML5 QR code scanner. [online]. Citované 1. 3. 2018. Dostupné na: https://github.com/schmich/instascan.

  

Ing. Igor Halenár, PhD.
igor.halenar@stuba.sk

Ing. Bohuslava Juhásová, PhD.
bohuslava.juhasova@stuba.sk

Ing. Martin Juhás, PhD.
martin_juhas@stuba.sk

STU v Bratislave
MTF v Trnave
Ústav aplikovanej informatiky, automatizácie a mechatroniky
Pavilón T02, J. Bottu 25, 917 24 Trnava