Číslicové spracovanie obrazu v systémoch sledovania prekročenia jazdného pruhu (1)

Obr. 1 Princíp práce systémov ADAS

V mnohých aplikáciách je využité spracovanie obrazovej informácie získanej z prostredia okolo vozidla. Na kontrolu vybočenia vozidla z jazdného pruhu sa používajú systémy sledovania neúmyselného opustenia jazdného pruhu. Možné riešenie na nájdenie horizontálneho dopravného značenia je využitie segmentačných metód na hľadanie čiar v jednotlivých snímkach zosnímanej dopravnej scény na vozovke. Aby sa urýchlilo spracovanie a zmenšil objem spracúvaných dát, treba hľadať spôsoby na zefektívnenie činnosti algoritmu detekcie čiary, ktoré opisujeme v predkladanom príspevku. V praktickej realizácii sa zo zaznamenaných obrazových dát vo forme videozáznamu po aplikovaní Houghovej transformácie nájde vodorovné dopravné značenie a z polohy pozície vozidla a čiary je možná následná detekcia prekročenia čiary.

Za úlohu inteligentných dopravných systémov (IDS) môžeme považovať: znižovanie dopravnej nehodovosti, zmierňovanie výskytu kongescií, ochranu životného prostredia, výkonnosť a efektívnosť prevádzky a faktory komfortnej jazdy. IDS umožňujú vďaka vývoju výkonnejších procesorov, komunikačných techník a rôznych typov senzorov v dopravných prostriedkoch zaviesť viac riadiacich, monitorovacích a bezpečnostných funkcií a tiež funkcií infotainmentu. Zvyšujú tak pohodlie vodiča, ale predovšetkým sa snažia minimalizovať dôsledky dopravných nehôd, prípadne im predchádzať [1]. Tieto typy systémov sú známe aj pod pojmami antikolízne, asistenčné či precrash systémy alebo systémy včasného varovania.

Systémy pasívnej a aktívnej bezpečnosti obsahujú technické prostriedky, ktoré aktívne pomáhajú zabrániť vzniku dopravnej nehody alebo umožňujú zmierniť jej dôsledky. Mnoho automobiliek vyvíja vlastné systémy na ochranu pasažierov, ale aj automobilov ako majetku a tie môžu byť k dispozícii ako štandardné vybavenie alebo voliteľné zariadenie.

ISO 14813-1: 2015 [2] poskytuje opis základných služieb, ktoré môže implementácia IDS poskytnúť používateľom inteligentných dopravných systémov. Tieto služby so spoločným účelom sa môžu zhromažďovať v doménach služieb IDS a v rámci nich môže existovať niekoľko skupín služieb pre určité časti domény. Súčasťou normy ISO je vyčlenená skupina služieb zameraná na vozidlo. Tá je zameraná na špecifické služby, ktoré zlepšujú bezpečnosť prevádzky vozidla. Existujú služby, ktoré používajú externé informácie, ako aj služby, ktoré používajú informácie len o vozidle. Ide o nasledujúce typy služieb:

• Zlepšovanie rozhľadu – vyžaduje zabezpečenie tých technológií vo vozidle, ktoré sledujú správanie vodiča v reálnom čase.
    
• Automatizácia procesu jazdy – služby poskytujúce úplnú automatizáciu procesu riadenia vozidla, t. j.:
  a) automatické udržiavanie vozidla v jazdnom pruhu,
  b) automatické zaparkovanie,
  c) automatická jazda v kolóne,
  d) automatické riadenie pri nízkej cestovnej rýchlosti.

• Zabránenie kolíziám – skupina služieb určených na detekciu potenciálnej kolízie. Zahŕňa používanie senzorov a riadiacich systémov na detekciu možnej kolízie a vyvolanie okamžitej reakcie vodiča alebo automatické iniciovanie manévru vyhýbania:
  a) vyhýbanie sa pozdĺžnym kolíziám,
  b) vyhýbanie sa priečnym kolíziám,
  c) vyhýbanie sa kolíziám na križovatkách.

• Pohotovostná bezpečnosť – využíva sa v monitorovacích a výstražných systémoch pri výskyte nebezpečných situácií. Používa technológie určujúce rýchlosť, hmotnosť, smer vozidla a prítomnosť objektov, ktoré môžu vyvolať kolíziu atď.:
  a) sledovanie bdelosti vodiča,
  b) sledovanie teploty motora,
  c) sledovanie stavu vozovky, počasia, viditeľnosti atď.

• Opatrenia pred haváriou – služby určujúce fyzikálne parametre (rýchlosť, hmotnosť a smer vozidla). Využitie týchto údajov určuje reakciu nasledujúcich prvkov:
  a) aktivácia airbagov,
  b) nasadenie bočných systémov ochrany,
  c) uťahovanie pásov a pod.

Pokročilé asistenčné systémy používané v automobilovom priemysle

Služby spomínané v úvode príspevku zaraďujeme k službám pokročilých asistenčných systémov vodiča (Advanced Driver Assistance System – ADAS). ADAS používajú na zber fyzických údajov o vozidle a jeho okolí rôzne typy snímačov (obr. 1). Objekty, ako napríklad blízke vozidlá, značenie jazdných pruhov, dopravné značky či prekážky na cestách, sú zachytené rôznymi typmi snímačov prostredia.

Tieto elektronické systémy pomáhajú vodičovi pri jazde a sú určené na zvýšenie bezpečnosti automobilov na cestách. Sú navrhnuté s rozhraním človek – stroj (Human Machine Interface – HMI) a poskytujú mu dôležité informácie o okolí vozidla a prevádzkových podmienkach okolitých vozidiel tak, aby ho upozornili na nebezpečenstvo čo najskôr a redukovali zaťaženie vodiča.

ADAS môžu byť obvykle rozdelené do nasledujúcich kategórií [3]:

• Aktívna bezpečnosť – pomáhajú vodičovi vyhnúť sa zrážke prostredníctvom predbežného varovania alebo poskytovaním podpory pri riadení, napr. systémy HUD (Head-up display), ABS (protiblokovací brzdový systém), ESC (elektronická kontrola stability), TPMS (systém monitorovania tlaku v pneumatikách), LDWS (systém sledovania prekročenia jazdného pruhu).
• Pasívna bezpečnosť – pomáhajú znížiť následky nehody (znižovanie škôd a zranení), napr. pomocou airbagov, bezpečnostných pásov či systémov ochrany pred poranením (Whiplash Protection System – WHIPS).

Aplikácie ADAS používajú rôzne typy senzorov na zber údajov o vozidle a jeho okolí. Patria k nim napr. ultrasonické senzory, RADAR-y [4], [5], LIDAR-y [6], IR senzory [7], senzory GPS (ktoré môžu napríklad detegovať pevné nebezpečenstvá, ako sú blížiace sa značky cez databázu ich umiestnenia) a kamerové senzory, ktoré sú obvykle umiestňované na vhodných miestach v automobile ako sú spätné zrkadlá alebo čelné sklo. Dôležitou skupinou snímačov sú kamerové systémy. Rôzne typy snímačov a ich prípadná fúzia umožňujú realizáciu funkcií ako adaptívny tempomat (Adaptive Cruise Control – ACC), núdzový brzdový asistent (Emergency Brake Assist – EBA), systém varovania pred opustením jazdného pruhu (Lane Detection – LDW), rozpoznávanie dopravných značiek, detekcia chodcov atď.

Moderné systémy ADAS pôsobia v reálnom čase prostredníctvom výstrah pre vodiča alebo ovládaním riadiacich systémov a sú predchodcami vozidiel budúcnosti. V súčasnosti má každé vozidlo v priemere 60 – 100 snímačov. Vzhľadom na to, že automobily sú čoraz inteligentnejšie, predpokladá sa, že počet snímačov dosiahne až 200 snímačov na jedno vozidlo. Tieto čísla predstavujú približne 22 miliárd senzorov použitých v automobilovom priemysle ročne do roku 2020 [8].

Dnešné kamerové senzory používajú obrazové senzory na báze CMOS-HD s 1-2 Mpx. Vývoj kamerových systémov vedie k tomu, že z centralizovanej architektúry spracovania obrazovej informácie z viacerých kamier v centrálnej riadiacej jednotke (ECU) sa prejde na distribúciu spracovania obrazu priamo do inteligentných kamier. V prvej fáze (v rámci inteligentnej kamery) sa obraz spracuje a vykonajú sa geometrické transformácie, ako je napríklad EQ rybie oko, kompresia obrazu, spracovanie a streamovanie.

V centralizovanom spôsobe spracovania je prvým krokom zber údajov, druhá fáza je predspracovanie a tretia etapa je samotné spracovanie. Počas fázy predspracovania sa na celý nasnímaný obraz aplikujú rôzne funkcie vylepšenia vlastností ako redukcia šumu, konverzia farieb a pod. Po fáze spracovania sa vykonávajú rôzne funkcie, ako je rozpoznanie a interpretácia obrazového prostredia.

Systémy sledovania prekročenia jazdného pruhu (LDWS)

LDWS (Lane Departure Warning Systems) sú elektronické systémy umiestnené vo vozidle, založené na technológii strojového videnia, ktoré sledujú polohu vozidla v jazdnom pruhu a upozornia vodiča, ak sa vozidlo odchýli alebo sa chystá odkloniť mimo dráhy [9]. V niektorých zdrojoch sa možno stretnúť aj s označením LCW (Lane Change Warning), LDA (Lane Departure Assistent), LA (Lane Assist), LS (Lane Sense) a pod. Tento systém je obzvlášť účinný v situáciách, keď je cesta stále rovná a vodiči majú tendenciu nevenovať dostatočnú pozornosť vozovke. Upozornenie sa spustí ak nie sú aktivované smerové svetlá pri zmene jazdného pruhu.

Existujú dva hlavné typy systémov na varovanie pred neúmyselným vybočením z jazdného pruhu:

• Systémy LDWS, ktoré varujú vodiča pri vybočení z jazdného pruhu pomocou vizuálneho (na displeji), akustického (zvukový signál sa šíri z reproduktora na zodpovedajúcej strane) a/alebo haptického upozornenia (stimulujúceho ľudské zmysly najčastejšie vo forme vibrácie sedadla alebo príslušnej strany volantu).
• Systémy LKS (Lane Keeping System), ktoré varujú vodiča a ak vodič neprijal žiadne opatrenia, automaticky sa podniknú kroky v podobe zásahu do riadenia vozidla (automatické brzdenie alebo vychýlenie volantu) na zachovanie polohy vozidla v jazdnom pruhu.

Poznáme niekoľko rôznych prístupov, ktoré sa postupne vyvíjali s cieľom detegovať čiaru. Detekcia čiary je najdôležitejšou etapou. Jedna skupina prístupov je výsledkom bádania základného, teoreticky orientovaného výskumu na univerzitách a vo výskumných ústavoch. Paralelne s týmito aktivitami prebieha aplikovaný výskum vedený automobilovými spoločnosťami, ktoré v mnohých prípadoch vyvíjajú vlastné systémy často so svojím firemným označením a vzhľadom na konkurenciu sú mnohé detaily v týchto riešeniach verejnosti nedostupné.

Prehľad vedeckých prístupov k detekcii čiary v akademickej oblasti

Prístupy k LDWS v akademickej rovine vychádzajú z ich historického vývoja a zahŕňajú aj prístupy založené na hľadaní cesty a čiar na ceste. Uveďme niektoré dôležité medzníky v tejto oblasti a ich predstaviteľov:

• Dickmanns a Mysliwetz (1992) vykonali pomocou štyroch mikroprocesorov Intel 80286 a jedného mikroprocesora 20386 odhad deviatich parametrov cesty v skúšobnom vozidle VaMoRs [10].
• Leblanc a kolektív (1995) na univerzite v Michigane vytvorili systém CAPC – podporný palubný varovný systém v prototype vozidla Ford Taurus pre vodičov na diaľniciach. Systém upozorňoval vodiča na nebezpečenstvo zídenia z cesty a pracoval pomocou CCD kamery. Obraz spracúval 100 m pred automobilom a pri spracovaní bol delený na dve časti (región obloha a región cesta), pričom detekcia čiar sa vykonávala iba v regióne cesty. Pomocou dvoch dvojrozmerných frekvenčných Kalmanových filtrov sa uskutočňovala aktualizácia parametrov modelu na predikciu stavu vozidla na vozovke a zobrazenie geometrie cesty [11].
• Bertozzi a Broggi (1998) predložili systém GOLD, ktorý používal stereovíziu; pomocou geometrických transformácií odstránili zo snímok efekt perspektívy a detegovali značenie jazdných pruhov [17]. V tejto línii pokračovali aj ďalšie práce, ktoré sa zoberali sterovíziou [12], [13], [14].
• Kreucher a Laksman (1999) vytvorili systém detekcie čiar, ktorý extrahoval značenie čiar z frekvenčnej oblasti zosnímanej kamerou pomocou multidimenzionálnej Fourierovej transformácie a Bayesovho algoritmu [15]; využitiu baeysovských sietí sa venovali aj Kawasaki a Kiencke [16].
• Risack a kol. (2000) používali počítačové videnie na detekciu prekročenia hranice čiary pomocou jej porovnávania s geometrickým vzorom na ceste a následne odhadovali čas prechodu za čiaru [18].
• Sotelo a jeho kolegovia (2004) použili parabolické modely na zisťovanie hraníc jazdného pruhu vo farebných videosekvenciách [19].
• Kaszubiak a kolektív (2005) použili dve CMOS kamery na meranie rozdielov a detegovali pozíciu čiary pomocou Houghovej transformácie. Algoritmus bol realizovaný pomocou FPGA [20].
• Wu a kolektív (2006) vytvorili adaptívny systém LDW pracujúci na frekvencii procesora 600 MHz tým, že zachytávali značenie jazdných pruhov a použitím kvadratických rovníc odhadovali model vybočenia z jazdného pruhu. Algoritmus bol testovaný na Taiwane [21].
• Yeh a Chen (2007) vyvinuli mobilný systém detekcie čiary pracujúci v reálnom čase na procesore PXA255 [22].
• Pankiewicz a kolektív (2008) použili jednoduchý Cannyho detektor a Houghovu transformáciu na hľadanie hranice a aplikovali ho na FPGA [23].
• Kim a kolektív (2011) opísali hľadanie vodorovného dopravného značenia na ceste pomocou úbežníka (tzv. Vanishing point) [24].
• Nieto a kolektív (2011) vytvorili model cesty pomocou rekurzívnej bayesovskej segmentácie [25].
• Vo francúzskych inštitútoch Ecole des Mines de Paris, Centre de Morphologie, Mathématique Fontainebleau a Ecole des Mines de Paris, Centre de CAO-Robotique, Paris, sa na detekciu jazdného pruhu použili morfologické operácie uzavretia v kombinácii so segmentáciou na základe jasových úrovní [26].
• Na madridskej University of Alcala, Department of Electronic, Alcala de Henares, sa na hľadanie jazdného pruhu použil Kalmanov filter na riadky obrazu. Výsledok sa porovnával s modelom cesty, ktorá je zobrazená perspektívne [27].
• Na pracovisku Department of Computer Science, Faculty of Engineering, Kumamoto University, použili na rozpoznávanie cesty model, kde cesta tvorila vodorovnú rovinu a po segmentácii sa hľadalo dopravné značenie a okraje cesty [28].
• Na pekingskej Tsinghua University sa využívalo snímanie scény prostredníctvom kužeľového zrkadla a cesta sa klasifikovala prostredníctvom trojvrstvovej neurónovej siete [29] a pod.

Prehľad LDWS vyvíjaných v automobilovom priemysle

Systém LDWS má všeobecne dve možné formy vyhotovenia. Prvou je systém plne integrovaný do vozidla priamo výrobcom. Toto riešenie garantuje vyššiu spoľahlivosť vzhľadom na jeho prepojenie s celou riadiacou jednotkou vozidla. Druhou formou je samostatné zariadenie, ktoré možno aplikovať ako dodatočné vybavenie vozidla, ktoré však nie je dostatočne kompaktné a celková funkčnosť závisí od správneho umiestnenia snímacej jednotky. Systém LDWS sa má spustiť pri zapnutí zapaľovania a vykonať autodiagnostiku, aby bolo možné ešte pred jazdou zistiť prípadnú nefunkčnosť zariadenia. Počas jazdy po dosiahnutí minimálnej rýchlosti na aktivovanie systému sa má systém aktivovať a indikovať, že je aktívny. Ak systém nie je schopný sledovať vodorovné dopravné značenie alebo má poruchu, má svoj stav indikovať vodičovi.

AALA – Audi Active Lane Assist
LA – Lane Assist (Lane Change Assist)
LDW – Lane Departure Warning
LDWS – Lane Departure Warning System
LS – Lane Sense
LDA – Lane Departure Alert (with steering assist)
ILI – Intelligent Lane Intervention
OLM – Oncoming Lane Mitigation
LKA – Lane Keeping Aid
LGS – Lane Guidance Systems

Tab. 1 Názvy niektorých produktových značiek systémov LDWS pre vybrané značky automobilov [38]

Literatúra

[1] EC initiatives eSafety (Mobility and Transport). [online]. Citované 20. augusta 2019. Dostupné na: https://ec.europa.eu/transport/road_safety/specialist/knowledge/esave/ec_initiatives_on_esafety_en.

[2] BUBENÍKOVÁ, E. – FRANEKOVÁ, M. – HOLEČKO, P.: Security increasing trends in Intelligent Transportation Systems utilizing modern image processing methods. In: 13th International Scientific Conference, October 23-25 2013, Katowice, Ustroń, Poland, Berlin Heidelberg: Springer-Verlag, 2013, pp. 353 – 360. (Communications in computer and information science, 239. ISSN1865-0929). Proceedings was published in an electronic version with ISBN 978-3-642-24660-9.) (Springer Verlag, WoS). ISBN 978-3-642-41646-0.

[3] ISO 17361: 2013, Intelligent transport systems – Lane departure warning systems – Performance requirements and test procedures.

[4] HOFMANN, U. – RIEDER, A. – DICKMANNS, E.: Radar vision data function for hybrid adaptive cruise control on highways. Machine Vision and Applications, 14(1): 42 – 49, 2003.

[5] WIDMANN, G. R. et al.: Comparison of LIDAR based and radar based adaptive cruise control systems. In: Society, 2000, 109 (Part7): 126 – 139.

[6] HUANG, A. S. et al.: Finding multiple lanes in urban road networks with vision and LIDAR. In: Autonomous Robots, 2009, 26 (2): 103 – 122.

[7] PIRNÍK, R. – HRUBOŠ, M. – NEMEC, D. – SVETLÍK, J. et al.: Integration of Inertial Sensor Data into Control of the Mobile platform, In: Advances in Intelligent Systems and Computing, 2016, pp. 271 – 282 (in English). ISBN 978-3-319-46534-0.

[8] Sensor Technologies for Intelligent Transportation Systems. [online]. Citované 30. augusta 2019: Dostupné na: https://www.ncbi.nlm.nih.gov/pubmed/29659524.

[9] ADAS: making cars safer to drive. [online]. Citované 30. augusta 2019. Dostupné na: https://www.eetimes.com/document.asp?doc_id=1271493#.

[10] DICKMANNS, E. D. – MYSLIWETZ, B. D.: Recursive 3-D road and relative ego-state recognition, Pattern Analysis and Machine Intelligence, 1992, vol. 14, no. 2, pp. 199 – 213.

[11] LeBLANC, D. J. et al: CAPC: A Road-Departure Prevention System. In: Control Systems Magazine, IEEE, 1996, vol. 16, no. 6, pp. 61 – 71.

[12] NEDEVSCHI, S. et al.: 3d lane detction system based on stereovision. In: Inteligent Transportation Systems. Proceedings. The 7th International IEEE Conference on, pp. 161 – 166, 2004.

[13] HUH, K. et al.: Development of vision-based lane detection system considering configuration aspects. Optics and lasers in engineerinh, 2005, 43(11): 1193 – 113.

[14] KOWSARI, T. – BEAUCHEMIN, SS. – CHO, J.: Real-time vehicle detection and tracking using stereo vision and multi-view adaboost. In: Inteligent Transportation Systems (ITSC), 2011 14th International IEEE Conference, 2011, pp. 1 255 – 1 260.

[15] KREUCHER, C. – LAKSHMANAN, l.: LAN a lane extraction algorithm that uses frequency domain features. In: Robotics and Automation, 1999, vol. 15, no. 2, pp. 343 – 350.

[16] KAWASAKI, N. – KIENCKE, U.: Standard paltform for sensor fucion on advanced driver assistance system using bayesian network. In.: Intelligent Vehicles Symposium, IEEE, 2004, pp. 250 – 255.

[17] BETOZZI, M. – BROGGI, A.: A parallel real-time stereo vision system for generic obstacle and lane detection. In: Image Processing, IEEE, 1998, p. 62 – 81.

[18] RISACK, R. – MOHLER, N. – ENKELMANN, W.: Video based lane keeping assistant. In: Proceedings of IEEE Intelligent Vehicles Symposium, Dearborn, M1, 2000, pp. 506 – 511.

[19] SOTELO, M. A. et col.: A color vision based lane tracking system for autonomous driving on umarked roads. In: Autonomous Robots, 2004, vol. 16, no. 1, pp. 95 – 116.

[20] KASZUBIAK, J. – TORNOW, M. – KUHN, R. W.: Real-time vehicle and lane detection with embedded hardware. In: Intelligent Vehicles Symposium, 2005, pp. 619 – 624.

[21] WU, B. F. – CHEN, Y. P. – CHUNG, M. W.: A DSP-based lane departure warning system. In: Mathematical Methods and Computational Techniques in Electrical Engineering, Proc. 8th WSEAS Int. Conf. Bucharest, 2006, pp. 240 – 245.

[22] YEH, C. H. – CHEN, Y. H.: Development of vision-based lane and vehicle detecting system on PXA255 embedded system. In: International Journal of Circuitss, Systems and Signal Processing, 2007, vol. I, no. 2, pp. 177 – 181.

[23] PANKIEWICZ, P. – POVIERTWIERTOWSKI, W. – ROSZAK, G.: VHDL implementation of the lane detection algorithm. In: Mixed of Integrated Circuits and Systems, 2008, MIXDES 2008, pp. 581 – 584.

[24] KIM, J. W. – KIM, T. H. – JO, K. H.: Traffic road line detection based on the vanishing point and contour information. In: Proceedings of SICE Annual Conference (SICE), 2011, pp. 495 – 498.

[25] NIETO, M. – LABORDA, J. A. – SALGADO, L.: Road environment model using robust perspective analysis and recursive Bayesian segmentation. In: Mach Vision Application, 2011, vol. 22, no. 6, pp. 927 – 945.

[26] YINGHUA, HE – HONG WANG – BO ZHANG: Color-Based Road Detection in Urban Traffic Scenes. In: IEEE Transactions on intelligent transportation systems, 2004, vol. 5, no. 4.

[27] SUCHITRA, S. – SATZODA, R. K. – SRIKANTHAN, T.: Detectionn and classification of arrow marking on roads using signed edge signatures. In: Intelignt Vehicle Symposium, Alcalá de Henares, pp. 796 – 801.

[28] TOMOKI, M. – HU, Z. – WANG, C. – UCHIMURA, K: High-speed lane detection for road geometry estimation and vehicle localization. In: SICE Annual Conference.

[29] ZHIGANG, Z. et al.: Fast road classification and orientation estimation using omni-view images and neural networks. IEEE Transactions on Image Processing, 7(8), 1182 – 1197.

[38] Project report PPR 374 Online: https://trl.co.uk/sites/default/files/PPR374.pdf

  
Ing. Emília Bubeníková, PhD.
Žilinská univerzita v Žiline
Fakulta elektrotechniky a informačných technológií
Katedra riadiacich a informačných systémov
Univerzitná 1
010 26 Žilina
Tel.: 0421 41 513 33 44
emilia.bubenikova@fel.uniza.sk