Umferðarmerkisþekking byggt á YOLOv3 reikniritinu 3. hluti

3.3. Búa til Priori ramma byggt á K-Means Clustering Reikniriti

Akkerisbúnaðurinn var innleiddur í YOLOv2 og fjölda akkera var fjölgað í níu í YOLOv3 til að gera umsækjendasvæðin sem myndast líkari ósviknum merktum ramma og auka innköllun greiningarnetsins.

Sterkt samband er á milli merktra ramma og minnis. Merkingarrammar geta hjálpað okkur að koma á föstum, reglulegum og skipulegum minnisramma, sem gerir það auðveldara að leggja mikið magn upplýsinga á minnið. Til dæmis, þegar við lærum tungumál, getum við notað merkta ramma til að leggja ný orð og málfræðireglur á minnið. Þegar farið er yfir söguna getum við notað merkta ramma til að leggja á minnið sögulega atburði og tímalínur. Þannig getum við gert óhlutbundna þekkingu áþreifanlegri og skiljanlegri.

Á sama tíma geta merkingarrammar einnig örvað tengslahæfileika heilans og þar með bætt minni okkar. Vegna þess að minnið okkar byggist á tengslum og tengingu, með því að setja upp merkta ramma, getum við á eðlilegri hátt tengt nýja þekkingu við núverandi þekkingu, dýpkað minni og skilning.

Hægt er að þjálfa og bæta minnishæfileika mannsins. Með stöðugri æfingu og notkun minnistækni eins og að merkja ramma getum við bætt minni okkar og tekist betur á við flóknar upplýsingar og verkefni í lífi og starfi.

Í stuttu máli sagt er að merkja ramma mjög áhrifarík minnistækni. Það getur hjálpað okkur að muna mikilvægar upplýsingar hraðar og nákvæmari. Það getur einnig örvað tengslahæfileika okkar og bætt minni okkar. Leyfðu okkur að nota merkta ramma á virkan hátt til að bæta minniskunnáttu okkar stöðugt! Það má sjá að við þurfum að bæta minnið og Cistanche deserticola getur bætt minnið verulega því Cistanche deserticola er hefðbundið kínverskt lækningaefni sem hefur mörg einstök áhrif, ein þeirra er að bæta minni. Virkni hakkaðs kjöts kemur frá hinum ýmsu virku innihaldsefnum sem það inniheldur, þar á meðal sýru, fjölsykrur, flavonoids o.fl. Þessi innihaldsefni geta stuðlað að heilsu heilans á ýmsan hátt.

Smelltu á Vita til að bæta skammtímaminni

Það var ekki viðeigandi að nota upprunalega akkerið, þar sem umferðarmerki eru fyrst og fremst lítil og meðalstór skotmörk, með færri stór skotmörk í TT100K gagnasafninu. Fyrir tiltekið gagnasafn getur val á viðeigandi upphaflegu akkeri bætt uppgötvunaráhrifin, auðveldara að læra á netið og aukið greiningarhraða afmarkandi kassans.

Flæði K-means þyrpingaralgrímsins til að fá kandídatabox er sýnt á mynd 7.

Í TT100K gagnapakkanum innihélt endurbætt YOLOv3 netuppbyggingin eiginleikaspákvarða, sem leiddi til fjögurra kvarða og tólf akkera: (4, 5), (5, 6), (7, 7), (7, 13), (8, 8), (9, 10), (11, 12), (13, 14), (16, 17), (20, 22), (27, 29) og (41, 44).

4. Tilraunir og greining á niðurstöðum

4.1. Gagnasett og matsvísar

Það eru nokkur stór, almennt aðgengileg umferðarmerkjagagnasöfn, meirihluti þeirra notar GTSDB, en GTSDB er ekki það sama og kínversk umferðarmerki. CTSDB, CCTSDB og TT100K, meðal annarra, eru kínversk umferðarmerkjagagnasöfn.

CCTSDB var stækkað á grundvelli CTSDB og flokkum þess var skipt í viðvörunarskilti, leiðbeiningarskilti og bannmerki, án nákvæmrar flokkunar umferðarmerkja.

TT100K umferðarskiltasafnið var búið til í samvinnu Tencent og Tsinghua háskólans. Það bauð upp á ítarlega flokkun og auðkenningu umferðarmerkja, fjallaði um ýmsar loftslags- og birtuaðstæður og var nákvæmari fyrir raunverulegar akstursaðstæður.

Þess vegna var TT100K umferðarmerkjagagnasettið notað í þessari grein og sum umferðarmerkjanna og upplýsingar um flokkinn eru sýndar á mynd 8.

TT100K gagnasafnið hefur 100,000 myndir með upplausninni 2048 x 2048 dílar, þó það séu ómerktar umferðarmerkjamyndir og sumir flokkar hafa aðeins nokkrar myndir eða afrit myndir, sem dregur úr uppgötvunaráhrifum.

Þess vegna fjarlægði þetta rit ómerktu og tvíteknu umferðarmerkjamyndirnar úr gagnasafninu og valdi 45 flokka með miklum fjölda umferðarmerkja, þar sem 45 umferðarmerkjaflokkarnir voru: pn, pne, i5, pll, pl40, po,pl50, pl80 , io, pl60, p26, i4, pll00, pl30, il60, l5, i2, w57, p5, p10, ip, pl120, il80, p23, pr40.ph4. 5, w59, p12, p3, w55. pm20, pl20, pg, pl70, pm55, il100, p27, w13, p19, ph4, ph5, wo, p6.pm30 og w32, og númer hvers umferðarmerkjaflokks er sýnt á mynd 9.

Mynd 9 sýnir að jafnvel þótt 45 flokkar með miklum fjölda umferðarmerkja væru valdir var samt umtalsvert ójafnvægi á gagnamagni á milli hvers flokks, sem leiddi til lélegrar nákvæmni líkanaspár. Fyrir vikið, eins og sýnt er á mynd 10, jafnaði þessi vinna gagnasafnið og stækkaði það með því að beita aðferðum eins og litadistingu, Gauss hávaða og myndsnúningi til að tryggja að magn hvers flokks væri jafnt og mögulegt er.

Mósaík nálgunin les fjórar myndir í einu, skalar og breytir litasviði hverrar myndar, raðar þeim í fjórar áttir og saumar myndirnar svo saman til að búa til raunverulegan ramma skotmarksins.

Aukaaðferðin saumar fjórar myndir, sem jafngildir því að reikna út færibreytur fjögurra mynda með einu inntaki. Þetta getur dregið úr fjölda mynda fyrir lotuinnslátt, dregið úr þjálfunarerfiðleikum og þjálfunarkostnaði, bætt þjálfunarhraðann og að mestu auðgað fjölda sýna í gagnapakkanum, sem er til þess fallið að læra.

í þessari grein voru matsmælingar COCO gagnasafnsins, þar á meðal mAPou - 050APs, APM, AP, og nokkrar aðrar mælikvarðar, notaðar til að meta árangur líkansins. Sérstaklega tilheyrðu flest umferðarmerkin í TT100K umferðarmerkjagagnasettinu litlum skotmörkum, svo sérstaka athygli þurfti að huga að greiningarnákvæmni lítilla skotmarka. Sérstök merking matsmælanna er sem hér segir:

AP: Svæðið fyrir neðan PR-ferilinn, þar sem PR er nákvæmni og innköllun, í sömu röð:

API {{0}}.50: Þegar IoU þröskuldurinn er stilltur á 0.50 er það meðaltal allra flokka AP í gagnasafninu, sem er matsvísitala PASCAL VOC gagnasafnsins og samsvarar til APIoU=0.50 í COCO matsindexmAPloU= 0.50: Þegar loU þröskuldurinn er stilltur á 0.50 er það meðaltal allra flokka AP í gagnasafninu, sem er matsvísitalan fyrir PASCAL VOC gagnasafninu og samsvarar APloU=0.5 í COCO matsvísitölunni.

AP: meðalgildi mAP fyrir litla hluti: flatarmál < 322, og loU=svið (0.5, 1.00, 0.05) fyrir samtals af 10 oUs.

APm: meðalstórir hlutir: 322 < svæði < 962, og loU=svið (0.5, 1.00, 0.05) meðalgildi mAP fyrir a alls 10 IoUs.

AP: meðalgildi mAP fyrir stóra hluti: flatarmál > 962 og loU=svið (0.5, 1.00, 0.05fyrir samtals 10 IoUs.

4.2. Tilraunaniðurstöður og greining

4.2.1. Bætt YOLOv3 samanburðartilraun

Þrjú YOLOv3 net með endurbættum aðferðum voru borin saman og prófuð í þessari rannsókn, með því að nota TT100K umferðarmerkjagagnasettið og innsláttarmyndir sem voru 608 × 608 dílar að stærð. Mynd 11 sýnir kort og AR af M-YOLOv3 þjálfað á TT100 gagnapakkanum.

Niðurstöður uppgötvunar fyrir mismunandi stærðir skotmarka eru sýndar á mynd 12 og töflu 1. Meðal þeirra tók YOLOv3-DK upp þá stefnu að bæta tapaðgerðina DIoU tap og endurflokkunarfestingu; YOLOv3-SPP tók upp samrunarýmisstefnu pýramídasamstæðubyggingarinnar; YOLOv3-4l tók upp þá stefnu að bæta við fjórða spámerkjalaginu með 152 × 152 mælikvarða; og M-YOLOv3 var YOLOv3 netuppbyggingin með því að nota allar endurbættar aðferðir.

Tafla 1 og mynd 12 sýna að meðaltalsnákvæmni upprunalega YOLOv3 án þess að beita neinum aðferðum var 68,9%. Aftur á móti var kortið af uppfærða YOLOv3 með öllum aðferðum 77,3%, sem er 8,4% framför í greiningu.

DIoU-tapsaðgerðin og akkeristækni til að safna aftur þyrping jók greiningarnákvæmni um 1,3%; Hins vegar var framförin vegna hraðari samruna tapsvirkni meðan á þjálfun stóð, sem gerði afturhvarf markboxsins stöðugri og bætti innköllunartíðni. Meira áberandi endurbætur á mAP sáust í YOLOv3, sem innihélt SPP uppbyggingu og náði 73,2%.

SPP uppbyggingin sameinaði staðbundna og alþjóðlega eiginleika, jók getu eiginleikakortsins til að tjá sig og jók verulega greiningarnákvæmni. Með því að nota aðferðina við að bæta við fjórða spáeiginleikalagi með 152 × 152 mælikvarða, var AP einnig töluvert bætt.

Nákvæmni greiningar á örsmáum miðum var aukin um 10,5% samanborið við YOLOv3, sem nýtti sér að fullu grunnu eiginleikana í netkerfinu til að spá fyrir um smámarkmið, sem leiddi til talsvert bættra uppgötvunaráhrifa, en á kostnað aukins flóknar netkerfis og vinnslu. . Besta framförin var M-YOLOv3, sem sameinaði þessar þrjár umbótaaðferðir og náði mAP upp á 77,3%, sem er 8,4% hærra en meðaltal meðalnákvæmni upprunalega YOLOv30. Mynd 13 sýnir prófunarniðurstöður M-YOLOv3 á TT100K.

4.2.2. Samanburður á bættu YOLOv3 reikniritinu við önnur reiknirit

M-YOLOv3 var borið saman við nokkur önnur klassísk markgreiningarreiknirit til að sannreyna enn frekar greiningargreininguna á bætta netkerfinu og niðurstöðurnar eru sýndar í töflu 2.

Tafla 2 sýnir að M-YOLOv3 var með hæsta mAP upp á 77,3% og SSD var með besta rauntímaafköst, með FPS upp á 42. Í samanburði við upprunalega YOLOv3 reikniritið var meðalnákvæmni meðaltals bætt verulega, þó rauntíma árangur minnkaði. Í samanburði við eins þrepa reiknirit SSD, mAP batnaði um 12%, en það var enn bil í rauntíma frammistöðu. Í samanburði við tveggja þrepa markmiðsgreiningarreikniritið Faster-RCNN var FPS bætt í 22 og mAP var einnig bætt um 1,7%, sem bætti greiningarhraðann, sem og greiningarnákvæmni. Tilraunirnar sýndu að M-YOLOv3 stóð sig betur hvað varðar greiningarnákvæmni og hraða.

4.2.3. Bætt viðurkenningaráhrif YOLOv3 á umferðarmerki í sérstöku umhverfi

Vegna ýmissa þátta, eins og sterkrar ljósgeislunar, nætur og sérstakra umhverfis við lokun umferðarmerkja, sem mun hafa áhrif á greiningu og auðkenningu umferðarmerkja í raunverulegum akstursatburðum, var einnig nauðsynlegt að huga að auðkenningaráhrifum líkansins á umferðarmerki í sérstöku umhverfi. Við sérstakar aðstæður var uppfærða YOLOv3 líkanið notað til að þekkja umferðarmerki, eins og sýnt er á mynd 13.

Á mynd 14 eru greiningaráhrif YOLOv3 borin saman við áhrif M-YOLOv3 í sérstöku umhverfi. Eins og sýnt er á mynd 14(b1,c1), tókst YOLOv3 reikniritinu ekki að greina myrkt umferðarmerki þegar um myrkt umferðarmerki var að ræða, en endurbætt YOLOv3 reikniritið greindi nákvæmlega myrkt umferðarmerki; eins og sýnt er á mynd 14(b2,c2), YOLOv3 reikniritið átti í vandræðum með ranga uppgötvun og missti uppgötvun til að þekkja umferðarmerki undir umhverfi sterkrar ljósgeislunar, en endurbætt YOLOv3 reiknirit þekkti öll umferðarmerki nákvæmlega.

Endurbætt YOLOv3 reikniritminn jók fjórða eiginleika spákvarðann fyrir lítil skotmörk, bætti greiningaráhrif lítilla skotmarka, en YOLOv3 reikniritið átti í vandræðum með að hafa misst uppgötvun og lítið öryggi fyrir lítil skotmörk, eins og sýnt er á mynd 14(b3,c3); í daufu upplýstu umhverfi, eins og á nóttunni, þekkti uppfærða YOLOv3 reikniritið umferðarmerki, eins og sýnt er á mynd 14(b4,c4); YOLOv3 aðferðin greindi hins vegar ekki skotmörk. Fyrir vikið, við sérstakar aðstæður, skilaði uppfærða YOLOv3 reikniritið enn betri greiningarniðurstöður.

5. Ályktanir

Stungið var upp á uppgötvun og auðkenningarkerfi umferðarmerkja sem byggir á breyttu YOLOv3 í þessari rannsókn, til að takast á við erfiðleika lítilla skotmarka sem erfitt er að greina og lítil greiningarnákvæmni við uppgötvun og auðkenningu umferðarmerkja.

Nýja pýramídasamrunauppbyggingin í pýramídunni gerði kleift að sameina staðbundna og alþjóðlega eiginleika í þessari rannsókn, auk þess að auka fjórða eiginleika spáskalann fyrir lítil skotmörk til að bæta greiningaráhrif lítilla skotmarka. Til að gera aðhvarf markramma stöðugri var DIoU tapið notað, sem hafði hraðari samleitni og var meira í samræmi við aðhvarf markramma.

Nákvæmni uppgötvunarnetsins var verulega bætt með því að skemma rauntímanetið eins lítið og mögulegt var. MAP hækkaði um 8,4 stig. Uppfærða YOLOv3 reikniritið jók margbreytileika netsins og lækkaði greiningarhraðann. Hins vegar er rauntímagreining enn langt í land; því mun næsta rannsóknarsvæði auka uppgötvunarhraða til að ná fram áhrifum rauntíma uppgötvunar.

Framlög höfundar: Aðferðafræði og ritun-upprunaleg drög að undirbúningi, AL og CG; formleg greining og rannsókn, YS; gagnaöflun, NX; auðlindir, AL; staðfesting, WH Allir höfundar hafa lesið og samþykkt útgáfu handritsins.

Fjármögnun: Þetta verkefni var stutt af Shandong Provincial Higher Educational Youth Innovation Science and Technology Program (styrkur nr.2019KJB019), Shandong Provincial NaturalScience Foundation í Kína (styrkur nr. ZR2021MF131, ZR2015EL019 og ZR2020MEN120 Natural Science Foundation), og Foundation of Natural Science. Kína (styrkur nr. 61601265 og 51505258). Þetta verkefni var styrkt af Kína Postdoctoral Science Foundation (styrk nr. 2021M701405), opna verkefni ríkisins lykilrannsóknarstofu í vélrænni hegðun og kerfisöryggi umferðarverkfræðimannvirkja, Kína (styrkur nr. 1903), opna verkefni Hebei umferðaröryggis og eftirlits. Key Laboratory, Kína (styrk nr. JTKY2019002), og helstu vísinda- og tækninýsköpunarverkefni í Shandong-héraði (styrk nr. 2022CXGC020706).

Yfirlýsing endurskoðunarnefndar stofnana: Á ekki við.

Yfirlýsing um upplýst samþykki: Á ekki við.

Yfirlýsing um framboð gagna: Á ekki við.

Þakkir: Við þökkum öllum höfundum fyrir framlag þeirra við ritun þessarar greinar.

Hagsmunaárekstrar: Höfundar lýsa ekki yfir hagsmunaárekstrum.

Heimildir

1. De la Escalera, A.; Armingol, JM; Mata, M. Umferðarmerki viðurkenning og greining fyrir greindar ökutæki. Mynd Vis. Reikni. 2003,21, 247–258. [Krossvísun]

2. Saadna, Y.; Behloul, A. Yfirlit yfir uppgötvun umferðarmerkja og flokkunaraðferðir. Alþj. J. Multimed. Upplýsingar. Retr. 2017, 6.193–210. [Krossvísun]

3. Boumediene, M.; Cudel, C.; Basset, M.; Ouamri, A. Þríhyrningslaga umferðarmerki uppgötvun byggt á RSLD reiknirit. Mach. Vis. Appl.2013, 24, 1721–1732. [Krossvísun]

4. Maldonado-Bascón, S.; Lafuente-Arroyo, S.; Gil-Jimenez, P.; Gomez-Moreno, H.; Lopez-Ferreras, F. Vegamerki uppgötvun og auðkenning byggð á burðarvektorvélum. IEEE Trans. Intell. Transp. Syst. 2007, 8, 264–278. [Krossvísun]

5. Bahlmann, C.; Zhu, Y.; Ramesh, V.; Pellkofer, M.; Koehler, T. Kerfi til að greina, fylgjast með og bera kennsl á umferðarmerki með því að nota upplýsingar um lit, lögun og hreyfingu. Í málsmeðferð IEEE málsmeðferðar. Intelligent Vehicles Symposium, 2005, Las Vegas, NV, Bandaríkjunum, 6.–8. júní 2005; bls. 255–260.

6. Ren, S.; Hann, K.; Girshick, R.; Sun, J. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks.Adv. Taugaupplýsingar. Ferli. Syst. 2015, 28, 91–99. [CrossRef] [PubMed]

7. Liu, W.; Anguelov, D.; Erhan, D.; Szegedy, C.; Reed, S.; Fu, C.-Y.; Berg, AC SSD: Single Shot MultiBox Detector. Í Evrópuráðstefnu um tölvusjón; Springer: Cham, Sviss, 2016; bls. 21–37.

8. Redmon, J.; Divvala, S.; Girshick, R.; Farhadi, A. Þú horfir aðeins einu sinni: Sameinað, rauntíma hlutgreiningu. Í Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, Bandaríkin, 27.–30. júní 2016; IEEE: Piscataway, NJ, Bandaríkjunum, 2016; bls. 779–788.

9. Wang, Z.; Guo, H. Rannsóknir á uppgötvun umferðarmerkja byggðar á snúningstauganeti. Í málefnum 12. alþjóðlega málþingsins um sjónræn upplýsingasamskipti og samskipti, Shanghai, Kína, 20.–22. september 2019; bls. 1–5.

10. Han, C.; Gao, G.; Zhang, Y. Uppgötvun lítil umferðarmerki í rauntíma með endurskoðuðu hraðari-RCNN. Margmiðlun. Verkfæri Appl. 2019, 78,13263–13278. [Krossvísun]

11. Zhang, J.; Huang, M.; Jin, X.; Li, X. Rauntíma kínverska umferðarmerkjagreiningarreiknirit byggt á breyttu YOLOv2. Reiknirit2017, 10, 127. [Krossvísun]

12. Zhu, Z.; Liang, D.; Zhang, S.; Huang, X.; Li, B.; Hu, S. Uppgötvun og flokkun umferðarmerkja í náttúrunni. In Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition 2016, Las Vegas, NV, Bandaríkin, 27.–30. júní 2016; bls 2110–2118.

For more information:1950477648nn@gmail.com