Dual Memory LSTM Með Dual Attention Neural Network Fyrir Spatiotemporal Prediction

Tengiliður:joanna.jia@wecistanche.com/ WhatsApp: 008618081934791

Ágrip

Spatiotemporal spá er krefjandi vegna þess að útdráttur framsetninga er óhagkvæm og skorts á ríkum samhengisháðum. Ný nálgun er lögð til fyrir spá um tímatíma með því að nota tvíþættaminniLSTM með tvöfalt athygli taugakerfi (DMANet). Ný LSTM (DMLSTM) eining með tvöföldu minni er lögð til til að draga fram framsetninguna með því að nýta mismunandi aðgerðir á myndunum í röð og taka upp tvöfaldaminniumskipti vélbúnaður. Til að nýta sögulegar framsetningar að fullu er tvískiptur athyglisbúnaður hannaður til að fanga langtíma tímabundin ósjálfstæði með því að reikna fylgnin milli núverandi falinna framsetninga og sögulegra falinna framsetninga frá tímalegum og staðbundnum víddum, í sömu röð. Síðan er tvíþætta athyglin felld inn í DMLSTM eininguna til að smíða DMANet, sem gerir líkaninu kleift með meiri líkanakrafti fyrir skammtíma gangverki og langtíma samhengisframsetningu. Sýndarviðnámskort (AR Map) gagnasafn er lagt til í þessari grein. B-spline innskotsaðferðin er notuð til að bæta AR kort gagnasafnið og gerir augljósa viðnámsþróunarferil samfellda afleiðu í tímavíddinni. Tilraunaniðurstöðurnar sýna að þróaða aðferðin hefur framúrskarandi spáframmistöðu í samanburði við sumar nýjustu aðferðir.

Lykilorð: spatiotemporal prediction; einvígiminniLSTM; tvöföld athygli; sögulegar framsetningar

1. Inngangur

Spatiotemporal forspá er að læra framsetningu á eftirlitslausan hátt úr ómerktum myndbandsgögnum og nota þau til að framkvæma spáverkefni, sem er dæmigert tölvusjónverkefni. Eins og er hefur tímatímaspánni verið beitt í sum verkefni með góðum árangri, svo sem framtíðarspá um staðsetningar hlutar [1,2], fráviksskynjun [3] og sjálfvirkan akstur [4]. Djúpnámslíkön taka stökk yfir hefðbundnar aðferðir vegna þess að þau hafa lært fullnægjandi framsetningu úr hávíddargögnum. Djúpnámsaðferðir passa fullkomlega inn í tímatímaspáverkefnið, sem gæti dregið út tímabundnar fylgnir úr myndbandsgögnum á sjálfstætt eftirlit. Hins vegar er spá um tímatíma enn krefjandi verkefni vegna vandamálsins við að draga fram framsetningu á óhagkvæman hátt og skorts á langtímafíkn. Til dæmis hefur Convolutional LSTM (ConvLSTM) [5] verið þróað til að draga frekar út tímabundna framsetningu en það hunsar staðbundna framsetningu. Sumar aðferðir [6,7] hafa náð nákvæmum spániðurstöðum, en þær valda framsetningustapi. Aðferðin við andstöðu hefur verið beitt í spáverkefnum [8,9]. Hins vegar eru þeir [8,9] verulega háðir óstöðugu þjálfunarferlinu.

1 School of Communication and Information Engineering, Shanghai University, Shanghai 200444, Kína

2 Key Laboratory of Advanced Display and System Application, Menntamálaráðuneytið, Shanghai 200072, Kína

Skáldsaga tvískipturminniLSTM með tvöföldu athygli tauganeti (DMANet) hefur verið lagt til fyrir tímatímaspá í þessari grein til að leysa nefnd vandamál. Tvöfalt minni LSTM (DMLSTM) eining byggð á ConvLSTM [5] hefur verið þróuð fyrir DMANet til að framkvæma spá um tímatíma. Það er hægt að beita því til að fá framsetningu á hreyfingu með því að greina aðliggjandi falin ástand eða hráar myndir á viðeigandi hátt. Að auki hefur það tvöfalt minnisskipulag til að geyma staðbundnar upplýsingar og tímaupplýsingar. Tvöfalt athygliskerfi er lagt til og fellt inn í DMLSTM eininguna til að draga fram langtímafíkn eiginleika frá tímalegum og staðbundnum víddum, í sömu röð, sem gerir þróaða líkaninu kleift að fanga lengri flókna hreyfivirkni myndbanda. Í samanburði við ofangreindar tímabundnar spár aðferðir eru helstu framlög þessarar greinar sem hér segir. Í fyrsta lagi hefur ný DMLSTM eining verið lögð til til að framkvæma útdráttarframsetningu, sem hægt er að beita fyrir tímatímaspá með því að nýta sér mismunaaðgerðir á myndunum í röð og taka upp tvíþætta mynd.minniumskipti vélbúnaður. Í öðru lagi er tvíþætt athygliskerfi þróað til að ná fram langtímasamskiptum ramma. Langtíma rammavíxlverkanir eru teknar með því að reikna út fylgnina á milli núverandi falinna framsetninga og sögulegra falinna framsetninga frá tíma- og staðvídd, í sömu röð. Að lokum er mikilvægt framlag að DMANet sameinar báða kosti. Slík byggingarlistarhönnun gerir líkaninu kleift með meiri líkanakrafti fyrir skammtíma gangverki og samhengismyndir til langs tíma. Fyrirhuguð aðferð er metin á sumum krefjandi gagnasöfnum með mismunandi aðferðum. Það nær framúrskarandi árangri í samanburði við sumar nýjustu aðferðir. Tilraunaniðurstöðurnar sýna að fyrirhuguð aðferð hefur framúrskarandi tímatímaspá.

cistanche bæturinnminni

Restin af þessari grein er skipulögð sem hér segir. Fjallað er um skylda vinnu í kafla 2. TvíþættiðminniLSTM með tvíþættri athyglisaðferð er lýst í kafla 3. Tilraunaniðurstöður og greiningar eru ræddar í kafla 4 og fylgt eftir með niðurstöðum í kafla 5.

2. Bókmenntarýni

Undanfarinn áratug hafa margar aðferðir verið lagðar til við spá um tímatíma. Endurtekið taugakerfi (RNN) [10] með lengri skammtímaminni(LSTM) [11] hefur í auknum mæli verið beitt við spáverkefni vegna getu þess til að læra framsetningu myndbandsraðar. Undanfarin ár hefur LSTM ramminn byggt á röð-til-röð líkani [12] verið lagaður að myndbandsspá. Samt sem áður er nákvæmni spár takmörkuð vegna þess að þessar rammaaðferðir [12] fanga aðeins tímabundnar breytingar. Til þess að draga frekar út myndbirtingar, kemur ConvLSTM [5] í stað fulltengdra aðgerða fyrir fallaðgerðir í endurteknum ástandsbreytingum. Lagt er til djúpnámsramma [13] til að endurbyggja þau gögn sem vantar til að auðvelda greiningu með tímabundnum röðum. Hins vegar mun það auka auka reiknikostnað og lækka spáhagkvæmni. Viðeigandi hliðar endurtekin eining er kynnt í [14], sem notar endurtekna sjálfvirka kóðara til að spá fyrir um næsta ramma í sumum tilfellum. Mörg framleiðsla og fjölvísitala um stýrt nám [15] aðferð með LSTM [11] er lögð til fyrir tímatíma spá, sem getur líkan langtíma gangverki. Í leit að því að draga úr hallahvarfi kynnir snúningsbundið LSTM framlengt um [6,7] sikksakk minnisflæði og halla hraðbrautareiningu (GHU). Uppfærð djúpnámsaðferð hefur verið notuð til að bæta spáhæfileika. Útgáfa af ASAP sem kallast „ASAP djúpkerfið“ er lögð til í [16]. Optísk flæðiskekkja og reiknirit til að búa til RGB pixla [17] hafa verið nýttar til að framkvæma tímatímaspá. Minni-í-minni net (MIM) er lagt til fyrir spáverkefnin í [18]. Munurinn á því frá ofangreindum endurteknum líkönum er að MIM [18] á við um mun á minnisbreytingum til að umbreyta tímabreytilegu margliðunni í fasta, sem gerir ákvarðanaþáttinn fyrirsjáanlegan. Hins vegar eru þessar aðferðir [14-18] enn krefjandi til að framkvæma langtímaspá þar sem óhóflegar hliðarbreytingar myndu valda tapi á framsetningum.

cistanche deserticola kostirinnminni

Til viðbótar við endurtekin líkön eru önnur líkön einnig notuð til að spá um tímatíma. Lagt er til endurskoðunarnet í [19], sem kynnir afturskoðunartap til að ýta afturskoðunarrammanum til að vera í samræmi við þá ramma sem skoðaðir hafa verið. Til að takast á við ójafnvægið í gögnunum er hverfishreinsunaralgrím þróað í [20]. Handahófskennt skógaralgrím dregur út bestu eiginleikana til að framkvæma spáverkefnið. Breytilegur sjálfkóðari er notaður til að draga út ólínulega kraftmikla eiginleika í [21]. Þetta líkan greinir fylgni milli breyta og tengsl sögulegra úrtaka og núverandi sýna. Víðtæk athygliseining og djúpsamsett einingin eru notuð í [22] til að draga út alþjóðlega lykileiginleika og staðbundna lykileiginleika. Hins vegar eru þessar aðferðir [19–22] háðar staðbundnum framsetningum að einhverju leyti, sem geta ekki náð framúrskarandi árangri í spáverkefnum. Gervi taugakerfi [23] hefur verið lagt til til að líkja eftir einstökum eiginleikum tímabundinna gagna og færir öflugri líkanagetu til tímabundinna gagna. Tímabundið spákerfi [24] hefur verið þróað til að einbeita sér að staðbundinni líkangerð og endurgerð allt tímabundið merkið. Þessi aðferð sýnir árangur þess að móta samhangandi tímabundin svið. Blandaða tauganetinu hefur verið lagt til að móta kraftmikið mynstur og læra útlitsmyndir byggðar á gefnum myndrömmum í [25]. 3D CNN er notað í RNN í [26], sem útvíkkar framsetningu í tímalegri vídd og gerirminnieiningaverslun betri langtíma framsetning. Hins vegar, snúningsaðgerðir [24-26] gera grein fyrir skammdrægum innanramma ósjálfstæði vegna takmarkaðra móttækilegra sviða þeirra og skorts á skýrum milliramma líkanagetu. The generative andstæðingur net [8] eru önnur nálgun fyrir tímatíma spá. Skilyrt breytileg sjálfkóðunaraðferð hefur verið lögð til í [9] með því að framleiða framtíðarferlar manna sem eru skilyrtar af fyrri athugunum og framtíðaraðgerðum vélmenna. Spáaðferðirnar [8,9] miða að því að búa til minna óskýra ramma, en árangur þeirra veltur verulega á óstöðugu þjálfunarferlinu.

Sjálfsathygliskerfi er lagt til í [27], sem hægt er að beita til að fanga langdrægar ósjálfstæði og hefur reynst árangursríkt við að safna saman áberandi eiginleikum meðal allra staðbundinna staða í tölvusjónverkefnum [28-30]. Tvöfaldur athyglisreitur er lagður til í [28], sem sameinar eiginleika alls rýmisins í þétt sett, og velur síðan aðlögunarhæfni og úthlutar eiginleikum á hvern stað. Til þess að nýta samhengisupplýsingarnar á skilvirkari hátt, kynnti krossnet [29] þversums athygliseiningu til að fá samhengisupplýsingar allra punkta, sem er gagnlegt fyrir sjónrænan skilningsvandamál. Að auki, ólíkt fjölskala eiginleika samrunaaðferðum, er lagt til tvöfalt athyglisnet [30] til að sameina staðbundna eiginleika með alþjóðlegum ósjálfstæði með aðlögunarhæfni. Hins vegar er ekki hægt að nota þau til að takast á við spáverkefni vegna skorts á tímabundnum háðum.

Í stuttu máli, fyrri spálíkön hafa mismunandi galla. Ólíkt fyrri verkum, hönnum við nýtt afbrigði af ConvLSTM [5] til að geyma framsetningu ástands og víkka út athygliskerfið í því verkefni að spá um tímatíma. Þessi arkitektúr fangar rík samhengistengsl fyrir betri framsetningu eiginleika með þéttleika innan flokks.

Tafla 1 sýnir skammstafanir sem notaðar eru í blaðinu með skilgreiningu á hugtakinu.

3. DMA tauganet

Flæðirit af DMANet er sýnt á mynd 1. Framsetningarnar eru unnar úr DMANet miðað við inntaksrammana. Framsetningarnar gefa til kynna niðurstöður spár og hægt er að nota þær til að spá fyrir um næstu framsetningu.

Í þessum hluta verða upplýsingar um DMANet gefnar upp. Í fyrsta lagi er ný DMLSTM eining kynnt í kafla 3.1. Síðan er lagt til tvöfalt athygliskerfi í kafla 3.2, sem gerir líkaninu kleift að njóta góðs af fyrri viðeigandi framsetningum. Að lokum er þeim safnað saman til að byggja upp DMANet fyrir tímatímaspá, sem er lýst í kafla 3.3.

3.1.Tvöfalt minni LSTM

Það er upplýst af PredRNN plús plús [7], sem bætir við fleiri ólínulegum lögum til að auka netdýptina og styrkja líkanagetu fyrir staðbundna fylgni og tímabundna gangverki. Vandamálið við útbreiðslu halla er hins vegar að verða erfiðara og erfiðara með aukinni netdýpt, jafnvel þótt GHU [7] létti það að takmörkuðu leyti. Sum verk [6,7,14] skila sér ekki vel við að draga fram framsetningu tímabundinna raða yfir óhóflegar hliðarbreytingar, þar sem það getur óumflýjanlega valdið tapi á framsetningum. Þess vegna er hægt að fanga langdrægar staðbundnar ósjálfstæði með staflaðum sveiflulögum. Hins vegar er skilvirkni líkanagetu fyrir tímabundin gangverki takmörkuð vegna flókinnar umskiptis milli æðar og lags.

Ný endurtekin eining að nafni DMLSTM er þróuð til að framkvæma tímatímaspá til að sigrast á takmörkunum sem nefnd eru hér að ofan, eins og sýnt er á mynd 2. Í fyrsta lagi er viðbótar minniseining bætt við byggt á ConvLSTM[5]; þessi eining er notuð til að geyma staðbundin ástand, sem gerir einingunni kleift að læra meira tímabundna framsetningu. Nýja umbreytingarkerfið er hannað með því að henda óþarfa hliðarbyggingum, svo sem inntakshliðum. Hin ýmsu ólínulega uppbygging myndi missa öfluga innri framsetningu í spá á pixlastigi. Á hinn bóginn hefur framsetningum sem mismuna aðgerðir verið beitt á áhrifaríkan hátt til að fanga framsetningu hreyfanlegra hluta. Þess vegna er hægt að nota mismun fyrir spáverkefni til að bæta við framsetningu hlutar á hreyfingu. Í DMLSTM einingunni er aðgreiningaraðgerðin þróuð til að fá framsetningu á hreyfingu með því að greina aðliggjandi falin ástand eða hráar myndir, sem gerir eininguna öflugri líkanagetu fyrir gangverki í tíma í tíma.

3.2. Dual Attention Mechanism

Spatiotemporal forspá getur spáð fyrir um framtíðarramma með því að fylgjast með fyrri framsetningum. Hins vegar ætti spálíkanið að einblína meira á sögulegar framsetningar sem tengjast efni sem spáð er fyrir um. Athygliskerfi [27] getur fanga langdrægt ósjálfstæði milli staðbundinna og alþjóðlegra framsetninga í sumum hagnýtum verkefnum [32,33]. Þar að auki er tímabundin spá krefjandi vegna flókins gangverks og útlitsbreytinga, sem krefjast þess að þeir séu háðir bæði tímalegum og staðbundnum sviðum. Nýtt afbrigði af athygliskerfi sem kallast tvíþætt athygliskerfi er lagt til. Þessi arkitektúr fangar langtíma víxlverkun tíma og tíma frá tímalegum og staðbundnum víddum, í sömu röð, og síðan eru fengnar framsetningar teknar saman fyrir framtíðarspá.

cistanche til söluí minningunni

Tvöfalda athygliseiningin er sýnd á mynd 3, þar á meðal núverandi tímastimpil falið ástand Ht ∈ RH × W × C og sögulegt ástand {H1 . . . Ht−1} ∈ Rn × H × W × C, þar sem H og W eru rúmstærðir, C er fjöldi rása, og n táknar fjölda falinna framsetninga sem eru samtengdar eftir tímavíddinni, í sömu röð

4. Niðurstöður

DMANet hefur verið lagt til fyrir tímatímaspá í þessari grein. DML-STM eining er notuð til að draga út framsetninguna á skilvirkan hátt með því að nýta mismunandi aðgerðir á myndunum í röð og taka upp tvöfalt minni umbreytingarkerfi. Tvöfalt athygliskerfi er hannað til að fanga langtíma tímabundin ósjálfstæði með því að reikna fylgnin milli núverandi falinna framsetninga og sögulegra falinna framsetninga frá tímalegum og staðbundnum víddum, í sömu röð. DMANet sameinar bæði kosti og slík byggingarhönnun gerir líkaninu kleift með meiri líkanakrafti fyrir skammtíma gangverki og langtíma samhengismyndir. Tilraunaniðurstöðurnar sýna að aðferðin okkar hefur framúrskarandi árangur í spá um tímatíma.

hvar á að kaupa cistanche í minni

Spatiotemporal forspá er efnileg leið fyrir sjálfstætt nám á ríkum tímabundnum fylgni. Fyrir framtíðarvinnu munum við kanna hvernig á að aðskilja hreyfanlega hluti frá bakgrunni og beina meiri athygli að hreyfanlegum hlutum., Við munum einnig reyna að byggja upp sýnilegt viðnám núna til að vernda kínverska gróturnar fyrir vatni.

Heimildir

1. Yao, Y.; Atkins, E.; Johnson-Roberson, M.; Vasudevan, R.; Du, X. Bitrap: Tvíátta brautarspá fyrir gangandi vegfarendur með mati á fjölþættum markmiðum. IEEE vélmenni. Autom. Lett. 2021, 2, 1463–1470. [Krossvísun]

2. Söngur, Z.; Sui, H.; Li, H. Stigveldisuppgötvunaraðferð í stórum stíl sjónræn fjarkönnun gervihnattamynda sem notar áberandi uppgötvun og CNN. Alþj. J. Remote Sens. 2021, 42, 2827–2847. [Krossvísun]

3. Li, Y.; Cai, Y.; Li, J.; Lang, S.; Zhang, X. Spatio-temporal unity net fyrir uppgötvun myndbandsfrávika. IEEE Access 2019, 1, 172425–172432. [Krossvísun]

4. Yurtsever, E.; Lambert, J.; Carballo, A.; Takeda, K. Könnun á sjálfvirkum akstri: Algengar venjur og ný tækni. IEEE Access 2020, 8, 58443–58469. [Krossvísun]

5. Shi, X.; Chen, Z.; Wang, H.; Yeung, DY Convolutional LSTM net: Vélræn nálgun fyrir úrkomu núútsendingar. Í Proceedings of the 29th Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 7.–12. júní 2015; bls 802–810.

6. Wang, Y.; Li, M.; Wang, J.; Gao, Z.; Yu, P. PredRNN: Endurtekin taugakerfi fyrir forspárnám með því að nota spatiotemporal LSTMs. In Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Kanada, 4.–9. desember 2017; bls 879–888.

7. Wang, Y.; Gao, Z.; Long, M.; Wang, J.; Yu, P. PredRNN plús plús: Í átt að lausn á djúp-í-tíma vandamálinu í tímabundnu spánámi. Í Proceedings of the 35th International Conference on Machine Learning, Stokkhólmi, Svíþjóð, 10.–15. apríl 2019; bls. 5123–5132.

8. Goodfellow, IJ; Pouget-Abadie, J.; Mirza, M.; Xu, B.; Warde-Farley, D. Generative andstæðingur net. Í Proceedings of the 28th Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 8.–13. desember 2014; bls 2672–2680.

9. Ivanovic, B.; Karen, L.; Edward, S.; Pavone, M. Multimodal deep generative models for trajectory prediction: A conditional variational autoencoder approach. IEEE vélmenni. Autom. Lett. 2021, 2, 295–302. [Krossvísun]

10. Rumelhart, D.; Hinton, G.; Williams, R. Að læra framsetningar með því að fjölga villum til baka. Náttúra 1986, 1, 533–536. [Krossvísun]

11. Hochreiter, S.; Schmidhuber, J. Langt skammtímaminni. Neural Comput. 1997, 8, 1735–1780. [Krossvísun]

12. Sutskever, I.; Vinyals, O.; Le, Q. Röð til raðnáms með tauganetum. Í Proceedings of the Advances in Neural Information Processing Systems, Montreal, QC, Kanada, 8.–13. desember 2014; bls. 3104–3112.

13. Das, M.; Ghosh, S. Spáhópur sem byggir á djúpu námi til að spá fyrir um gögn sem vantar fyrir fjarkönnunargreiningu. IEEE J. Sel. Efst. Appl. Earth Observ. Fjarskynjarar 2017, 12, 5228–5236. [Krossvísun]

14. Oliu, M.; Selva, J.; Escalera, S. Brotuð endurtekin tauganet til að spá fyrir um myndband í framtíðinni. Í Proceedings of the 15th European Conference on Computer Vision, München, Þýskalandi, 8.–14. desember 2018; bls. 716–731.

15. Seng, D.; Zhang, Q.; Zhang, X.; Chen, G.; Chen, X. Spatiotemporal spá um loftgæði byggt á LSTM taugakerfi. Alex. Eng. J. 2021, 60, 2021–2032. [Krossvísun]

16. Abed, A.; Ramin, Q.; Abed, A. Sjálfvirk spá um sólgosa úr SDO myndum með djúpnámi. Adv. Space Res. 2021, 67, 2544–2557. [Krossvísun]

17. Li, S.; Fang, J.; Xu, H.; Xue, J. Vídeó ramma spá með djúpu fjölgreina grímukerfi. IEEE Trans. Circuits Syst. Vídeótækni. 2020, 4, 1–12. [Krossvísun]

18. Wang, Y.; Zhang, J.; Zhu, H.; Long, M.; Wang, J.; Yu, P. Minni í minni: Forspár taugakerfi til að læra hærra stigs óstöðugleika frá tímabundinni gangverki. Í Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Kanada, 16–20 júní 2020; bls. 9146–9154.

19. Chen, X.; Xu, C.; Yang, X.; Yang, X.; Tao, D. Langtíma myndbandsspá með gagnrýni og endurskoðun. IEEE Trans. Myndferli. 2020, 29, 7090–7103. [Krossvísun]

20. Neda, E.; Reza, F. AptaNet sem djúpnámsaðferð fyrir spá um aptamer-prótein samskipti. Sci. Aftur. 2021, 11, 6074–6093.

21. Shen, B.; Ge, Z. Vegið ólínulegt kraftmikið kerfi fyrir djúpa útdrátt á ólínulegum kvikum duldum breytum og iðnaðarnotkun. IEEE Trans. Ind. Upplýsa. 2021, 5, 3090–3098. [Krossvísun]

22. Zhou, J.; Dai, H.; Wang, H.; Wang, T. Víðtæka athygli og djúpsamsett líkan fyrir spá um umferðarflæði í net-eðlisfræðilegum samgöngukerfum. IEEE Trans. Ind. Upplýsa. 2021, 17, 3431–3440. [Krossvísun]

23. Patil, K.; Deo, M. Spá um sjávarborðshitastig með gervi tauganetum. J. Atmos. Haf. Tækni. 2018, 7, 1441–1455. [Krossvísun]

24. Amato, F.; Guinard, F.; Róbert, S.; Kanevski, M. Skáldsaga umgjörð fyrir spá um tíma og tíma um umhverfisgögn með því að nota djúpt nám. Sci. Rep. 2020, 10, 22243–22254. [Krossvísun]

25. Yan, J.; Qin, G.; Zhao, R.; Liang, Y.; Xu, Q. Mixpred: Vídeóspá umfram sjónflæði. IEEE Access 2019, 1, 185654–185665. [Krossvísun]

26. Wang, Y.; Jiang, L.; Yang, M.; Li, L.; Long, M.; Li, F. Eidetic 3D LSTM: Líkan fyrir myndbandsspá og víðar. Í Proceedings of the International Conference on Learning Representations, New Orleans, LA, Bandaríkjunum, 6.–9. maí 2019; bls. 1–14.

27. Vaswani, A.; Shazier, N.; Parmar, N.; Uszkoreit, J.; Jones, L. Athygli er allt sem þú þarft. In Proceedings of the 31st Conference on Neural Information Processing Systems, Long Beach, BC, Kanada, 4.–9. desember 2017; bls 5998–6008.

28. Chen, Y.; Kalantidis, Y.; Li, J.; Feng, J. A2 net: Tvöfalt athyglisnet. Í Proceedings of the 32nd Conference on Neural Information Processing Systems, Montreal, QC, Kanada, 2.–8. desember 2018; bls. 352–361.

29. Huang, Z.; Wang, X.; Wei, Y.; Huang, L.; Shi, H. Ccnet: Áhersla á merkingarfræðilega skiptingu. IEEE Trans. Mynstur Anal. Mach. Intell. 2020, 1, 1–11. [Krossvísun]

30. Fu, J.; Liu, J.; Tian, ​​H.; Li, Y. Tvöfalt athyglisnet fyrir skiptingu senu. Í Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Long Beach, BC, Kanada, 16–20 júní 2019; bls. 3146–3154.

31. Wang, Z.; Bovik, A.; Sheikh, H. Myndgæðamat: Frá villusýnileika til líkinda í byggingu. IEEE Trans. Myndferli. 2004, 4, 600–612. [Krossvísun]

32. Liu, Q.; Lu, S.; Lan, L. Yolov3 athyglisandlitsskynjari með mikilli nákvæmni og skilvirkni. Samgr. Syst. Sci. Eng. 2021, 37, 283–295.

33. Li, X.; Xu, F.; Xin, L. Tvöföld athygli djúpsamruna merkingartengdar skiptingarnet af stórum gervihnöttum fjarkönnunarmyndum. Alþj. J. Remote Sens. 2021, 42, 3583–3610. [Krossvísun]

34. Srivastava, N.; Mansimov, E.; Salakhutdinov, R. Nám án eftirlits á myndbirtingum með því að nota LSTM. Í Proceedings of the 32nd International Conference on Machine Learning, Lille, Frakklandi, 6.–11. júní 2015; bls 843–852.

35. Geiger, A.; Lenz, P.; Stiller, C.; Urtasun, R. Vision meets robotics: The KITTI dataset. Alþj. J. Vélmenni. Res. 2013, 32, 1231–1237. [Krossvísun]

36. Dollar, P.; Wojek, C.; Schiele, B.; Perona, P. Uppgötvun fótgangandi: Viðmið. Í Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, Bandaríkjunum, 20.–25. júní 2009; bls. 304–311.

37. Liu, J.; Jin, B.; Yang, J.; Xu, L. Sjávaryfirborðshitaspá með því að nota kubíska B-spline interpolation og tímabundna athygli vélbúnaðar. Fjarstýringar Lett. 2021, 12, 12478–12487. [Krossvísun]