Kraftmikið minni til að draga úr skelfilegri gleymsku í stöðugu námi með læknisfræðilegri myndgreiningu

Tengiliður: Audrey Hu Whatsapp/hp: 0086 13880143964 Netfang:audrey.hu@wecistanche.com

Matthias Perkonigg1, Johannes Hofmanninger1, Christian J. Herold1, James A. Brink2, Oleg Pianykh2, Helmut Prosch1 & Georg Langs1✉

Læknisfræðileg myndgreining er miðlægur hluti af klínískri greiningu og meðferðarleiðsögn. Vélræn nám hefur í auknum mæli fengið mikilvægi vegna þess að það fangar eiginleika sjúkdóma og meðferðarviðbragða sem skipta máli fyrir ákvarðanatöku í meðferð. Í klínískri starfsemi hindrar stöðug framfarir í myndtökutækni eða greiningaraðferðum, fjölbreytileika skanna og þróaðar myndgreiningaraðferðir gagnsemi vélanáms, þar sem forspárnákvæmni í nýjum gögnum versnar, eða líkön verða úrelt vegna þessara lénsbreytinga. . Við leggjum til stöðuga námsaðferð til að takast á við slíkar lénsbreytingar sem eiga sér stað á óþekktum tímapunktum. Við aðlögum líkön að nýjum afbrigðum í samfelldum gagnastraumi á sama tíma og við vinnum gegn skelfilegri gleymsku. Dýnamíkminnigerir æfingar á undirmengi fjölbreyttra þjálfunargagna kleift til að draga úr gleymsku á sama tíma og gera módel kleift að stækka á ný lén. Tæknin kemur í jafnvægiminnimeð því að greina gervi-lén, sem tákna mismunandi stílklasa innan gagnastraumsins. Mat á tveimur mismunandi verkefnum, hjartaskiptingu í segulómun og lungnahnútagreiningu í tölvusneiðmynd, sýna fram á stöðugan kost aðferðarinnar.

Cistanche getur bætt minni

Reiknirit fyrir djúpnám (DL) eru fljótt að öðlast mikilvægi í læknisfræðilegri myndgreiningu, sem gerir kleift að skiptast á reikni1,2, flokkun eða greiningu3 á líffærafræðilegum byggingum og frávikum4 sem skipta máli fyrir greiningu, spá eða horfur. Í sumum tilfellum eru hæfileikar þeirra jafnvel betri en sérfræðingar í mönnum5,6, sem gerir þá að miðlægu tóli í framförum við að nota myndgreiningargögn til greiningar og til að styðja við meðferðarákvarðanir.

Hins vegar eru klínísk myndgreiningartækni, greiningarvinnuflæði og jafnvel myndgreiningarmerki sjúkdóma ekki truflanir. Þess í stað eru þau háð síbreytilegu umhverfi þar sem DL reiknirit verða að laga sig til að vera áfram viðeigandi. Eins og er, eru DL módel þjálfuð einu sinni, sem skilar glæsilegum árangri á myndum sem eru sambærileg við þjálfunarupplifun þeirra. Samt er sjálfbærni þeirra takmörkuð þar sem þau verða úrelt á meðan tækninni fleygir fram7. Þessi vanhæfni til að laga sig að nýjum gögnum sem eru frábrugðin þjálfunargögnum á sumum sviðum (tilfærslur á gagnasettum) hamlar verulega gagnsemi þeirra og upptöku í klínískri starfsemi.

Tilfærslur gagnasetts eiga sér stað þegar dreifing þjálfunargagna er frábrugðin dreifingu gagna við ályktun líkans8,9. Ein tegund slíkrar breytinga, lénsbreytingar (eða yfirtökubreytingar) gæti átt sér stað vegna tæknilegra framfara í skannatækni. Í klínískri starfsemi, og þar af leiðandi, í rannsóknum sem fela í sér læknisfræðileg myndgreiningargögn, koma aflað gögn oft frá mismunandi skönnum, kynslóðum skanna, framleiðendum eða myndgreiningaraðferðum. Til að aðlaga djúpnámslíkön með góðum árangri að breyttu umhverfi er mikilvægt að þróa og þróa aðferðir sem taka tillit til þessara sviðsbreytinga.

Hér leggjum við áherslu á að gera grein fyrir breytingum á léni sem eiga sér stað á óþekktum tímum í samfelldum gagnastraumi, sem endurspeglar klíníska starfshætti. DL líkan er þjálfað á safni mynda sem safnað er með einum skanna (grunnþjálfun) og er í kjölfarið uppfært stöðugt fyrir breytingar á útliti myndar sem verða í gagnastraumi þegar nýjum skanna er bætt við. Á sama tíma ætti ekki að gleyma þekkingu um áður séð lén þar sem nýjar lénsupplýsingar eru teknar inn í líkanið. Mynd 1 sýnir almenna umgjörð þessa verks. Líkanið er þjálfað til að sameinast á grunnþjálfunarsetti léns A gagna; eftir það verður það fyrir samfelldum gagnastraumi þar sem, eftir nokkurn tíma, birtast lén B, C og D gögn. Án þess að uppfæra líkanið eftir grunnþjálfun (statískt djúpt nám) verður fyrir nákvæmni á síðari lénum, ​​þar sem þau yfirgefa dreifingu þjálfunargagnanna. Sjá hér að neðan til að sjá dæmi þar sem grunnlíkanið tókst ekki að hluta myndir úr síðari skanna. Stöðugar námsaðferðir vinna gegn þessum áhrifum.

Áhersla símenntunar (einnig nefnt símenntun) er vélanámstækni til að safna hæfni til að takast á við ný verkefni (eða, í samhengi við þessa vinnu, ný svið) í líkani10,11. Stór óæskileg áhrif sem unnið er gegn með stöðugum námsaðferðum er skelfileg gleymska, þegar uppfærsla á líkani til að læra nýtt verkefni myndi leiða til versnandi frammistöðu á fyrri verkefnum12. Helst gæti stöðugt nám skilað framförum í frammistöðu á fyrri verkefnum þegar þjálfað er í síðari verkefnum, eftirsóknarverð áhrif sem kallast jákvæð flutningur afturábak sem stafar af aukinni fjölbreytni þjálfunardæma á líkanið13.

Við leggjum til dýnamíkminni(DM) sem sínámsaðferð, til að takast á við tilkomu nýrra gagnagjafa á óþekktum tímapunktum í samfelldum straumi læknisfræðilegra mynda (Mynd 1). DM er æfingaaðferð sem heldur litlum, fjölbreyttum hlutmengi gagnastraumsins inniminnitil að draga úr hörmulegri gleymsku. DM gerir fjölbreytni íminninota stílmælikvarða til að viðhalda myndum með ýmsum stílum sem sjást í samfelldum gagnastraumi. Sem valfrjáls eining notum við gervi-lén (PD) líkan til að greina klasa af svipuðum stíl úr samfelldum straumi. Líta má á þessi gervi-lén sem umboð fyrir hið óþekkta, raunverulega lén og eru notuð til að koma jafnvægi áminniog þjálfunarferli (DM-PD). Til að sýna fram á alhæfanleika aðferðar okkar notum við hana á tvö mismunandi verkefni með mismunandi myndgreiningaraðferðum. Í fyrsta lagi gerum við hjartaskiptingu í segulómun (MRI), og í öðru lagi beitum við nálgun okkar við lungnahnútagreiningu í tölvusneiðmyndum (CT). Við sýnum að í báðum verkefnum er aðferðin okkar betri en grunnlínuaðferðir við stöðugt nám. Athugaðu að við erum ekki að einbeita okkur að þróun nýrrar eins skanna og fullkomnustu aðferðar fyrir annaðhvort verkefnanna, heldur viljum við sýna hvernig hægt er að beita símenntunaraðferð til að laga líkan að stöðugum straumi. af myndgreiningargögnum, þar með talið lénsbreytingum, án skýrrar lénsþekkingar.

cistanche viðbót: bæta minni

Niðurstöður

Gagnasöfn

Hjartaskiptingu. Tilraunir voru gerðar á gögnum úr fjölsetra, fjölframleiðanda áskorunargagnasetti14. Gagnasettið innihélt gögn frá fjórum mismunandi söluaðilum Siemens, General Electric, Philips og Canon. Við litum á hvern þessara söluaðila sem eitt lén. Við skiptum gögnunum í grunnþjálfun, stöðuga þjálfun, staðfestingu og prófunarsett á sjúklingastigi. Tafla 1a sýnir fjölda einstakra sneiða fyrir hvert lén í þessum gagnasettaskiptum.

Uppgötvun lungnahnúta. Til að greina lungnahnúta notuðum við gögn sem dregin voru út úr LIDC-gagnagrunninum15, með skýringum eins og kveðið er á um fyrir LUNA16-áskorunina16. Að auki notuðum við LNDb áskorunargagnasett17. Fyrir allar skýringar á lungnahnútum, smíðuðum við afmörkunarkassa utan um merkta meinsemdina og dregnum út 2D sneiðar með sárum. Til að sýna fram á stöðugt nám okkar með að skipta um lén, bjuggum við til gagnasett af þremur algengustu lénunum, hvað varðar skanniframleiðanda og endurbyggingarkjarna, í LIDC og sem fjórða lén, LNDb gagnasettið. Fyrir LIDC voru algengustu stillingarnar, þar á meðal skemmdir, GE Medical Systems með lágtíðni enduruppbyggingar reiknirit (GE/L, n=527), GE Medical Systems með hátíðni endurbyggingar reiknirit (GE/H, n {{ 9}}), og Siemens með B30f kjarna (Siemens, n=130). IMDb gagnasettið notaði marga Siemens skanna. Til að passa við hnútaskilgreininguna í LIDC gagnagrunninum útilokuðum við hnúða með þvermál <3 mm,="" sem="" leiddi="" til="" alls="" 625="" myndir.="" þessum="" myndum="" var="" skipt="" niður="" í="" grunnþjálfun,="" stöðuga="" þjálfun,="" staðfestingu="" og="" prófunargagnasett="" samkvæmt="" töflu="" 1b,="" hliðstætt="">

Dynamicminnidregur úr skelfilegri gleymsku fyrir hjartaskiptingu. Til að meta getu dynamicminnitil að ná góðum árangri á sama tíma og vinna gegn skelfilegri gleymsku, gerðum við hjartaskiptingu á 2D MRI sneiðum sem fjölmerkja skiptingu með þremur merkjum: Vinstri slegli (LV), hægri slegli (RV) og vinstri slegli hjartavöðva (MYO). Myndir voru teknar með skanna frá fjórum mismunandi söluaðilum, í röð eftir birtingu þeirra í gagnastraumnum: Siemens (A), GE (B), Philips (C) og Canon (D). Við vísum til þeirra sem skanni A–D til að auðvelda skilning á pöntuninni. Grunnþjálfun var eingöngu gerð á skanni A gögnum; í kjölfarið var líkanið þjálfað á samfelldum gagnastraumi þar sem myndlénin breyttust smám saman úr skanni A í D (Mynd 1). Við bárum saman mismunandi sínámsaðferðir: (1) DM-aðferðina, (2) DM-aðferðina með gervi-lénsgreiningu (DM-PD), (3) handahófskenndminniskiptistefnu, þar sem hvert nýtt úrtak kom í stað handahófsvals úrtaks sem nú er íminni(Random) og (4) barnaleg nálgun að læra á gagnastraumi án þess að vinna gegn skelfilegri gleymsku (Naive). Að auki bárum við niðurstöður saman við nýjustu símenntunaraðferðir: (5) Elastic Weight Consolidation (EWC)18, og tvær aðferðir sem krefjast lénsþekkingar (6) Gradient EpisodicMinni(GEM)19 og (7) upplifa endurspilun með Maximally Inferred Retrieval (ER-MIR)20. Athugaðu að DM og DM-PD starfa án lénsþekkingar, sem táknar raunhæfari forsendur í klínískri framkvæmd. Til samanburðar þjálfuðum við einnig tvö grunnlínulíkön: Í fyrsta lagi sameiginlegt líkan (JModel) með öllum þjálfunargögnum sem meðhöndluðu allt gagnasettið sem eitt ímyndað kyrrstæða gagnasett; og í öðru lagi, lénssértæk líkön (DSM) sem eru þjálfuð í kyrrstöðuþjálfunarkerfi á hverju léninu, sérstaklega. Að lokum greinum við frá niðurstöðum fyrir kyrrstætt grunnlíkan (Base) sem er þjálfað á skanna A og notað á skanna A til D. Allar aðferðir notuðu sama burðarrásarsnúningstauganet (CNN) fyrir skiptingu, FC-ResNet5021.

Mynd 1 Mismunandi líkanþjálfun og aðlögunaraðferðir. 1 Stöðug DL fyrir myndgreiningu aðlagast nýjum gagnaeiginleikum og á sama tíma heldur getu til að vinna með eldri gögn. a Static DL: eftir þjálfun og notkun DL líkansins breytist tæknin og nákvæmni líkansins minnkar. b Barnlaus sínámsaðferð til að leysa þessa takmörkun er að halda áfram að þjálfa líkan á gagnastraumi. Hins vegar leiðir þetta til þess að gömlum gagnaeiginleikum gleymist og samsvarandi lækkun á frammistöðu þessara gagna. c Sem sínámsaðferð, kraftmikilminniþekkir ný ný lén og tekur sýnishorn af gögnum í samfelldum straumi í samræmi við það. ML líkanið aðlagast nýrri tækni en helst nákvæmt á hinum fjölbreyttu skanna sem áður hefur verið séð. Þetta er mikilvægt til að tryggja afturábak samhæfni líkansins og til að byggja upp stöðugra líkan sem aðlagast nýjum skanna hraðar. 2 Löggilding á sérstöku prófunarsetti metur árangur DL líkansins í lok tímabilsins.

Við bárum saman greiningarnákvæmni allra aðferða á sérstöku prófunarsetti sem innihélt gögn frá öllum fjórum skannanum eftir að þjálfun var lokið. Ennfremur metum við sérstaklega hvort líkansnákvæmni á einum skanna nyti góðs af líkanaþjálfun á öðrum skanna með því að meta afturábak (BWT) og framflutning (FWT)19.

Í töflu 2 eru aðferðirnar bornar saman með tilliti til meðaltals teningastiga yfir LV, RV og MYO fyrir a.minnistærð M {{0}}. Mat á skiptingu LV, RV og MYO sérstaklega sýndi svipaða þróun (sjá viðbótartöflur 1–3). DM og DM-PD stóðu sig svipað og stóðu sig betur en allar aðrar aðferðir við stöðugt nám þar sem engar upplýsingar um aðild að léni eru nauðsynlegar (Naive, Random og EWC). Fyrir myndir af síðasta léni (skanni D), var EWC með hæsta meðaltal teningastigsins (0.850 ± {{10}}.003) en á kostnað við hátt neikvætt BWT gildi (- 0,014 ± 0,007), sem sýnir að skelfileg gleym- ing átti sér stað. DM og DM-PD sýndu enga gleymsku, eins og gefið er til kynna með hlutlausum BWT 0.000 og 0.003, í sömu röð. GEM og ER-MIR sýndu svipaða frammistöðu og DM-PD en þurftu upplýsingar um lénsaðild að einstökum sýnum, sem er ekki framkvæmanlegt í klínískri framkvæmd. Samanburður á minni með handahófskenndri endurnýjunarstefnu við DM og DM-PD sýndi að stílmælingin sem notuð var fyrir DM var áhrifarík til að velja sýni til að mynda fjölbreyttminni. Tilviljunarkennd skipti leiddi til þess að fyrri lén gleymdust á meðannámskeið í stöðugri þjálfun (BWT af −0.011), á meðan DM og DM-PD héldu góðum árangri á öllum skanna.

Á gögnum frá Scanner B, þar sem tiltölulega lítil úrtaksstærð, 720 myndir, var notuð til þjálfunar, gátu DM og DM-PD náð góðum árangri án upplýsinga um aðild að léni. Nám með handahófskenndri útskiptingu, EWC og barnalegri þjálfun leiddi til verulegrar frammistöðuskerðingar fyrir skanna B. Þetta sýndi fram á að með því að nota Gram fylki byggða stílmælikvarða var DM minna næmt fyrir fjölda sýna á hverjum skanniframleiðanda en aðrar stöðugar námsaðferðir .

J líkanið var efri mörk þess sem þjálfunin getur áorkað, sérstaklega fyrir lén með fá sýni, þ.e. fyrir skanna B, var frammistöðubilið á milli stöðugs náms og ímyndaðrar kyrrstöðuþjálfunar með aðgang að öllum gögnum mikið ({{0 }}.763 ± 0.004 á móti 0,798 ± 0,016). Þetta var vegna þess að í stöðugu námi sáust vantáknuð sýni sjaldnar en í kyrrstöðuþjálfun. Í viðbótartöflu 4, mismunandiminnibornar saman stærðir M=〈64, 128, 256, 512, 1024〉 fyrir DM og DM-PD. Bætir meira viðminnileiddi til betri frammistöðu en vegna mismunar á þjálfunarvirkni (JModel þjálfar lotulega og getur því séð fleiri lotur en í stöðugu námi), var árangur JModel ekki náð. DM með minniminniofM {{0}} var ekki fær um að fanga nákvæmlega fjölbreytileika þjálfunargagnadreifingar og leiddi því til gleymsku (BWT=− 0,005).

í hvað er cistanche notað: bæta minni

Mynd 2 sýnir hvernig meðaltal DSC breyttist á meðan á stöðugri þjálfun stóð. Fyrir EWC og barnalegt stöðugt nám varð vart við skelfilega gleymsku og nákvæmni á fyrri lénum minnkaði þegar ný lén fóru í líkanþjálfun. Fyrir DM og DM-PD var nákvæmni stöðugri á öllum sviðum eftir því sem áframhaldandi þjálfun hélt áfram.

Eigindlega matið á merkingarfræðilegri skiptingu á mynd 3 sýndi sambærilegar árangursniðurstöður fyrir hinar ýmsu sínámsaðferðir. Hins vegar, á meðan barnalegt stöðugt nám sýndi betri árangur fyrir skanni D, virkuðu DM og DM-PD vel á öllum skanna, þar með talið lénum sem áður hafa verið séð. Samanburðurinn við grunnlíkanið (aðeins þjálfað á skanni A gögnum) sýndi að við þurfum stöðuga námsaðferð til að laga líkanið að breyttu sjónrænu útliti. Grunnlíkanið tókst ekki að framkvæma nákvæma skiptingu fyrir skanna B–D, sem leiddi til mikils fjölda rangra neikvæða.

Dynamicminnidregur úr skelfilegri gleymsku til að greina lungnahnúta. Uppgötvun lungnahnúta var framkvæmd sem afmörkunarkassaskynjun á 2D CT sneiðum og mæld í meðalnákvæmni (AP), eins og skilgreint er í matshlutanum. Fjögur myndlén voru innifalin í gagnastraumnum: GE með lágtíðni endurbyggingaralgrími (GE/L); GE með hátíðni endurbyggingaralgrími (GE/H); Siemens; og LNDb (sjá kaflann „Gagnasett“ fyrir nánari upplýsingar), í eftirfarandi skannar E–H. Grunnþjálfun var framkvæmd á gögnum frá Scanner E. Vegna skilgreiningar á EWC var beinn samanburður ekki mögulegur fyrir greiningarverkefni. DM og DM-PD voru borin saman við handahófskennd uppbótarminni og barnaleg nálgun við stöðugt nám.

Samhliða skiptingu voru tvær nýjustu aðferðir sem krefjast lénsmerkinga (sem er ekki krafist af DM og DM-PD), GEM19 og ER-MIR20 metnar sem viðmiðun. Sem grunnlíkön voru sameiginleg líkan (JModel) og lénssértæk líkön (DSM) borin saman og niðurstöður fyrir kyrrstæða grunnlíkanið (Base) metnar á svipaðan hátt og skiptingartilraunin. Sem verkefnanet var Faster R-CNN með ResNet-50 burðarás notað22.

Á heildina litið stóðu DM-PD og DM sig betur með tilliti til AP en barnaleg nálgun, eins og sést í töflu 3. Bæði stóðu sig betur en barnaleg aðferðin og virkuðu í raun á móti skelfilegri gleymsku. Fyrir öll lén sem dregin voru út úr LIDC (skanna E, F og G), gekk DM vel. Hins vegar sáum við lækkun á frammistöðu fyrir Scanner H fyrir allar aðferðir. Þessi fækkun stafaði af fólksfjöldabreytingu til viðbótar við mikla lénsskipti. Í LIDC gögnum voru lungnahnúðar að meðaltali 8,29 mm í þvermál, en gögn frá Scanner H (dregnir út úr LNDb) innihéldu smærri sár með meðalþvermál 5,99 mm. Samkvæmt hönnun greinir DM ekki þýðisbreytingar (þ.e. breytingu á einkennum meinsemda öfugt við myndgreiningareiginleika) og gat því ekki lagað sig fljótt að skanni H gögnum. Tilviljunarkennd skiptiaðferðin átti í erfiðleikum með að læra lén sem voru sjaldnar til staðar í þjálfuninni (skanni F og G) þar sem þeim var skipt út með tímanum fyrir skanna H gögn, sem leiddi til þess að þeir gleymdu þeim skanna. Þessi áhrif voru minna alvarleg fyrir Scanner E gögn þar sem grunnþjálfunin var framkvæmd á gögnum þessa skanna. DM og DM-PD brugðust á móti þessari gleymsku með því að nota stíltengda mælikvarða til að auka fjölbreytniminniog geymdi þannig sýnishorn af öllum skönnum inniminni. DM-PD stóð sig betur en DM án þess að greina gervilén, sem sýnir að jafnvægi á þjálfunarferlinu var mikilvægt skref fyrir stöðuga námsaðferð okkar. DM-PD sýndi besta frammistöðu hvað varðar AP og fór fram úr barnalegu nálguninni um það bil 0.05 AP fyrir skannar E, F og G. Ennfremur sást besti framsækjanleiki afturábak og áfram fyrir DM-PD/128 . Þannig var það ákjósanlegasta líkanið fyrir greiningu lungnahnúta.

Mynd 2 Hjarta MR skipting. Dice score (DSC) á staðfestingarsettu við þjálfun fyrir M=128 fyrir DM og DM-PD, samanborið við tilviljunarkennd skipti og barnalegt stöðugt nám. Tímalínan neðst táknar samfelldan gagnastraum og breytingu á lénum í straumnum. Hægt er að sjá fall af DSC fyrir skanni A þegar skanni B kemur fyrir í straumnum, DM og DM-PD gátu jafnað sig eftir þetta fall með því að notaminni; b allar aðferðir eru stöðugar meðan á þjálfun stendur með skanna C, og c um leið og gögn úr skanni D streyma inn, sjáum við hraða aukningu á DSC fyrir staðfestingarsýni skanna D. Barnlaus og handahófskennd skipti tapa nokkrum DSC stigum á því tímabili, á meðan DM er stöðugt. Þessi marktæka og hraða breyting sýnir að skanni D er öðruvísi miðað við hina og ekki eins nátengdur og skanni B og C.

Viðbótartafla 5 sýnir niðurstöður við samanburð á mismunandiminnistærðir M=〈64, 128, 256, 512, 883〉 (883 samsvarar því að geyma öll sýnishorn af samfellda straumnum í minni). Fyrir DM var stærri minnisstærð gagnleg samanborið við minni minni. Fyrir DM-PD sýndu niðurstöðurnar að því minni semminni(M=64 og M=128) því meiri árangur náðist með því að greina gervilén (PD) samanborið við eingöngu DM. Fyrir stærri minnisstærðir hvarf ávinningurinn af PD. Vegna mismunar á þjálfunaröðinni var frammistöðu DM með M=883 öðruvísi en hjá JModel. Þó að DM/883 hafi staðið sig betur á Scanner E og F, sýndi JModel hærri AP gildi fyrir Scanner G og H.

Á mynd 4 er breytingin á frammistöðu staðfestingar meðan á þjálfun stendur sýnd fyrir DM og DM-PD með M=128 samanborið við tilviljunarkennd skiptiminniog barnalegt stöðugt nám. Þó að handahófskennd skipti og barnaleg stefna sýndi gleymsku, sérstaklega fyrir Scanner G, DM og DM-PD héldu frammistöðunni háum án skelfilegrar gleymsku.

Til að greina frammistöðu DM í greiningu lungnahnúta í smáatriðum, voru nákvæmni-innköllunarferlar fyrir DM og DM-PD með M=128 bornir saman við barnalegt stöðugt nám og grunnlíkan sem var þjálfað á gögnum frá fyrsta skanna E eingöngu ( mynd 5a). Grunnlíkanið stóð sig verr en stöðugt nám fyrir öll svið, jafnvel á prófgögnum frá léninu sem líkanið var þjálfað á. Þetta sýndi að þekking frá síðari skanna getur bætt afköst endanlegrar líkans á Scanner E. Eins og búist var við versnaði frammistaða grunnlíkansins fyrir síðari skanna. Nákvæmni-innköllunarferlar barnalegs sínámsaðferðar sýndu framfarir miðað við grunnlíkanið. Samanborið við DM og DM-PD sýndi það verri frammistöðu fyrir skannar E–G og aðeins betri frammistöðu fyrir skanni H. Þetta sýnir hvernig barnalegt stöðugt nám gæti lagað sig að nýjum skanna en - öfugt við DM og DM-PD - þjáðist af gleymir, en uppfærir líkanið í skanna H gögn.

Á mynd 5b eru afmörkunarkassaskynjun fyrir öll fjögur lénin sýnd. Á heildina litið kom hærri fjöldi falskra jákvæðra niðurstöður fyrir barnalegu nálgunina samanborið við DM og DM-PD. Í ljósi þess að við gerðum greiningu á 2D sneiðum, sýndu DM og DM-PD góða heildarframmistöðu. Við uppgötvun lungnahnúta sýndum við skýran ávinning af því að nota æfingu með DM aðferð okkar í stöðugum námsstillingum með óþekktum lénsbreytingum.

Gervi-lén uppgötvun heldur meira jafnvægiminni.

Til að greina lungnahnúta greindum við muninn á þjálfun DM með gervi-lénseiningunni á móti þjálfun án gervi-lénseiningarinnar fyrir M=128. Í fyrsta lagi metum við hvernig sýnin komu innminnií lok þjálfunar var dreift samanborið við allan þjálfunarhópinn með því að fella Gram fylki allra þjálfunarsýna inn í innfellingarrými með því að nota t-dreifða stochastic neighbour embedding (TSNE)23.

Mynd 6a sýnir skýran greinarmun á lénum Scanner F, Scanner H og skannar E og G. Skannar E og G voru nálægir í samræmi við stíl þeirra vegna svipaðrar endurbyggingarkjarna sem notaður var fyrir þessi lén. Merkin á myndinni sýna sýnin íminnií lok stöðugrar þjálfunar. Fyrir DM-PD dreifðust þau jafnari yfir allt æfingasettið.

Þessi athugun var staðfest með gögnum sem sýnd eru á mynd 6c þar sem við sáum skýra offramsetningu á fyrsta léninu (Skanni E) heildar síðari lénum til þjálfunar með DM eingöngu, samanborið við jafnvægi með gervilénum (DM-PD).

Mynd 3 Eigindleg dæmi um hjartaskiptingu. Niðurstöður fyrir DM og DM-PD með M=128 samanborið við barnalegt stöðugt nám og af handahófiminniskipti. Mismerkt vísar til pixla sem voru merktir, en bekkjaraðildin ruglaðist af líkaninu. Grunnlíkanið var þjálfað í kyrrstöðuþjálfunarnálgun á gögnum frá skanna A eingöngu.

Mynd 6b sýnir greiningu á fjölda lénaþátta sem úthlutað er gervilénum. Sem dæmi um eina þjálfunarhlaup fundust fimm gervi-lén. PD-1 táknaði raunverulegt lén skannar E. PD-4 og PD-5 táknuðu sýni úr tveimur skönnum, F og G. Í PD-2 og PD{{7} }, engin skýr greinarmunur á lénum var sýndur. Á heildina litið fylgdumst við með

Mynd 4 Lungnahnútagreining. Meðalnákvæmni (AP) var mæld á staðfestingarsettinu á meðan á þjálfun fyrir DM og DM-PD stóð með M=128 sem og handahófskenndri skiptiminniog barnaleg nálgun við stöðugt nám. Tímalínan neðst sýnir breytingar á lénum í gagnastraumnum. Um leið og Scanner F gögn komu fram í straumnum jókst staðfestingin sem framkvæmd var á Scanner F (og einnig Scanner G) léninu fyrir allar aðferðir. b Greinilegt lækkun á frammistöðu (AP) varð fyrir barnalegu og handahófskenndu uppbótaraðferðina fyrir skanna E, F og G, eftir nokkur skref þjálfunar á gögnum skanna H, sem markaði skelfilega gleymsku. Fyrir DM lækkaði árangur fyrst örlítið, en jafnaði sig eftir nokkur þjálfunarskref, vegna þess að sýni úr minninu eru notuð við þjálfun. DM-PD árangur hélst stöðugur fyrir skannar E, F og G. c Í lok stöðugrar þjálfunar náðist betri árangur fyrir skannar E, F og G, þegar kraftmikið minni var notað. Fyrir Scanner H var árangur allra þriggja aðferðanna svipaður. d Afköst skanni E var stöðug í öllu samfelldu þjálfunarferlinu fyrir allar aðferðir, sem sýndi grunnþjálfun sem var mettuð fyrir skanna E. að notkun gervi-lénaseiningarinnar var gagnleg til að viðhalda jafnvægi minni, sem var dæmigert fyrir heildina. úthlutun æfingasetta.

cistanche umsagnir: bæta minni

Umræða

Vélnám er að auka notkun á læknisfræðilegum myndgreiningargögnum fyrir greiningu og horfur. Framfarir í djúpu námi gera kleift að greina, skipta og flokka einingar sem tengjast sjúkdómum í reiknitækni og upplýsa þannig um einstakar meðferðarákvarðanir. Eftir fyrstu endurtekningu á kyrrstöðu DL hefur verið sýnt fram á að líkön eru áhrifarík, áskorunin er núna að gera þau sjálfbær í umhverfi stöðugrar framfara í myndtökutækni, samskiptareglum eða jafnvel meðferðarmöguleikum. Hér sýnum við að nálgun sem viðheldur fjölbreyttri hreyfinguminnigæti lagað líkön að breyttri myndtækni, þar sem hún tókst á við breytingar á léni. Mikilvægt er að á meðan líkanið lærði af nýjum gögnum, hélt það fjölbreytileika æfingarinnarminni, til að vera nákvæm og áreiðanleg á allri efnisskrá myndheimilda sem það hafði séð. Ennfremur sáum við að líkanþekking var flutt með góðum árangri yfir skanna. Að taka með þjálfunargögn frá öðrum skönnum skilaði ávinningi fyrir nákvæmni líkana á einstökum skanna.

Lénsbreytingar vegna breytileika skanna og skaðlegra áhrifa þeirra á reiknirit vélanáms (ML) hafa sést í mismunandi myndaðferðum, eins og tölvusneiðmynd (CT) og segulómun (MRI). Fyrir tölvusneiðmyndir hafa áhrif skanna og endurbyggingarstærða á ML spár sem og á skýringar manna verið rannsökuð fyrir tölvusneiðmyndarannsóknir fyrir brjóst. Til að sýna fram á að breytileiki skanna hefur neikvæð áhrif á geislavirkni24,25 og aðra myndgreiningareiginleika26, þarf að hafa þetta í huga þegar ML módel eru hönnuð. Í skv. 27, voru áhrif þess að nota marga segulómskoðunarskanna á ML reiknirit fyrir segulómun í heila metin með reynslu. Til að draga úr áhrifum breytileika skanna í lengdar, fjölskanna segulómunrannsóknum hefur verið beitt samræmingu28,29. Hins vegar, ólíkt vinnu okkar, gera þessar aðferðir ráð fyrir að öll gögn séu tiltæk í einu, sem er ekki raunin fyrir líkan sem notað er í klínískri vinnu.

Áður hafa ýmsar aðferðir verið lagðar til til að draga úr skelfilegri gleymsku10,11 í stöðugu námi. Þessum aðferðum má skipta í stórum dráttum í þrjá flokka: æfingar- og gerviæfingaaðferðir19,30–33, reglubundnar aðferðir18,34,35 og breytueinangrunaraðferðir36,37. Fyrir nákvæma umfjöllun, sjá tilv. 10,11. Meirihluti þessara aðferða eru stigvaxandi verknámsaðferðir. Þeir leggja áherslu á að læra ný verkefni smám saman án þess að gleyma þeirri þekkingu sem krafist er fyrir fyrri verkefni. Undanfarið hafa verið lagðar til aðferðir sem hafa beinst að því að gera grein fyrir tilfærslum léna38–40. Lénsaðlögun (DA) er skylt svið rannsókna sem fjalla um lénsskipti41–43. DA leggur áherslu á

Mynd 5 Megindlegar og eigindlegar niðurstöður fyrir greiningu lungnahnúta. a Nákvæmni-innköllunarferlar af endanlegu barnalegu, DM og DM-PD þjálfuðu líkaninu samanborið við grunnlíkan sem er þjálfað á aðeins E gögnum úr skanna. Skyggðu svæðin tákna öryggisbil fyrir n=5 sjálfstæðar æfingar. b Sýnishorn af lungnahnútagreiningu af síðasta barna-, DM- og DM-PD-þjálfaða líkaninu samanborið við grunnlíkan sem aðeins var þjálfað á E-skannagögnum á öllum fjórum lénunum. Grænir kassar gefa til kynna satt-jákvæðar, gulir kassar rangt-neikvæðum og rauðir kassar rangt-jákvæðir.

aðlaga þá þekkingu sem lærð er á einu eða mörgum heimildarlénum að markléni. Í læknisfræðilegri myndgreiningu er DA notað til að laga sig á milli mismunandi myndgreiningaraðferða eða mismunandi myndatökustillinga44. Það gerir ráð fyrir aðgangi að uppruna- og markléni í einu, sem á ekki við um stillingu sem notar samfelldan gagnastraum. Ennfremur krefst DA þekkingu á léns- eða verkefnisaðild fyrir hvert sýni. Þessi forsenda er ekki raunhæf í raunverulegri læknisfræðilegri myndgreiningu. Þar er breytileiki lýsigagnakóðun myndaupplýsinga ekki beint við samanburðarhæfni myndeiginleika13. Þar sem við gerum ekki ráð fyrir að hafa aðgang að þessari þekkingu eiga þessar aðferðir ekki við fyrir stöðugt nám í klínískri venju. Þess vegna hafa þau ekki verið tekin upp í reynd hingað til. Þriðja tengt svið er flutningsnám45. Hér er núverandi líkan flutt yfir á nýtt verkefni eða lén með því að fínstilla ný gögn. Eina markmiðið er líkan sem skilar góðum árangri þar, óháð getu þess til að vinna vel á upphaflegu léninu. Við fínstillingu eru engin gögn frá upphaflegu léninu nauðsynleg.

Niðurstöður okkar sýna að getu kyrrstæðra líkana til að hluta og greina er takmörkuð þegar gögn eru aflað með myndatökuvélum utan frumþjálfunardreifingar. Á sama tíma gleyma barnalegar aðferðir sem stöðugt þjálfa á nýjum skönnum gömlum myndeiginleikum og missa getu sína til að vinna úr gögnum með fyrri öflunareiginleikum. Með því að taka stöðugt inn ný þjálfunargögn, en viðhalda fjölbreyttu æfingasetti, skilar kraftmiklu minni góða frammistöðu í öllu settinu af skanna sem skoðaðir hafa verið. Uppgötvun gerviléna, sem tákna undirhópa sem sýna svipaðan stíl eða myndeiginleika, gefur af sér hópa mynda sem samsvara skönnum, eða hópa skanna sem hafa svipaða útlitseiginleika. Uppgötvun þeirra og innspýting í þjálfunarferli fyrir

Mynd 6 Aukaminnifjölbreytileika. Samanburður á minnissamsetningu fyrir DM á móti DM-PD fyrir M=128. TSNE yfir Gram fylki þjálfunarsettsins sýnir greinarmun á lénunum. Merkingar sýna stöðu minnisþátta í lok þjálfunar fyrir eitt hlaup. DM-PD sýnir jafnari dreifingu yfir allt æfingasettið. b Fimm gervi-lén sem greindust greindust fyrir eina þjálfunarlotu af DM-PD; súlur sýna fjölda lénaþátta sem úthlutað er gervi-lénunum. c Magn lénsþátta íminnieftir þjálfun fyrir DM og DM-PD. Villustikur tákna staðalfrávik og meðaltal (miðlína), n=5 óháðar keyrslur.

DM bætir enn frekar frammistöðu líkansins. Mikilvægt er að þessi gervi-lén geta spannað marga skanna ef þau deila myndeiginleikum. Notkun stíltengdrar mælistiku dregur úr þörfinni fyrir þekkingu á lénsaðild og sýnir svipaða frammistöðu og nýjustu sínámsaðferðir sem nota þessar upplýsingar.

Annar ávinningur af nálguninni samanborið við þjálfun skanna-sértækra módela, er að frammistaða líkans á tilteknum skanna nýtur venjulega góðs af þjálfun á öðrum skanna. Eiginleikamyndir líkansins fá betri alhæfanleika með þjálfun á skyldum en ólíkum gögnum. Þetta leiðir til vinnslu nýrra skannagagna sem græða á þjálfun á eldri skanna (framáframflutningur) og öfugt (flutningur afturábak). Niðurstöður voru samræmdar í mismunandi myndgreiningaraðferðum (MRI, CT) og myndgreiningarverkefnum (skiptingu, greiningu).

Niðurstöður úr segulómgreiningu hjartans sönnuðu að DM er gagnleg samanborið við barnalegt stöðugt nám, sýnir minna skelfilega gleymsku og nær niðurstöðum sem eru sambærilegar við líkön sem þjálfuð eru á kyrrstöðu þjálfunarsetti sem samanstóð af gögnum frá öllum sviðum. Svipuð áhrif komu fram við lungnahnútagreiningu í tölvusneiðmyndavél og niðurstöður sýndu að notkun gerviléna (DM-PD) leiddi til færri falskt-jákvæðra uppgötvunar en venjulegt dynamicminni.

eyðimerkur cistanche dreka jurtir

Nálgun okkar er skref í átt að hönnun á stefnu til að læra á samfelldan gagnastraum læknisfræðilegra mynda sem hugsanlega er hægt að nota í klínískri starfsemi. Engu að síður hefur aðferðin nokkrar takmarkanir. Í fyrsta lagi er þörf á frekari rannsóknum til að sýna fram á að við getum hannað kerfi sem tryggja að það sé engin skelfileg gleymska í framtíðinni þegar fjöldi skanna er stækkaður verulega. Það er krefjandi að sanna að frammistaða DL-líkana muni ekki minnka með framtíðarlénum. Í öðru lagi krefst DM að geymt sé undirmengi myndanna til æfinga á meðan á æfingu stendur. Þó að þetta æfingasett sé umtalsvert minna en allt gagnasafnið, gætu persónuverndaráhyggjur eða geymslutakmarkanir orðið mikilvægar. Að lokum tökum við ekki tillit til kostnaðar við að gera athugasemdir við mál, að því gefnu að það séu markmerki eða afmörkunarreitir fyrir þjálfun í boði fyrir hvert sýnishorn í gagnastraumnum. Í klínískri iðkun stenst þessi forsenda ekki og þarf hugtak sem er mannlegt í lykkju7 eins og virkt nám46 til að safna nýjum skýringum fyrir óþekkt svið efnahagslega.