LSTM

LSTM — rekurentā mākslīgā neironu tīkla (RNN) paveids “Long Short-Term Memory”, kas tiek izmantots dziļās mācīšanās jomā. Atšķirībā no standarta neironu tīkliem, LSTM ir atgriezeniskās saites savienojumi. Ar LSTM var aprēķināt visu, ko var izmantot Tjūringa mašīna. Tam nevar būt viens datu punkts (piem., attēls vai video). LSTM ir piemērots tādiem uzdevumiem kā saistītā rokraksta atpazīšana un runas atpazīšana. Bloomberg Business Week rakstīja: "Šīs īpašības neapšaubāmi padara LSTM par vislielāko komerciālo AI sasniegumu, ko izmanto visur, sākot no slimību prognozēšanas līdz mūzikas veidošanai."

Bieži sastopama LSTM vienība sastāv no šūnas, ievada vārtiem, izvada vārtiem un aizmiršanas vārtiem. Šūna atceras vērtības patvaļīgos laika intervālos, un trīs vārti regulē informācijas plūsmu uz un no šūnas.

LSTM tika izstrādāts, lai risinātu pārslodzes un izzūdošo gradientu problēmas, kas var rasties, apmācot tradicionālos RNN. Relatīvā nejutība pret tukšiem datiem ir LSTM priekšrocība pār RNN, slēptajiem Markova modeļiem un citām secību mācīšanās metodēm daudzās lietojumprogrammatūrās.

Vēsture

LSTM šūna var apstrādāt datus secīgi un saglabāt tās slēpto stāvokli laika gaitā.

1997. gadā Zeps Hohreiters un Jirgens Šmīdhūbers ierosināja LSTM. Ieviešot Constant Error Carousel (CEC) vienības, LSTM nodarbojas ar pārslodzes un izzūdošām gradienta problēmām. LSTM bloka sākotnējā versija ietvēra šūnas, ievada un izvada vārtus.

1999. gadā Felikss Gers, viņa padomnieks Jirgens Šmīdhūbers un Freds Cummins LSTM arhitektūrā ieviesa aizmiršanas vārtus (sauktus arī par “turēšanas vārtiem”), ļaujot LSTM atjaunot savu stāvokli.

2000. gadā Gers, Šmīdhūbers un Cummins pievienoja arhitektūrā savienojumus no šūnas uz vārtiem. Turklāt izejas aktivizēšanas funkcija tika izlaista.

Citu panākumu vidū LSTM sasniedza rekorda rezultātus dabiskās valodas teksta saspiešanā, saistītā rokraksta atpazīšanā un uzvarēja ICDAR rokraksta sacensībās (2009).

Kopš 2016. gada vadošie tehnoloģiju uzņēmumi, tostarp Google, Apple un Microsoft, izmantoja LSTM kā pamatelementu jaunos produktos. Google izmantoja LSTM runas atpazīšanai viedtālrunī, viedajam palīgam Allo un Google tulkotājam. Apple izmanto LSTM "Quicktype" funkcijai iPhone un Siri. Amazon izmanto LSTM iekš Amazon Alexa.

2017. gadā Facebook katru dienu veica aptuveni 4,5 miljardus automātisko tulkojumu, izmantojot LSTM tīklus.

2017. gadā Mičiganas Universitāte, IBM pētniecība un Kornela Universitāte pētnieki publicēja pētījumu “Knowledge Discovery and Data Mining” (KDD) konferencē. Viņu pētījums apraksta jaunu neironu tīklu, kas noteiktus datu kopumus apstrādā labāk nekā plaši izmantotais LSTM tīkls.

Ideja

Teorētiski, klasiskais RNN var izsekot patvaļīgām ilgtermiņa atkarībām. RNN problēma ir skaitļošanā — RNN apmācības laikā, izmantojot back-propagation, gradienti var "izzust" (tie var būt nulle) vai “pārslogoties” (tie ir tendēti uz bezgalību), jo procesā iesaistītie aprēķini izmanto galīgās precizitātes skaitļus. Izmantojot LSTM vienības, RNN daļēji atrisina gradienta izzušanas problēmu, jo LSTM vienības ļauj gradientiem palikt nemainītiem. Tomēr LSTM tīkli joprojām var ciest no gradienta pārslodzes problēmas.

Arhitektūra

Ir vairākas LSTM vienību arhitektūras. Kopēja arhitektūra sastāv no šūnas (LSTM vienības atmiņas daļas) un trīs informācijas plūsmas "regulatoriem" (vārtiem) — ievada vārtiem, izvada vārtiem un aizmiršanas vārtiem. Dažām LSTM vienības variācijām nav vieni vai vairāki no šiem vārtiem vai varbūt ir citi vārti. Piemēram, GRU nav izvada vārtu.

Šūna ir atbildīga par atkarības saglabāšanu starp ievades secībā esošajiem elementiem. Ievada vārti kontrolē, cik daudz jauno vērtību ieplūst šūnā, aizmiršanas vārti kontrolē, cik lielā mērā vērtība paliek šūnā, un izvada vārti kontrolē, kāda daļa šūnas vērtības tiek izmantota izvada aprēķināšanai LSTM vienībai. LSTM vārtu aktivizēšanas funkcija bieži ir loģistikas funkcija.

Ir savienojumi uz un no LSTM vārtiem, no kuriem daži atkārtojas. Šo savienojumu svars, kas jāapgūst treniņa laikā, nosaka, kā darbojas vārti.

Versijas

Turpmākajos vienādojumos mazie burti ir vektori. Matricas $W_{q}$un $U_{q}$satur ievada un atkārtojumu svarojuma saistību, kur indekss $_{q}$ var būt gan ievada vārti $i$, izvada vārti $o$, aizmiršanas vārti $f$ vai atmiņas šūna $c$, atkarībā no tā, kas tiek aprēķināts. Šajā sadaļā tiek izmants "vektora apzīmējums". Piemēram, $c_{t}\in \mathbb {R} ^{h}$ ir nevis viena LSTM vienības šūna, bet $h$ LSTM vienību šūnas.

LSTM ar aizmiršanas vārtiem

Kompaktas vienādojumu formas padotajām LSTM vienībām ar aizmiršanas vārtiem:

${\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}$

kur sākotnējās vērtības ir $c_{0}=0$ un $h_{0}=0$ un operators $\circ$apzīmē Hadamard produktu (element-gudrs produkts). Apakšindekss $t$ apzīmē laika soli.

Mainīgie

• $x_{t}\in \mathbb {R} ^{d}$: LSTM vienības ievades vektors
• $f_{t}\in \mathbb {R} ^{h}$: aizmiršanas vārtu aktivizācijas vektors
• $i_{t}\in \mathbb {R} ^{h}$: ievades vārtu aktivizācijas vektors
• $o_{t}\in \mathbb {R} ^{h}$: izvades vārtu aktivizācijas vektors
• $h_{t}\in \mathbb {R} ^{h}$: slēptā stāvokļa vektors, zināms arī kā LSTM vienības izejas vektors
• $c_{t}\in \mathbb {R} ^{h}$: šūnas stāvokļa vektors
• $W\in \mathbb {R} ^{h\times d}$, $U\in \mathbb {R} ^{h\times h}$ un $b\in \mathbb {R} ^{h}$: svara matricas un novirzes vektora parametri, kas jāapgūst apmācības laikā

mainīgie $d$ un $h$ attiecas uz ievades funkciju skaitu un slēpo vienības skaitu.

Aktivizācijas funkcijas

• $\sigma _{g}$: sigmoid funkcija.
• $\sigma _{c}$: hyperbolic tangent funkcija.
• $\sigma _{h}$: hyperbolic tangent funkcija vai kā LSTM raksts raksta, $\sigma _{h}(x)=x$.

Peephole LSTM

Peephole LSTM vienība ar ievada $i$, izvada $o$, un aizmiršanas $f$vārtiem. Katrus no šiem vārtiem var uzskatīt par "standarta" neironu vairāku slāņu neirona tīklā. Tie, izmantojot aktivizēšanas funkciju, aprēķina svērto summu aktivizāciju. $i_{t},o_{t}$ un $f_{t}$laika $t$gaitā attēlo attiecīgi ievada, izvada un aizmiršanas vārtu aktivizēšanu. 3 izejas bultas no atmiņas šūnas $c$ uz 3 vārtiem $i,o$ un $f$ attēlo peephole savienojumus. Šie peephole savienojumi faktiski apzīmē atmiņas šūnas $c$aktivizēšanas ieguldījumu laikā ar soli $t-1$, t.i. ieguldījumu $c_{t-1}$ nevis $c_{t}$, kā bildē attēlots. Citiem vārdiem sakot, vārti $i,o$ un $f$ aprēķina aktivizēšanos ar laika soli $t$ ($i_{t},o_{t}$ un $f_{t}$), ņemot vērā arī atmiņas šūnas aktivizēšanu $c$ ar laika soli $t-1$,t.i, $c_{t-1}$. Vienīgā bulta, kas iziet no atmiņas šūnas no kreisās uz labo pusi, nav peephole savienojums un apzīmē $c_{t}$. Mazie aplīši ar $\times$ simbolu ir element-gudrs reizinājums. Lielie apļi ar S veida līkni atspoguļo diferencējamas funkcijas pielietojumu (piemēram, sigmoido funkciju) ar svērto summu. Ir arī daudzi citi LSTM veidi.

Peephole savienojumi ļauj vārtiem piekļūt constant error carousel (CEC), kura aktivizācija ir šūnas stāvoklis. $h_{t-1}$ netiek izmantots, tā vietā vairums vietās izmanto $c_{t-1}$.

${\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+U_{c}c_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}$

Peephole konvolūcijas LSTM

Peephole konvolūcijas LSTM. Simbols $*$ apzīmē konvulūcijas operatoru.

${\begin{aligned}f_{t}&=\sigma _{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\circ c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\circ c_{t-1}+b_{i})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c})\\o_{t}&=\sigma _{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\circ c_{t}+b_{o})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}$