Informatikaren 50 urte 50 teknologiatan/Indargarri bidezko ikaskuntza

Errefortzu bidezko ikasketaren irudikapen tipikoa: agente batek ingurune batean hartzen ditu ekintzak, eta ingurune horretatik sari bat eta egoeraren irudikapen bat jasotzen ditu. Informazio hori hurrengo ekintza aukeratzeko erabiltzen da.

Errefortzu bidezko ikaskuntza, indargarri bidezko ikaskuntza, edo ikaskuntza indartua (ingelesez: reinforcement learning) ikaskuntza automatikoaren (AA) arlo bat da, psikologia konduktistan inspiratua. Arlo hontan, agente batek ingurune jakin batean hartuko dituen ekintzak ikastea da helburua. Zehazki, agentearen ekintza bakoitzaren kalitatea "sari" edo irabazi seinale batekin neurtzen da, helburua denboran zehar sari hau maximizatzea da.

Ikasketa gainbegiratuan ez bezala, errefortzu bidezko ikasketan agenteak hartu beharreko ekintza optimoak ez dira aurrez ezagutu behar: proba eta akats bidez aurkitu eta ikasi behar dira. Ekintzen kalitatea neurtzen duen seinale bat ezagutzearekin nahikoa da algoritmo hauek aplikatzeko. Berezitasun honek, errefortzu bidezko ikasketa beste ikasketa mota batzuk ezinezkoak diren arloetara aplikatzea ahalbidetzen du. Adibidez, Go partida batean, ezinezkoa da akzio optimo bakoitza zein den jakitea, baina akzio batek partida irabazi edo galtzera eraman gaituen erraz jakin daiteke. Beraz, errefortzu bidezko ikasketan, partidaren emaitza sari moduan erabili daiteke.

Horrelako ezaugarriak dituzten problema asko egoteak, errefortzu bidezko ikasketa azken hamarkadetako AA aurrerapen askoren atzean egoteak eraman du. Adibidez, matrizeak biderkatzeko algoritmo azkarragoak topatzea, proteinen estruktura aurreikustea, edo bideo-joko askotan gizakiak baina hobeto jolastea.

Arazoa orokorra denez, beste diziplina askotan aztertu eta erabili da, hala nola joko-teoria, kontrolaren teoria, ikerkuntza eragilea, hizkuntzaren prozesamendua, informazio-teoria, simulazioetan oinarritutako optimizazioa, estatistika eta eboluzioan oinarritutako algoritmoak.

Sarrera

Errefortzu bidezko ikasketa automatikoaren problema Markoven erabaki-prozesu (MDP) gisa formulatzen da normalean. MDP batek honakoa oinarrizko elementuz osatua dago (xake jokuarentzako adibidearekin):

1. Ingurunearen egoeren multzoa $𝒮$ (adib., xake tablak izan ditzazkeen konfigurazio guztien multzoa).
2. Ekintzen multzoa $𝒜$ (adib., xakean egin daitezken mugimenduen multzoa).
3. Trantsizio funtzioa $p(s_{t+1}\mid s_t,a_t)$ (adib., aurkariak sortuko duen hurrengo xake tableroaren probabilitatea).
4. Sari funtzioa $r(s_t,a_t)$ (adib., partida irabazteko probabilitea azken ekintza egin eta gero).

Agentea, uneko egoera $s_t$ emanda hurrengo ekintza zein izango den aukeratu behar du. Ohiko formulazioa jarraituz, agentea, uneko egoerarekin kondizionatutako akzioen gaineko banaketa baten bidez modelatzen da, hau da, $\pi (a_t\mid s_t)$. Testuinguru hontan, $\pi (a_t\mid s_t)$ funtzioari politika deitzen zaio ere. Aipatzekoa da, bai trantsizio funtzioa (ingurunea) eta bai agentea estokastikoak izan daitezkela, hau da, ez dira deterministak izan behar beti.

Beraz, $s_0$ denboran hasita eta hurrengo $t$ guztientzako, ingurunearen hurrengo egoera $s_{t+1}$ lagintzen da trantsizio funtziotik, egoera hontan oinarrituta, agenteak uneko ekintza lagintzen du $a_{t+1}$, eta sari seinalea kalkulatzen da $r_{t+1}=r(s_{t+1},a_{t+1})$. Errefortzu bidezko ikasketaren helburua sari $r$ seinalea denboran zehar maximizatzea da. Denboran zehar metatzen den sari honi, irabazi totala $G$ deitzen zaio:

$G=\sum _{t=0}^H{\gamma }^t{R}_{t+1}$

Non, $R_{t+1}$ agenteak $t+1$ unean lortutako sariaren ausazko aldagaia den eta $0\ge \gamma \le 1$ deskontu-faktorea deritzon eskalarra den. Azkeneko kontzeptu hau ekonomiatik eratorria da, eta uneko saria etorkizuneko saria baina garrantzia gehiago duela kodifikatzen du. Azkenik, $H$ azken pausua (pausuei ere interakzio deitzen zaie) zein den adierazten du. Errefortzu bidezko ikasketan, hasieratik $t=0$ hasita, interakzioak amaitzen diren arteko denborari, episodio deitzen zaio. Xakearen adibidearekin jarraitzen, episodio bat xake partida oso bati deritzaio.

Optimotasuna

Aurreko definizioei jarraituz, agente optimoa ${\pi }^{\ast }$ espero den irabazi totala maximizatzen duen politika da. Formalki,

${\pi }^{\ast }=\arg \underset{\pi }{max}𝔼[G\mid \pi ].$

Esperantza erabiltzen da, bai ingurunea bai politika estokastikoak izan daitezkelako. Gogoratu, praktikan agenteak ez duela ez trantsizio-funtzioa ezta sari-funtzioa ezagutzen: ingurunean egiten dituen ekintzen bitartez ikasi behar du.

Politika baten kalitatea neurtzeko bi funtzio erabiltzen dira. Lehenengoa egoera-balioaren funtzioa da:

$v_{\pi }(s)=𝔼[G_t\mid S_t=s,\pi ],$

hau da, egoera jakin batean hasi eta $\pi$ agentea jarraituz espero den irabazi totala. Bigarrena ekintza-balioaren funtzioa da:

$q_{\pi }(s,a)=𝔼[G_t\mid S_t=s,A_t=a,\pi ],$

hau da, $a$ ekintza $s$ egoeran egin ondoren $\pi$ agentea jarraituz espero den irabazi totala.

Balio-funtzio horiek ezagututa, egoera bakoitzean balio handiena duen ekintza aukeratuz politika hobeak eraiki daitezke. Hori dela eta, errefortzu bidezko ikaskuntzako algoritmo gehienak agente optimoa zuzenean ikasi edo haren balio-funtzioak estimatzen saitzen dira. Bi paradigma hauek, errefortzu bidezko ikasketaren bi adar nagusiak definitzen dituzte.

Ikasketa metodoak

Errefortzu bidezko ikasketako algoritmoak bi familia nagusitan sailkatu ohi dira: balioetan oinarritutako metodoak (value-based methods) eta politikan oinarritutako metodoak (policy-based methods).

Balioetan oinarritutako metodoek egoera edo ekintza bakoitzaren balioa estimatzen dute, eta balio handiena duen ekintza aukeratuz erabakitzen dute nola jokatu. Familia honetako algoritmo ezagunenak Q-learning eta SARSA dira. Azken urteetan, ikuspegi hau sare neuronal sakonekin konbinatzeak Deep Q-Network (DQN) algoritmoa ekarri zuen, Atari bideo-joko askotan giza mailako errendimendua lortu zuena.

Politikan oinarritutako metodoek, aldiz, ez dute balio-funtzio batetik ekintzarik ondorioztatzen eta zuzenean ikasten dute egoera bakoitzean zer ekintza aukeratu behar den. Ikuspegi hau bereziki erabilgarria da ekintza-espazioa jarraitua (adib., beso robotiko baten artikulazioak mugitzea) denean. Familia honetako algoritmo ezagunenak REINFORCE, Trust Region Policy Optimization (TRPO) eta Proximal Policy Optimization (PPO) dira, azkenekoa gaur egun gehien erabiltzen diren algoritmoetako bat izanda.

Praktikan, algoritmo moderno askok bi ikuspegi hauek konbinatzen dituzte. Actor–critic izeneko metodoetan, osagai batek politika ikasten du (actor), eta beste batek hartutako ekintzen kalitatea ebaluatzen du (critic)..