Metode și evaluare în învățarea automată

Regresia logistică poartă în nume cuvântul „regresie”, dar este o metodă de clasificare, care transformă rezultatul unui calcul liniar într-o formă de probabilitate, pentru a decide clasa. Predicția directă a unei valori continue este specifică metodelor de regresie, precum regresia liniară, iar alegerea acesteia din urmă, indusă de nume, este o greșeală clasică. Găsirea grupărilor fără date de antrenare ține de clustering, în cadrul învățării nesupravegheate, iar îmbunătățirea acțiunilor pe baza recompensei ține de învățarea prin întărire — ambele fiind plasate în alte subsecțiuni.

Problema de regresie prezice valori continue, precum vânzările sau temperatura, iar problema de clasificare prezice clase discrete, precum dacă un e-mail este spam sau nu. O descriere care inversează aceste două este cea mai frecventă greșeală. Învățarea supravegheată necesită, pentru oricare dintre cele două probleme, perechi de caracteristici și date de antrenare, deci nu este cazul ca doar una dintre ele să folosească exclusiv caracteristici. Folosirea exclusivă a recompensei ca indiciu este specifică învățării prin întărire și nu descrie învățarea supravegheată.

Cea cu o singură variabilă explicativă este regresia simplă, iar cea cu două sau mai multe variabile explicative este regresia multiplă. Deoarece cuvintele „simplă” și „multiplă” exprimă direct numărul de variabile explicative, o descriere care le inversează este evident greșită. Ambele sunt metode de regresie care prezic valori continue, deci nu este corect ca una dintre ele să fie descrisă drept clasificare. De asemenea, analiza de regresie este învățare supravegheată și necesită date de antrenare, indiferent de numărul de variabile.

SVM trasează granița în poziția în care distanța dintre graniță și cel mai apropiat punct de date, adică marja, este maximă — de unde numele maximizarea marjei. Acest punct cel mai apropiat este numit vector suport. Adăugarea succesivă de clasificatori, crescând ponderea datelor clasificate greșit, este ideea din spatele boosting-ului, iar căutarea direcției cu varianța maximă este ideea din spatele analizei componentelor principale (PCA) — niciuna dintre acestea nu descrie SVM. Metoda de a trasa granița prin punctul de mijloc al centrelor de greutate nu ia deloc în calcul marja.

Trucul kernelului permite realizarea unei separări neliniare fără a calcula efectiv coordonatele din spațiul de dimensiune mare în care s-ar proiecta datele, obținând direct, printr-o funcție kernel, produsul scalar de după proiecție. Faptul că nu este nevoie să se calculeze coordonatele una câte una este motivul pentru care se numește „truc”, deci o descriere care spune că separarea se face după ce s-au calculat efectiv coordonatele are direcția greșită. Împărțirea fără date de antrenare ține de clustering, iar nu este nici un mecanism care reduce numărul de exemple de date de antrenare.

Bagging construiește clasificatori în paralel, independent unul de altul, din date de antrenare create prin eșantionare bootstrap, apoi ia decizia prin vot majoritar sau prin medie. Boosting adaugă clasificatori secvențial, unul câte unul, tratând cu pondere mai mare exemplele pe care clasificatorul anterior le-a greșit, deci depinde de ordine și nu poate fi construit în paralel. Inversarea paralelului cu secvențialul este cea mai frecventă greșeală. Ambele sunt învățare supravegheată și folosesc date de antrenare, iar tipurile de clasificatori slabi folosibili nu se limitează la arbori de decizie sau la regresie liniară.

Random Forest este un exemplu reprezentativ de bagging, care creează date de antrenare ușor diferite prin eșantionare bootstrap — o extragere care permite repetiții —, apoi crește, în paralel și independent, un număr mare de arbori de decizie, luând decizia prin vot majoritar sau prin medie. Adăugarea arborilor unul câte unul, tratând cu pondere mai mare erorile arborelui anterior, este specifică boosting-ului, precum gradient boosting, iar inversarea acestora este o greșeală clasică. Nu se folosește un singur arbore, ci un număr mare, iar ceea ce este combinat sunt arbori de decizie, nu regresii liniare.

Arborele de decizie este o metodă care aranjează condițiile de ramificare pentru caracteristici sub formă de arbore, punctul său forte fiind că omul poate citi în ce condiție s-a mers într-o direcție sau alta. Pe de altă parte, cu cât arborele este crescut mai adânc, cu atât ajunge să memoreze chiar și particularitățile fine ale datelor de antrenare, tinzând, luat singur, spre supra-antrenare. Adâncirea îmbunătățește, de fapt, potrivirea cu datele de antrenare, iar problema este tocmai că performanța scade pe date noi, așa că afirmația conform căreia potrivirea se înrăutățește neapărat este greșită. Arborele de decizie este învățare supravegheată și poate fi folosit atât pentru clasificare, cât și pentru regresie.

Modelul AR explică valoarea curentă a unei singure serii de timp prin valorile trecute ale seriei înseși. Modelul VAR extinde această idee la mai multe serii de timp, explicându-le reciproc prin valorile trecute ale celeilalte. Diferența este dacă este vorba de o singură serie sau de mai multe, deci o descriere care inversează acest lucru este greșită. Ambele sunt modele pentru serii de timp, nu instrumente pentru a extrage caracteristici locale din imagini sau componente de frecvență din sunet. Nu se disting nici după necesitatea datelor de antrenare.

Clasificarea multi-clasă este o problemă de clasificare în care se stabilește căreia dintre trei sau mai multe clase îi aparține un exemplu, iar atribuirea unei cifre scrise de mână uneia dintre clasele de la 0 la 9 este exemplul tipic. Predicția unei valori continue, precum temperatura maximă, este o problemă de regresie, nu de clasificare. Găsirea grupurilor de clienți similari ține de clustering, în cadrul învățării nesupravegheate, iar alegerea mutării pe baza recompensei ține de învățarea prin întărire — niciuna dintre acestea nefiind, de la bun început, o problemă de clasificare din învățarea supravegheată.

Programa menționează, ca obiectiv, înțelegerea faptului că învățarea nesupravegheată necesită doar caracteristici. Fără a deține etichete de răspuns corect, învățarea nesupravegheată găsește structura proprie a datelor prin clustering sau reducere de dimensionalitate. Presupunerea unor perechi de caracteristici și date de antrenare este specifică învățării supravegheate, iar folosirea recompensei ca indiciu este specifică învățării prin întărire, ambele plasate în alte subsecțiuni. Nici procedura de a elimina restul datelor nu descrie învățarea nesupravegheată.

Metoda k-means este o clusterizare non-ierarhică, în care numărul de clustere k este stabilit dinainte, iar apoi se repetă atribuirea fiecărui punct celui mai apropiat centru de greutate și recalcularea centrelor de greutate. Unirea, în ordine, a elementelor apropiate, fără a stabili numărul de clustere, este specifică clusterizării ierarhice, precum metoda Ward, care poate produce o dendrogramă (diagramă arborescentă). Maximizarea marjei este specifică SVM, din învățarea supravegheată, iar estimarea temelor din modul de apariție a cuvintelor este specifică modelelor de teme, precum alocarea Dirichlet latentă (LDA).

Metoda Ward este o clusterizare ierarhică ce unește, în ordine, elementele apropiate, iar procesul de unire poate fi desenat sub formă de dendrogramă (diagramă arborescentă). Avantajul este că numărul de clustere poate fi decis ulterior, în funcție de la ce înălțime se face tăierea. Metoda care stabilește dinainte numărul de clustere, fără ierarhie, este metoda k-means, care nu produce o dendrogramă. Metoda Ward nu este o metodă de reducere a dimensionalității, nici de învățare supravegheată, și nu folosește etichete de răspuns corect.

PCA este o reducere de dimensionalitate liniară, care reorientează axele în direcția în care varianța este maximă, iar t-SNE este o metodă neliniară, care proiectează într-un spațiu de dimensiune redusă păstrând apropierea dintre punctele apropiate, fiind des folosită pentru vizualizare în 2 sau 3 dimensiuni. Inversarea liniarului cu neliniarul este o greșeală clasică. Estimarea temelor unui document este specifică modelelor de teme, precum alocarea Dirichlet latentă (LDA), iar descompunerea matricială este specifică descompunerii în valori singulare (SVD). Atât PCA, cât și t-SNE sunt învățare nesupravegheată, deci nu necesită date de antrenare.

Filtrarea colaborativă recomandă pe baza asemănării evaluărilor dintre utilizatori sau dintre produse, astfel încât pentru un utilizator sau un produs nou, fără istoric de evaluări, nu există indicii de folosit, iar recomandarea este greu de generat. Aceasta este problema pornirii la rece. Filtrarea bazată pe conținut, care folosește ca indiciu textul descriptiv sau atributele produsului însuși, este discutată alături, ca o abordare menită să compenseze această slăbiciune. Nu este vorba despre timpul de calcul sau despre stocuri.

Învățarea prin întărire interacționează cu mediul prin încercare și eroare, învățând o politică care maximizează cumularea recompensei primite. Indiciul nu este o etichetă de răspuns corect pentru fiecare mutare, ci recompensa, deci nu este un tip de învățare supravegheată. Folosirea exclusivă a apropierii distanțelor ca indiciu este ideea din spatele clusteringului și a altor metode de învățare nesupravegheată, iar numărul de apariții ale cuvintelor ține de reprezentarea caracteristicilor în procesarea limbajului natural — niciunul dintre acestea nefiind semnalul de învățare al învățării prin întărire. Evaluarea viitorului printr-o rată de discount, pentru cazurile în care recompensa nu revine imediat, este de asemenea o caracteristică a acestui cadru.

Programa menționează, ca obiectiv, înțelegerea celor două abordări reprezentative — învățarea funcției de valoare și învățarea politicii. Prima estimează funcția de valoare a stării sau funcția de valoare a acțiunii, apoi alege acțiunea pe baza acesteia, exemple reprezentative fiind Q-learning și SARSA. A doua exprimă politica însăși printr-un set de parametri și o actualizează direct, exemple reprezentative fiind metoda gradientului politicii și REINFORCE. Actor-Critic combină un Actor, responsabil cu politica, și un Critic, responsabil cu valoarea, deținând ambele componente. O descriere care spune că există doar una dintre cele două, sau că niciuna nu poate fi obiectul învățării, este greșită.

Ambele sunt metode de învățare prin întărire care actualizează funcția de valoare a acțiunii, diferența constând în ce se folosește la actualizare. Q-learning folosește valoarea maximă dintre acțiunile posibile în starea următoare, iar SARSA folosește valoarea acțiunii următoare alese efectiv, la actualizare. Inversarea acestor două este o greșeală clasică. Q-learning actualizează, de asemenea, funcția de valoare a acțiunii, deci afirmația că doar una dintre ele o folosește este greșită. Ambele fiind cadre de învățare prin recompensă din învățarea prin întărire, afirmația că este nevoie de date de antrenare este de asemenea greșită.

Brațul cu valoarea estimată maximă este ales în două situații: atunci când se alege prin exploatare (greedy) și atunci când, ca rezultat al alegerii aleatorii, se nimerește exact acel braț. Prima are probabilitatea 0,900, adică 1 minus 0,1, iar a doua are probabilitatea 0,025, adică 0,1 împărțit la 4, iar suma lor este 0,925. 0,900 este valoarea care omite partea care nimerește prin alegerea aleatorie, 0,250 este probabilitatea alegerii uniforme dintre cele 4 brațe, iar 0,100 este chiar valoarea lui ε. Cu cât ε este mai mare, cu atât crește explorarea, iar această probabilitate scade.

Înmulțind 4 cu 0,5 se obține 2, înmulțind 12 cu 0,5 la pătrat, adică 0,25, se obține 3, iar înmulțind 8 cu 0,5 la cub, adică 0,125, se obține 1; suma este 6,0. 24,0 este valoarea obținută adunând pur și simplu 4, 12 și 8, fără nicio reducere, 12,0 este acea valoare de 24 înmulțită o singură dată cu 0,5, iar 7,5 este valoarea obținută inversând ordinea înmulțirii — 4 cu 0,125, 12 cu 0,25 și 8 cu 0,5 — toate fiind confuzii frecvente. Rolul ratei de discount este de a evalua mai puțin recompensele îndepărtate în viitor, astfel încât cele mai apropiate primesc o pondere mai mare.

Precision are la numitor cazurile prezise ca pozitive, deci se împarte cele 40 de adevărat-pozitive la suma dintre 40 adevărat-pozitive și 10 fals-pozitive, adică 50, obținându-se 0,80. 0,67 este recall, care are la numitor cazurile efectiv pozitive, obținut împărțind 40 la suma dintre 40 adevărat-pozitive și 20 fals-negative, adică 60. 0,85 este accuracy (acuratețea), proporția celor 170 de cazuri corect prezise din totalul de 200, iar 0,73 este scorul F, media armonică dintre precision 0,80 și recall 0,67 — toate fiind valori ale altor indicatori, calculați din greșeală.

Precision este „proporția celor prezise ca pozitive care sunt efectiv pozitive”, deci numitorul se află pe partea predicției. Recall este „proporția celor efectiv pozitive care au fost identificate”, deci numitorul se află pe partea realității. Inversarea acestor două este cea mai frecventă greșeală, așa că merită reținut dacă numitorul este predicția sau realitatea. Numitorul egal cu totalul datelor este specific accuracy, iar un indicator care are la numitor doar adevărat-negative sau doar fals-negative nu corespunde niciunuia dintre aceștia doi. Când se dorește reducerea detecțiilor greșite, se pune accent pe precision, iar când se dorește reducerea omisiunilor, pe recall.

Scorul F este media armonică dintre precision și recall, deci se înmulțește 2 cu produsul dintre 0,6 și 0,9, adică 0,54, obținându-se 1,08, care se împarte la suma dintre 0,6 și 0,9, adică 1,5, rezultând 0,72. 0,75 este valoarea obținută calculând media aritmetică, nu media armonică, 0,54 este doar produsul celor două valori, iar 1,50 este doar suma lor. De reținut și că media armonică este atrasă spre valoarea mai mică, deci este mai mică decât media aritmetică de 0,75.

Deoarece doar 1% este pozitiv, răspunzând întotdeauna negativ se nimerește 99% dintre cazuri, deci accuracy devine 99%. Totuși, deoarece niciun caz efectiv pozitiv nu a fost identificat, recall este 0%, iar acest model este inutil. Atunci când clasele nu sunt echilibrate, urmărirea exclusivă a accuracy duce la o judecată greșită, așa că trebuie urmărite și recall, scorul F, precum și curba ROC și AUC. În acest scenariu, accuracy nu poate deveni 1% sau 50%.

Curba ROC este desenată variind pragul de decizie, cu rata adevărat-pozitivă pe axa verticală și rata fals-pozitivă pe axa orizontală, iar aria de sub această curbă este AUC. Cu cât AUC este mai apropiat de 1, cu atât este mai bun, iar 0,5 înseamnă un nivel echivalent cu o decizie la întâmplare. Dacă axa verticală ar fi precision, iar cea orizontală recall, s-ar obține o curbă complet diferită, iar aici apare cea mai frecventă confuzie. Combinația accuracy și numărul de date, sau eroare și numărul de repetări, aparțin altor grafice, folosite pentru a urmări evoluția învățării.

Atât AIC, cât și BIC sunt indicatori care însumează calitatea potrivirii cu datele și o penalizare pentru creșterea numărului de parametri, iar cu cât valoarea este mai mică, cu atât modelul este considerat mai bun. Este greșit să se considere că valoarea mai mare este mai bună, iar aici apare cea mai frecventă capcană. Dacă s-ar alege doar pe baza potrivirii cu datele de antrenare, ar fi aleși mereu modelii cu mai mulți parametri, ceea ce ar duce spre supra-antrenare, motiv pentru care se introduce o penalizare, pentru a menține echilibrul. Este aceeași direcție ca și principiul briciului lui Occam, de a nu complica mai mult decât este necesar.

Validarea încrucișată cu k partiții împarte datele în k grupuri, folosește unul dintre ele pentru validare, iar restul pentru învățare, repetând această procedură de k ori și mediind rezultatele. Împărțind 200 de date în 5 părți, fiecare grup are 40, deci validarea folosește de fiecare dată 40 de date, iar învățarea folosește restul de 160, repetând acest lucru de 5 ori. Împărțirea o singură dată este validarea de tip holdout, care este ușoară din punct de vedere al calculului, dar rezultatul depinde puternic de modul de împărțire. Folosirea a 160 de date pentru validare este o confuzie a rolurilor dintre învățare și validare.

Pătratele erorilor sunt 4, 16, 16 și 0, iar suma lor este 36. Împărțind acest 36 la numărul de cazuri, 4, se obține 9, care este eroarea pătratică medie (MSE), iar rădăcina pătrată a acesteia, 3,0, este RMSE. 9,0 este valoarea rămasă la stadiul de MSE, 2,5 este eroarea medie absolută (MAE), media valorilor absolute ale erorilor 2, 4, 4 și 0, iar 6,0 este rădăcina pătrată a sumei pătratelor, 36, fără a se împărți la numărul de cazuri. RMSE este ușor de interpretat deoarece are aceeași unitate de măsură ca eroarea originală.

Suma 84 împărțită la numărul de cazuri, 7, dă media 12; al 4-lea element, atunci când sunt ordonate crescător, este 6, deci mediana este 6, iar valoarea 4, care apare de două ori, este modul. Ideea centrală este că valoarea extremă 50 trage puternic doar media, în timp ce mediana și modul rămân aproape neschimbate — un exemplu al faptului că nu trebuie luată o decizie uitându-se la un singur indicator de tendință centrală. Valorile care inversează media cu mediana, sau care confundă mediana cu modul, sunt greșeli frecvente.

Corelația spurioasă este fenomenul în care, așa cum vânzările de înghețată și numărul accidentelor de înec evoluează împreună din cauza unui factor comun — temperatura —, apare corelație între doi factori fără o relație cauzală directă. Lecția aici este că existența unei corelații nu implică neapărat existența unei relații cauzale, deci un coeficient de corelație pozitiv nu înseamnă că unul este cauza și celălalt efectul. De asemenea, chiar dacă coeficientul de corelație este 0, se poate ascunde o relație neliniară, așa că nu se poate stabili cu certitudine absența oricărei relații. Tratarea valorilor extreme este un subiect diferit de acesta.