Cum se utilizează curbele de învățare pentru a diagnostica performanța modelului de învățare automată

Ultima actualizare la 6 august 2019

O curbă de învățare este un complot al performanței de învățare model pe parcursul experienței sau al timpului.

Curbele de învățare sunt un instrument de diagnostic utilizat pe scară largă în învățarea automată pentru algoritmi care învață în mod incremental dintr-un set de date de antrenament. Modelul poate fi evaluat pe setul de date de antrenament și pe un set de date de validare extindere după fiecare actualizare în timpul antrenamentului și graficele de performanță măsurate pot fi create pentru a arăta curbele de învățare.

Revizuirea curbelor de învățare a modelelor în timpul antrenamentului poate fi utilizată pentru a diagnostica problemele legate de învățare, cum ar fi un model de îmbrăcăminte sau de îmbrăcăminte, precum și dacă seturile de date de formare și validare sunt reprezentative în mod corespunzător.

În această postare, veți descoperi curbele de învățare și cum pot fi utilizate pentru a diagnostica comportamentul de învățare și generalizare a modelelor de învățare automată, cu exemple de comploturi care arată probleme comune de învățare.

După ce citiți această postare, veți ști:

• Curbele de învățare sunt comploturi care arată schimbări ale performanței învățării în timp în ceea ce privește experiența.
• Curbele de învățare ale performanței modelului pe tren și seturile de date de validare pot fi folosite pentru a diagnostica un model subconjurat, overfit sau potrivit.
• Curbele de învățare ale modelului de performanță pot fi utilizate pentru a diagnostica dacă trenul sau seturile de date de validare nu sunt relativ reprezentative pentru domeniul problemei.

Lansați proiectul cu noua mea carte Better Deep Learning, inclusiv tutoriale pas cu pas și fișierele de cod sursă Python pentru toate exemplele.

Să începem.

O introducere ușoară a curbelor de învățare pentru diagnosticarea performanței modelului de învățare profundă
Fotografie de Mike Sutherland, unele drepturi rezervate.

Prezentare generală

Acest tutorial este împărțit în trei părți; sunt:

1. Curbele de învățare
2. Diagnosticarea comportamentului modelului
3. Diagnosticarea seturilor de date nereprezentative

Curbele de învățare în învățarea automată

În general, o curbă de învățare este un grafic care arată timpul sau experiența pe axa x și învățarea sau îmbunătățirea pe axa y.

Curbele de învățare (LC) sunt considerate instrumente eficiente pentru monitorizarea performanței lucrătorilor expuși unei noi sarcini. LC-urile oferă o reprezentare matematică a procesului de învățare care are loc pe măsură ce se repetă sarcina.

De exemplu, dacă învățați un instrument muzical, abilitatea dvs. pe instrument ar putea fi evaluată și i se va atribui un scor numeric în fiecare săptămână timp de un an. Un grafic al scorurilor pe parcursul celor 52 de săptămâni este o curbă de învățare și ar arăta cum s-a schimbat învățarea instrumentului în timp.

• Curbă de învățare: Linie de învățare (axa y) peste experiență (axa x).

Curbele de învățare sunt utilizate pe scară largă în învățarea automată pentru algoritmi care învață (își optimizează parametrii interni) în mod incremental în timp, cum ar fi rețelele neuronale de învățare profundă.

Metrica utilizată pentru a evalua învățarea ar putea fi maximizată, ceea ce înseamnă că scoruri mai bune (numere mai mari) indică mai multă învățare. Un exemplu ar fi acuratețea clasificării.

Este mai frecvent să folosiți un scor minimizant, cum ar fi pierderea sau eroarea, prin care scoruri mai bune (numere mai mici) indică mai multă învățare și o valoare de 0,0 indică faptul că setul de date de antrenament a fost învățat perfect și nu au fost făcute greșeli.

În timpul instruirii unui model de învățare automată, starea actuală a modelului la fiecare etapă a algoritmului de instruire poate fi evaluată. Poate fi evaluat pe setul de date de instruire pentru a da o idee despre cât de bine „învață” modelul. De asemenea, poate fi evaluat pe un set de date de validare care nu face parte din setul de date de instruire. Evaluarea setului de date de validare oferă o idee despre cât de bine „generalizează” modelul.

• Curba de învățare a trenului: Curba de învățare calculată din setul de date de antrenament care oferă o idee despre cât de bine învață modelul.
• Curba de învățare prin validare: Curba de învățare calculată dintr-un set de date de validare de rezistență care oferă o idee despre cât de bine se generalizează modelul.

Este obișnuit să se creeze curbe de învățare duale pentru un model de învățare automată în timpul antrenamentului atât pentru seturile de date de formare, cât și de validare.

În unele cazuri, este, de asemenea, obișnuit să se creeze curbe de învățare pentru metrici multiple, cum ar fi în cazul problemelor de modelare predictivă a clasificării, în care modelul poate fi optimizat în funcție de pierderea de entropie încrucișată și performanța modelului este evaluată folosind precizia clasificării. În acest caz, sunt create două grafice, una pentru curbele de învățare ale fiecărei valori și fiecare diagramă poate afișa două curbe de învățare, una pentru fiecare dintre tren și seturi de date de validare.

• Curbele de învățare de optimizare: Curbele de învățare calculate pe metrica prin care parametrii modelului sunt optimizați, de ex. pierderi.
• Curbele de învățare a performanței: Curbele de învățare calculate pe metrica prin care modelul va fi evaluat și selectat, de ex. precizie.

Acum, că suntem familiarizați cu utilizarea curbelor de învățare în învățarea automată, să analizăm câteva forme comune observate în diagramele curbelor de învățare.

Vrei rezultate mai bune cu Deep Learning?

Urmează acum cursul meu gratuit de 7 zile pentru e-mail (cu un exemplu de cod).

Faceți clic pentru a vă înscrie și pentru a obține, de asemenea, o versiune PDF Ebook gratuită a cursului.

Diagnosticarea comportamentului modelului

Forma și dinamica unei curbe de învățare pot fi utilizate pentru a diagnostica comportamentul unui model de învățare automată și, la rândul său, poate sugera la tipul de configurație modificări care pot fi făcute pentru a îmbunătăți învățarea și/sau performanța.

---