Învățarea profundă nu este suficientă, avem nevoie de învățare profundă bayesiană pentru AI sigură - Acasă

Învățare profundă bayesiană, viziune computerizată, incertitudine

Alex Kendall

Cercetător viziune computerizată și robotică

Înțelegerea a ceea ce nu știe un model este o parte critică a multor sisteme de învățare automată. Din păcate, algoritmii de învățare profundă de astăzi sunt de obicei incapabili să înțeleagă incertitudinea lor. Aceste modele sunt adesea luate orbește și presupuse a fi exacte, ceea ce nu este întotdeauna cazul. De exemplu, în două situații recente acest lucru a avut consecințe dezastruoase.

În mai 2016, am trăit tragic prima deces din cauza unui sistem de conducere asistată. Potrivit blogului producătorului, „Nici pilotul automat, nici șoferul nu au observat partea albă a remorcii tractorului pe un cer luminat, deci frâna nu a fost acționată”.

În iulie 2015, un sistem de clasificare a imaginilor a identificat în mod eronat doi oameni afro-americani ca gorile, ridicând îngrijorarea discriminării rasiale. Vezi raportul de știri aici.

Și sunt sigur că există și multe alte cazuri interesante! Dacă ambii algoritmi au reușit să atribuie un nivel ridicat de incertitudine predicțiilor lor eronate, atunci fiecare sistem ar fi putut să ia decizii mai bune și probabil să evite dezastrul.

Pentru mine este clar că înțelegerea incertitudinii este importantă. Deci, de ce nu o face toată lumea? Problema principală este că abordările tradiționale de învățare automată pentru a înțelege incertitudinea, cum ar fi procesele Gaussiene, nu se ridică la intrări de dimensiuni ridicate, cum ar fi imagini și videoclipuri. Pentru a înțelege în mod eficient aceste date, avem nevoie de o învățare profundă. Dar învățarea profundă se luptă pentru a modela incertitudinea.

În această postare voi introduce un câmp care revine, cunoscut sub numele de învățare profundă bayesiană (BDL), care oferă un cadru de învățare profundă care poate modela și incertitudinea. BDL poate obține rezultate de ultimă generație, înțelegând în același timp incertitudinea. Voi explica diferitele tipuri de incertitudine și voi arăta cum să le modelez. În cele din urmă, voi discuta despre un rezultat recent care arată cum să folosiți incertitudinea pentru a pierde în greutate pentru învățarea profundă cu mai multe sarcini. Materialul pentru această postare de blog este preluat în mare parte din cele două lucrări recente ale mele:

De ce incertitudini avem nevoie în învățarea profundă bayesiană pentru viziunea computerizată? Alex Kendall și Yarin Gal, 2017. (.pdf)

Învățarea multi-sarcină folosind incertitudinea pentru a cântări pierderile pentru geometria scenei și semantică. Alex Kendall, Yarin Gal și Roberto Cipolla, 2017 (.pdf)

Și, ca întotdeauna, mai multe detalii tehnice pot fi găsite acolo!

Un exemplu de ce este cu adevărat important să înțelegem incertitudinea pentru estimarea adâncimii. Prima imagine este un exemplu de intrare într-o rețea neuronală bayesiană care estimează adâncimea, așa cum arată imaginea a doua. A treia imagine arată incertitudinea estimată. Puteți vedea că modelul prezice adâncimea greșită pe suprafețele dificile, cum ar fi geamurile reflectorizante și transparente ale mașinii roșii. Din fericire, modelul bayesian de învățare profundă este, de asemenea, conștient că este greșit și prezintă o incertitudine crescută.

Prima întrebare pe care aș dori să o adresez este ce este incertitudinea? De fapt, există diferite tipuri de incertitudine și trebuie să înțelegem ce tipuri sunt necesare pentru diferite aplicații. Voi discuta despre cele mai importante două tipuri - incertitudinea epistemică și aleatorică.

Incertitudine epistemică

Incertitudinea epistemică ne surprinde ignoranța cu privire la ce model a generat datele noastre colectate. Această incertitudine poate fi explicată cu date suficiente și este adesea denumită incertitudine de model. Incertitudinea epistemică este cu adevărat importantă de modelat pentru:

Aplicații critice pentru siguranță, deoarece este necesară incertitudinea epistemică pentru a înțelege exemple care sunt diferite de datele de instruire,
Seturi de date mici în care datele de instruire sunt rare.

Incertitudine aleatorică

Incertitudinea aleatorică surprinde incertitudinea noastră cu privire la informațiile pe care datele noastre nu le pot explica. De exemplu, incertitudinea aleatorică din imagini poate fi atribuită ocluziilor (deoarece camerele nu pot vedea prin obiecte) sau lipsei de caracteristici vizuale sau a regiunilor supra-expuse ale unei imagini etc. Poate fi explicat prin capacitatea de a observa toate variabilele explicative cu o precizie crescândă. Incertitudinea aleatorică este foarte importantă de modelat pentru:

Situații mari de date, în care incertitudinea epistemică este explicată în mare parte,
Aplicații în timp real, deoarece putem forma modele aleatorice ca o funcție deterministă a datelor de intrare, fără eșantionare costisitoare Monte Carlo.

De fapt, putem împărți aleatorii în alte două subcategorii:

Incertitudinea dependentă de date sau heteroscedastică este incertitudinea aleatorică care depinde de datele de intrare și este prezisă ca o ieșire model.
Incertitudinea dependentă de sarcină sau homoscedastică este incertitudinea aleatorică care nu depinde de datele de intrare. Nu este o ieșire model, mai degrabă este o cantitate care rămâne constantă pentru toate datele de intrare și variază între diferite sarcini. Prin urmare, poate fi descris ca o incertitudine dependentă de sarcină. Mai târziu, în post, voi arăta cum acest lucru este cu adevărat util pentru învățarea cu mai multe sarcini.