Metodă mixtă de învățare profundă și de procesare a limbajului natural pentru recunoașterea imaginii cu produse alimentare false
Simon Mezgec
1 Școala Internațională Postuniversitară Jožef Stefan, Ljubljana, Slovenia,
2 Departamentul de sisteme informatice, Institutul Jožef Stefan, Jamova cesta 39, Ljubljana 1000, Slovenia,
Tome Eftimov
1 Școala Internațională Postuniversitară Jožef Stefan, Ljubljana, Slovenia,
2 Departamentul de sisteme informatice, Institutul Jožef Stefan, Jamova cesta 39, Ljubljana 1000, Slovenia,
Tamara Bucher
3 Institutul de Alimentație, Nutriție și Sănătate (IFNH), ETH Zurich, Zurich, Elveția,
4 Școala de Științe ale Sănătății, Facultatea de Sănătate și Medicină, Centrul de cercetare prioritară în activitate fizică și nutriție, Universitatea din Newcastle, Callaghan, Australia,
Barbara Koroušić Seljak
2 Departamentul de sisteme informatice, Institutul Jožef Stefan, Jamova cesta 39, Ljubljana 1000, Slovenia,
Abstract
Obiectiv
Prezentul studiu a testat combinația dintre o metodă de cercetare stabilită și una validată de alegere a alimentelor („bufetul fals de alimente”) cu o nouă tehnologie de potrivire a alimentelor pentru a automatiza colectarea și analiza datelor.
Proiecta
Metodologia combină recunoașterea imaginii fals-alimentare folosind învățarea profundă și potrivirea alimentelor și standardizarea bazată pe procesarea limbajului natural. Primul este specific deoarece folosește o singură rețea de învățare profundă pentru a efectua atât segmentarea, cât și clasificarea la nivelul pixelilor imaginii. Pentru a evalua performanța sa, au fost aplicate măsuri bazate pe precizia standard a pixelilor și intersecția peste Uniune. Potrivirea alimentelor descrie mai întâi fiecare dintre produsele alimentare recunoscute din imagine și apoi se potrivește produsele alimentare cu datele lor compoziționale, luând în considerare atât numele lor, cât și descriptorii lor.
Rezultate
Acuratețea finală a modelului de învățare profundă instruit pe imagini cu alimente false dobândite de 124 de participanți la studiu și care a furnizat cincizeci și cinci de clase de alimente a fost de 92 · 18%, în timp ce potrivirea alimentelor a fost efectuată cu o precizie de clasificare de 93%.
Concluzii
Descoperirile prezente sunt un pas către automatizarea evaluării dietetice și a cercetării alegerii alimentelor. Metodologia depășește alte abordări în ceea ce privește precizia pixelilor și, din moment ce este prima soluție automată pentru recunoașterea imaginilor cu alimente false, rezultatele ar putea fi utilizate ca bază pentru eventuale studii viitoare. Deoarece abordarea permite o descriere semi-automată a produselor alimentare recunoscute (de exemplu, în ceea ce privește FoodEx2), acestea pot fi legate de orice bază de date de compoziție alimentară care aplică același sistem de clasificare și descriere.
Măsurarea comportamentului alimentar folosind tehnologii tradiționale, neautomatizate, de auto-raportare este asociată cu costuri considerabile, ceea ce înseamnă că cercetătorii au fost interesați în mod special de dezvoltarea unor abordări noi, automatizate. Există o nevoie clară în evaluarea dietei și a sistemelor de îngrijire a sănătății de dispozitive ușor de utilizat și soluții software care pot identifica alimentele, cuantifica aportul, înregistra comportamentul și respectarea sănătății și măsura contextele alimentare. Scopul prezentului studiu a fost de a testa combinația dintre o metodă de cercetare stabilită și validată, „bufetul fals de alimente” (FFB), cu o nouă tehnologie de potrivire a alimentelor pentru a automatiza colectarea și analiza datelor.
FFB a fost dezvoltat ca o metodă experimentală pentru a studia alegerea alimentelor complexe, compoziția mesei și alegerea porțiunii în condiții de laborator controlate. FFB este o selecție de articole alimentare foarte autentice, dintre care consumatorii sunt invitați să aleagă. Metoda FFB a fost validată printr-o comparație a meselor servite din alimente reale și false (1). Porțiile de alimente servite din alimentele false s-au corelat îndeaproape cu porțiile servite din alimentele reale (1). În plus, corelații semnificative între nevoile de energie ale participanților și cantitățile servite au fost găsite în mai multe studii (1 - 4). De asemenea, s-a demonstrat că persoanele care au selectat alimente pentru o zi întreagă dintr-un FFB au putut să se potrivească îndeaproape cu cerințele lor alimentare (5) .
Într-un studiu tipic FFB, experimentatorii aleg alimente false și organizează un bufet. Participanții primesc instrucțiuni, care pot conține intervenția experimentală, și sunt apoi invitați să selecteze alimente, să aleagă porții de alimente pentru asamblarea meselor (2, 3) sau chiar să stabilească o dietă pentru o zi (5). Experimentatorul analizează apoi alegerea. Protocoale similare și aceleași alimente false au fost utilizate pentru experimente în diferite țări (adică Germania, Elveția, Marea Britanie și Australia). În prezent, procedura de studiu FFB are încă câteva componente „analogice”. După ce participanții selectează mesele, se face o fotografie, alimentele sunt separate manual, fiecare aliment este cântărit și cercetătorul calculează valorile nutriționale pentru alimentele false selectate. Acest proces ar beneficia de automatizare. Toate alegerile consumatorilor sunt înregistrate și sunt disponibile imagini suplimentare cu produse alimentare false în scopul cercetării.
Primul pas al procesului de automatizare este de a recunoaște produsele false-alimentare și false-băuturi prezente în aceste imagini. Datorită naturii nu numai a produselor false-alimentare și a băuturilor false, ci și a produselor alimentare și a băuturilor în general, aceasta este o problemă deosebit de dificilă de vedere la computer. Diferențierea dintre diferite produse alimentare sau băuturi (de acum înainte „produse alimentare”) poate fi uneori provocatoare chiar și pentru ochiul uman. Problema este că produsele alimentare diferite pot părea foarte asemănătoare și același produs alimentar poate părea să fie substanțial diferit pe diferite imagini din cauza unei varietăți de factori, cum ar fi calitatea imaginii, iluminarea, cantitatea de zgomot prezentă în imagine, modul în care a fost preparat și servit produsul alimentar etc.
Următorul pas este de a potrivi produsele alimentare false recunoscute în imagine cu datele despre compoziția alimentelor, care sunt seturi detaliate de informații despre componentele importante din punct de vedere nutrițional ale alimentelor, oferind valori pentru energie și nutrienți, inclusiv proteine, carbohidrați, grăsimi, vitamine și minerale și pentru alte componente alimentare importante, cum ar fi fibrele etc. Datele sunt prezentate în bazele de date privind compoziția alimentelor (FCDB). Procesul de potrivire semi-automată a alimentelor este o parte crucială a unei evaluări dietetice automate.
În lucrarea actuală, prezentăm rezultatele unui studiu realizat cu obiectivul de a dezvolta o evaluare dietetică automată care constă din două activități principale: (i) recunoașterea automată a articolelor cu alimente false și băuturi false din fotografii; și (ii) atribuirea automată (potrivirea) elementelor recunoscute datelor lor compoziționale. Folosind această abordare, evaluarea dietetică poate fi efectuată mult mai rapid și, în multe cazuri, de asemenea, cu mai multă precizie decât dacă este efectuată manual.
Lucrarea se desfășoară după cum urmează. În secțiunea următoare prezentăm lucrări relevante privind FFB, recunoașterea imaginii alimentelor și potrivirea alimentelor. Ulterior, introducem metodologia aplicată în prezentul studiu la o evaluare dietetică automată. În continuare arătăm modul în care această metodologie a fost aplicată alimentelor false și prezentăm rezultatele evaluării. În cele din urmă, discutăm rezultatele și prezentăm câteva idei pentru munca viitoare.