Observarea imaginilor microscopice 3D folosind realitatea virtuală; Știri-Medical
Un interviu cu Dr. Christopher Zugates, inginer de aplicații la arivis AG, discutând despre un mod revoluționar de analiză a imaginilor 3D complexe ... prin realitatea virtuală!
Care sunt principalele provocări cu care se confruntă oamenii de știință atunci când vine vorba de analiza imaginilor microscopice 3D?
Una dintre cele mai mari provocări în microscopia 3D este dimensiunea și complexitatea imaginilor pe care acum suntem capabili să le captăm. Progresele tehnologice înseamnă că nu numai că captăm mai multe informații despre un eșantion, dar suntem și capabili să efectuăm mai multe analize folosind aceste informații.
Prima provocare cu astfel de microscoape avansate este să găsim cum să examinăm o imagine foarte complexă în primul rând! Când aveți seturi de date masive, volume masive sau mișcări 3D, cum ar trebui să vedem aceste date și cum le putem explora?
Cercetătorii trebuie acum să decidă cum să analizeze și să prezinte cel mai bine datele despre imagini 3D complexe și să le împărtășească comunității științifice.
Ce este InViewR?
InViewR este o aplicație care permite cercetătorilor să poarte o cască de realitate virtuală comercială și să fie scufundați în imagini microscopice 3D. În loc să vedeți o imagine 3D pe ecranul unui computer 2D, datele vă sunt prezentate ca obiecte din apropierea dvs. pe care le puteți atinge și atinge. Acest lucru vă permite să manipulați datele în moduri pe care nu le-ați fi putut face înainte.
Vorbind din propria mea experiență de cercetare, am putut să văd un obiect într-un colț îndepărtat al imaginii și să-l întind și să-l ating imediat. Aproape nu e niciun sentiment în jur. Creierul meu știa deja să-mi miște mâna la o anumită distanță. Aș putea mișca structurile în jur, le pot roti și le pot observa din toate unghiurile diferite. Aș putea chiar să pun ceva în spatele meu și să mă întind înapoi, fără să mă uit, să-l apuc și să-l trag din nou în față!
Cu un ecran plat, pierdeți legătura cu realitatea. Ați început cu materiale reale, tridimensionale și ați realizat, de exemplu, imunohistochimie, apoi ați făcut imagistica și dintr-o dată, nu seamănă nimic cu materiile prime. În setul cu cască VR, materialul devine din nou real. Cred că acesta este un avantaj al redării bazate pe InViewR și VR a datelor 3D brute în general.
În setul cu cască VR, puteți interacționa din nou cu materialul. Puteți să-l rotiți, să intrați în el, să faceți secțiuni transversale cu mâinile și, cel mai important, să efectuați măsurători foarte precise într-un mod eficient și confortabil.
Acest lucru este util în special pentru urmărirea neuronilor. Este un instrument care este cartografiat la mâna dvs., astfel încât atunci când întindeți mâna și atingeți un neuron, instrumentul recunoaște acest lucru și măsoară distanța și diametrul pe măsură ce vă deplasați în jos pe axon.
Vă permite să colaborați cu un algoritm pentru a găsi punctul central al unui axon și să-l urmăriți. Este o lume departe de a observa imagini pe un ecran plat, dar este mult mai asemănătoare lucrului natural cu mâinile, așa cum procedați în laborator.
Cum poate VR să transforme modul în care cercetătorii analizează și prezintă datele?
Cu siguranță sunt eficiențe de câștigat făcând lucruri în realitatea virtuală. Manipularea și analizarea imaginilor de pe ecranul unui computer este posibilă, dar ar fi mult mai eficient să întindeți și să atingeți imaginea, să desenați un obiect sau să măsurați o anumită distanță între obiecte.
Un alt loc în care realitatea virtuală va fi importantă este împărtășirea semnificației muncii tale. Ca oameni de știință, de obicei ne prezentăm datele reciproc folosind prezentări PowerPoint, care este un format 2D. Încercăm întotdeauna să explicăm ceea ce am văzut prin cuvinte sau imagini 2D. Ceea ce am observat de la arivis de-a lungul anilor este că VR este un mod superb de a spune povestea. Oamenii de știință sunt capabili să-și împărtășească munca punând un coleg în setul lor de date și indicând domeniile de semnificație.
Acest lucru ar putea fi util și pentru laboratoarele didactice. Când am început școala postuniversitară, mă pregăteam ca neurobiolog. O mare parte din pregătirea mea timpurie a implicat citirea unor lucrări scrise de alți oameni, iar acest proces de învățare se desfășoară pentru o viață întreagă. Există un decalaj uriaș între citirea acestor hârtii care afișează imagini 2D și de fapt aveți materialul în mână. VR ar putea fi o punte pentru educație, unde puteți arăta oamenilor structurile țesuturilor și organelor din afara laboratorului.
Unul dintre cele mai mari avantaje pentru oamenii de știință va fi analiza imaginilor în care există o mulțime de amestecuri de structuri. De exemplu, dacă doriți să observați un neuron care merge de la un plan la altul și este încrucișat cu o mulțime de alți neuroni în calea sa. Vrem să observăm fiecare neuron individual, deoarece există ceva special în fiecare dintre aceste structuri și vrem să le înțelegem proprietățile în mod individual. Pentru a face acest lucru, trebuie să dezlegăm fiecare neuron și să-i separăm unul de celălalt.
Cu excepția cazului în care un algoritm este suficient de inteligent pentru a privi fluxul structural și continuitatea pe distanțe mari, nu ar putea separa neuronii care sunt foarte apropiați. Folosind VR, puteți vedea textura neuronului, iar creierul dvs. poate distinge o structură de alta, chiar și atunci când neuronii se ating și se încrucișează. Acest lucru este extrem de puternic pentru analiza datelor și vă permite să alegeți o cantitate vastă de informații.
Este la fel cu celulele vii. Am lucrat cu un client care etichetează veziculele care se mișcă rapid în jurul unei celule. Folosind setul cu cască VR, pot sta în interiorul uneia dintre celule și văd veziculele care se mișcă. Parcă creierul meu îmi umple golurile; Văd cu ușurință că această veziculă a sărit de aici în colo, în colo și o pot urmări.
Îmi pot pune degetul pe el și îi pot urmări traiectoria în jurul celulei. Văd vezicule intrând în viziunea mea periferică care îmi traversează câmpul vizual și se mișcă pe cealaltă parte. Acest lucru este ușor de făcut dacă îl puteți vedea, dar poate fi relativ dificil de rezolvat pe un computer.