Lumea este un loc caracterizat de obiective turistice, sunete si mirosuri. In timp ce aceste semnale ar putea sa ne para distincte si independente, de fapt, acestea interactioneaza si se integreaza in reteaua de neuroni senzoriali ai creierului. Un nou dispozitiv pentru oamenii nevazatori isi face „intrarea” in reteaua senzoriala. Acesta reuseste sa traduca imaginile in sunete- si invers, permitand oamenilor cu deficiente de vedere sa detecteze mediul din jurul lor, fara a fi nevoie de antrenament sau concentrare intensa. „Foarte multe manuale neurostiintifice nu dedica mai mult de cateva pagini care abordeaza interactiunea multisenzoriala. Dar 99% din viata noastra de zi cu zi depinde de prelucrarea multisenzoriala”- sustine Shinsuke Shimojo, profesor de psihologie de la Institutul de Tehnologie din California.
De exemplu, sustine acesta, „atunci cand vorbesti la telefon cu cineva pe care cunosti foarte bine, si acea persoana plange, nu numai ca vei auzi sunetul, dar vei reusi sa ii vizualizezi si fata plina in lacrimi. Acesta este un exemplu a modului in care cauzalitatea senzoriala nu este unidirectionala- viziunea poate influenta sunetul si sunetul poate influenta viziunea”. Shimojo impreuna cu echipa sa de oameni de stiinta sustin ca au gasit piesa lipsa din aceasta imagine, reusind sa dezvolte un dispozitiv senzorial substitutional mai automat.
Cum functioneaza dispozitivul?
Oamenii de stiinta au realizat mai multe experimente, atat cu oameni cu deficiente de vaz, cat si cu probleme de auz, folosind un dispozitiv senzorial substitutional, numit vOICe, care reuseste sa traduca imaginile in sunete.
Dispozitivul vOICe este realizat dintr-un computer de mici dimensiuni, conectat la o camera care este atasata la o pereche de ochelari intunecati, permitandu-i sa „vada” cu ochi umani imaginea din fata dispozitivului. Un algoritm de calculator scaneaza fiecare imagine, de la stanga la dreapta, iar pentru fiecare coloana de pixeli se genereaza un sunet asociat cu o frecventa si un volum, care depinde de locatia verticala si luminozitatea pixelilor.