Estimados,
Es un placer invitarlos a la defensa de la Tesis de Maestría de Leonardo Martínez
"Técnicas de seguimiento ocular y desarrollo de prototipo para accesibilidad"
Fecha: Martes 19 de diciembre, 14:00hs
Lugar: Salón Azul, 5º piso de Facultad de Ingeniería
También por zoom:
https://salavirtual-udelar.zoom.us/j/82465210272?pwd=ZWJLS0twY0hNMWliM0VYMGRwdE9Fdz09
Meeting ID: 824 6521 0272
Passcode: $sRnJRp#2!
Tutores:
Germán Capdehourat
Alvaro Gómez
Tribunal:
Prof. Marı́a Simón, Facultad de Ingeniería, Universidad de la República
Dr. Francisco Veirano, Facultad de Ingeniería, Universidad de la República
Dr. Matı́as Tassano, Reality Labs - Meta
Resumen:
Dispositivos electrónicos, como laptops y tablets, se utilizan masivamente para trabajar, divertirse y socializar. El conjunto teclado y mouse es la interfaz de entrada más utilizada pero puede presentar dificultades para personas con discapacidad motriz. Se han desarrollado en la industria interfaces alternativas que resolverían esta problemática. Este es el caso de los seguidores oculares que a partir del movimiento de los ojos pueden controlar dispositivos como si fueran un mouse. De todas formas, estos sistemas están compuestos de hardware y software especializado que puede resultar caro para la población general.
Los sistemas de seguimiento ocular pueden tener la forma de lentes de armazón, ser un dispositivo que se coloca al lado de la pantalla a utilizar o estar embebidos en el sistema a controlar. En este último caso utilizan los recursos de hardware y software del sistema. Pueden hacer uso de iluminación con espectro cercano al infrarrojo (NIR) que brinda información relativa a la ubicación del sistema en la imagen adquirida. Esto se logra debido a que la luz NIR se refleja prácticamente en su totalidad al incidir en la retina y es adquirida luego por el sensor de imagen generando destellos denominados glints.
El procesamiento de las imágenes puede consistir únicamente en el uso de la intensidad de los píxeles, conocidos como métodos de apariencia. También se pueden utilizar otros descriptores, aparte de la intensidad, o modelos matemáticos.
En este trabajo se analizaron distintas técnicas de estimación de mirada enfocadas en sistemas embebidos de poder computacional modesto. Se trabajó en base a dos métodos: modelo geométrico y método de apariencia. El primero necesita una estimación precisa del centro de las pupilas y de los glints para que con un modelo matemático 3D del ojo se pueda estimar las coordenadas de la mirada en la pantalla. El segundo utiliza recortes de la cara, los ojos y la ubicación en dos dimensiones de la cara en la imagen completa. Estos datos son procesados con una red neuronal convolucional.
Se desarrolló un prototipo con un Raspberry Pi 4, una cámara AR1820HS, LEDs infrarrojos y un acelerador de operaciones de tensores (TPU de Coral). Esto permitió elaborar un conjunto de datos que consiste en 540 imágenes de diez sujetos con patrón de calibración fijo y cinco mil imágenes de cinco sujetos con patrón aleatorio. Se realizó además una evaluación en tiempo real con diez usuarios en condiciones de iluminación controlada. Se evaluó el prototipo de forma objetiva con 30 segundos de uso y 180 imágenes adquiridas utilizando un patrón de nueve puntos. Cada sujeto pudo evaluar la usabilidad del prototipo de forma subjetiva contestando preguntas con el movimiento de sus ojos en una aplicación de trivia. Se pudo comprobar que el prototipo permite realizar acciones en la pantalla con los ojos y a 50 cm de distancia de forma satisfactoria en interfaces con botones cuadrados de al menos 40 mm de lado.