Inteligencia artificial dirigida por nuestra mirada

Unos científicos han desarrollado un sistema pionero que incorpora pequeñas cámaras en miniauriculares corrientes para permitir a los usuarios conversar, por voz, con una inteligencia artificial sobre aquello que están viendo. Como la IA ve lo mismo gracias a las cámaras, el usuario se ahorra tener que dar explicaciones adicionales. La IA mira a través de las cámaras, escucha del micrófono y contesta por los auriculares.

Esta primera versión del sistema, llamado VueBuds, capta imágenes en blanco y negro de baja resolución y las transmite por Bluetooth a un teléfono móvil u otro dispositivo cercano. Un pequeño sistema de inteligencia artificial integrado en el dispositivo responde preguntas sobre las imágenes en aproximadamente un segundo. Para garantizar la privacidad, todo el procesamiento se realiza en el dispositivo; una pequeña luz se enciende cuando el sistema está grabando y los usuarios pueden eliminar las fotografías y los videos de inmediato.

VueBuds es obra de un equipo que incluye a Maruchi Kim, Zhi Yang Lim, Rasya Fawwaz, Brinda Moudgalya, Hexi Wang y Yuanhao Zeng, de la Universidad de Washington en la ciudad estadounidense de Seattle.

VueBuds utiliza pequeñas cámaras integradas en auriculares inalámbricos convencionales para permitir a los usuarios conversar con una IA sobre cualquier cosa que tengan a la vista. Aquí se muestran los auriculares modificados con las cámaras incorporadas. (Foto: Kim et al. / CHI ’26)

Los usos prácticos potenciales de VueBuds son innumerables. He aquí algunos ejemplos:

Un comprador está frente a una estantería de supermercado y teme que tardará demasiado en averiguar si allí está o no el producto que desea. Como la IA está viendo la estantería entera, le pregunta a ella y al instante puede saberlo.

Un usuario camina por un parque y, al ver una persona paseando a un perro, siente curiosidad por saber de qué raza es el animal. Lo pregunta a la IA y esta, dado que ya tiene una imagen del animal, contesta al momento.

Un turista en un país extranjero mira un letrero escrito en el idioma local, que desconoce. Le pregunta a la IA qué indica el letrero y esta se lo traduce.

Una persona con presbicia que no lleva gafas para ver de cerca sostiene ante sí aquello que quiere leer, y hace que la IA se lo lea.

Un usuario está contemplando un cuadro o una fotografía famosos y quiere saber el nombre del autor. Como la IA ya tiene ante sí la imagen, puede subir a un buscador de internet una captura de la imagen y decirle al usuario lo que quiere saber.

Un invidente quiere tener información adicional sobre lo que tiene delante. Como la IA ya lo sabe porque lo está viendo, a este usuario le basta con pedírselo para que esta se lo describa.

VueBuds fue presentado recientemente en un congreso celebrado en Barcelona (Association for Computing Machinery Conference on Human Factors in Computing Systems). La presentación se tituló “VueBuds: Visual Intelligence with Wireless Earbuds”. (Fuente: NCYT de Amazings)