¿Dónde dejaste las llaves ayer? Para una persona, reconstruir la escena suele ser fácil; para un robot, unir un objeto con un lugar y un momento concretos sigue siendo complicado. Un equipo del MIT ha desarrollado DAAAM, un sistema de inteligencia artificial que convierte las observaciones de una máquina en una memoria a largo plazo consultable con lenguaje corriente.
No son recuerdos humanos metidos en un robot. Es más bien un mapa vivo que registra qué apareció, dónde estaba y cuándo fue visto. En las pruebas, DAAAM superó a otros métodos, aunque sus descripciones detalladas todavía pueden llegar con varios segundos de retraso.
Una memoria con lugar y fecha
La memoria espaciotemporal reúne información sobre el espacio y el paso del tiempo. Si el robot ve una bicicleta roja junto a un edificio, no solo guarda que existe, sino también su posición y el momento de la observación. El nombre DAAAM resume la idea y significa en inglés «describir cualquier cosa, en cualquier lugar y en cualquier momento».
El trabajo está firmado por Nicolas Gorlo, investigador de posgrado del MIT, Lukas Schmid, profesor de la Universidad Tecnológica de Núremberg, y Luca Carlone, profesor asociado del MIT y director del laboratorio SPARK. «El robot debe poder razonar sobre el tiempo y el espacio como lo hacemos los humanos», explicó Carlone.
Cómo construye el mapa
DAAAM recibe imágenes de una cámara que capta color y profundidad. La profundidad indica la distancia de cada punto, por lo que la máquina puede reconocer un objeto y calcular dónde se encuentra.
Con esos datos crea un grafo de escena en cuatro dimensiones, una red de fichas que conecta objetos, zonas y descripciones. Tres dimensiones sitúan cada elemento y la cuarta conserva su historia a lo largo del tiempo. Nada de ciencia ficción.
Los objetos cercanos se agrupan por regiones, como un aparcabicicletas fuera de un edificio. Después, un agente de lenguaje puede buscar por una palabra como «escultura» o por el lugar donde fue vista y recuperar la observación adecuada.
El truco para ir más rápido
Los sistemas anteriores solían elegir entre mapas rápidos con poca información o descripciones ricas que llegaban demasiado tarde. DAAAM selecciona los fotogramas más claros, reúne varios objetos y los procesa en un mismo lote.
Esa estrategia aceleró la descripción alrededor de diez veces. El mapa siguió un flujo de diez imágenes por segundo y generó descripciones para una media de 5,2 elementos nuevos cada segundo, pero un lote detallado tardó cerca de diez segundos en quedar listo. «Tiempo real», por tanto, no significa que cada frase aparezca al instante.
Qué dicen las pruebas
Los investigadores evaluaron DAAAM con OC-NaVQA, un banco de preguntas sobre objetos, lugares y momentos. En ese banco, el llamado largo plazo llegó a 35,8 minutos y alrededor de 1,6 kilómetros de recorrido.
Frente a la alternativa más competitiva, la precisión de las respuestas mejoró un 53,6 por ciento. Los errores de posición bajaron un 21,9 por ciento y los temporales un 21,6 por ciento. En otra prueba de instrucciones encadenadas, la precisión de las tareas completas subió un 27,8 por ciento respecto al segundo mejor método.
Eso no equivale a una memoria universal ni infalible. Uno de los conjuntos usados era semisintético y el modelo perdió algo de precisión al pasar de imágenes reales a recreaciones digitales. Además, los sistemas recibieron la posición real del robot durante la evaluación, una condición más controlada que un uso cotidiano.
Usos más allá del laboratorio
En una fábrica, una persona podría pedir «ve a buscar el componente que empezamos a montar anoche». El MIT también plantea aplicaciones de realidad aumentada para ayudar a técnicos a detectar anomalías o guiar a personas por espacios complejos.
DAAAM aprovecha el seguimiento de cambios de Khronos y las descripciones del Describe Anything Model. El primero mantiene mapas de escenas dinámicas y el segundo explica lo que aparece en una zona concreta de una imagen.
El equipo ha publicado los datos y el código de forma abierta. En la práctica, el agente consulta herramientas de búsqueda dentro de la memoria en lugar de improvisar toda la respuesta, una decisión pensada para reducir errores inventados.
Los límites que quedan
El modelo que redacta las descripciones se entrenó con 1,5 millones de ejemplos, una cantidad modesta para los sistemas visuales actuales. Puede fallar ante objetos poco comunes o añadir detalles falsos, como imaginar tiradores en puertas de ascensor que no los tienen.
El ritmo de unas cinco anotaciones nuevas por segundo basta para un robot terrestre, según los autores. Puede quedarse corto para un dron rápido o unas gafas de realidad virtual, y el seguimiento se complica cuando un objeto cambia físicamente y deja de parecer el mismo.
DAAAM también conserva el historial de descripciones, por lo que el archivo podría crecer sin límite durante misiones muy largas. Los investigadores proponen resumir recuerdos antiguos y añadir niveles de confianza para señalar cuándo una respuesta es dudosa.
El estudio principal se ha publicado en las actas de la Conferencia IEEE/CVF.
