Portugués 
Inglés 
Investigación muestra cómo un recogedor barato con iPhone ayudó a científicos a transformar casas reales en fuente de datos para robots domésticos. Proyecto Dobb·E usa demostraciones humanas para acercar máquinas a tareas cotidianas, como abrir cajones, manipular objetos e interactuar con muebles.
Investigadores vinculados a la Universidad de Nueva York y a Meta desarrollaron el Dobb·E, sistema abierto de robótica doméstica que utiliza demostraciones humanas en casas reales para entrenar robots a abrir cajones, cerrar armarios, manipular objetos y ejecutar tareas comunes del día a día.
La investigación fue presentada en el artículo técnico “On Bringing Robots Home”, publicado en arXiv el 27 de noviembre de 2023, y propone una forma más económica de recolectar datos físicos para máquinas que necesitan actuar fuera de laboratorios controlados.
En el centro del proyecto está el The Stick, herramienta creada con un recogedor manual del tipo reacher-grabber de US$ 25, piezas impresas en 3D y iPhones usados para registrar imágenes, profundidad y movimientos durante tareas domésticas.
-
Inventora cria lava-louças moderna em 1886 e funda empresa para comercializá-la
-
Inventora autodidata desarrolla cohetes marítimos de colores que revolucionan la comunicación nocturna en la Marina de los Estados Unidos
-
IBM rompe la barrera del nanómetro y presenta un chip de 0,7 nm con casi 100 mil millones de transistores, arquitectura tridimensional y potencial para transformar la inteligencia artificial.
-
La red secreta de EE. UU. en el fondo del océano que rastreó submarinos soviéticos durante décadas ahora tiene fines científicos.
Robots domésticos aprenden con demostraciones reales
En lugar de entrenar solo en simulaciones o mesas organizadas, el Dobb·E utiliza interacciones realizadas por personas dentro de residencias, donde muebles, objetos, iluminación y obstáculos cambian de una habitación a otra con poca previsibilidad.
Durante la recolección, una persona sostiene el The Stick, ejecuta una acción simple y deja que el iPhone registre los datos visuales y espaciales que luego ayudan al sistema a orientar la garra robótica en situaciones similares.
Esta elección reduce la distancia entre el ambiente de entrenamiento y el lugar donde el robot necesita funcionar, ya que cocinas, salas y armarios reales presentan variaciones difíciles de reproducir de forma completa en laboratorio.
The Stick transforma gestos en datos para IA
La herramienta fue diseñada para hacer la recolección de demostraciones más accesible, cómoda y escalable, sin exigir que cada voluntario controle directamente un robot completo para enseñar una tarea doméstica.
De acuerdo con el artículo técnico, modelos compatibles con iPhone Pro 12 o versiones posteriores permiten capturar videos RGB, datos de profundidad e información espacial a 30 cuadros por segundo durante las demostraciones.
Como el The Stick tiene apariencia visual similar a la garra del robot usado en las pruebas, los investigadores buscaron disminuir la diferencia entre lo que aparece en la demostración humana y lo que la máquina ve al ejecutar la tarea.
Casas de Nueva York se convirtieron en base de entrenamiento
Llamada Homes of New York, o HoNY, la base de datos creada por el proyecto reúne 13 horas de interacciones recolectadas en 22 casas de Nueva York, con 5.620 trayectorias registradas en 216 ambientes domésticos.
El conjunto suma cerca de 1,5 millones de fotogramas e incluye videos RGB-D, además de anotaciones sobre posición, orientación y apertura de la garra, usadas para entrenar representaciones visuales orientadas al ambiente doméstico.
Estas representaciones, llamadas Home Pretrained Representations, o HPR, sirven como base para políticas robóticas que necesitan aprender nuevas tareas con pocas demostraciones en ambientes diferentes a los usados en la recolección inicial.
Stretch fue usado en las pruebas del Dobb·E
En los experimentos físicos, el Dobb·E fue aplicado al Stretch, robot móvil de Hello Robot usado por el equipo para ejecutar tareas aprendidas a partir de demostraciones grabadas con el recogedor y el iPhone.
Según la página oficial del proyecto, el sistema intentó 109 tareas en 10 casas de Nueva York y alrededores, alcanzando un 81% de tasa de éxito en las pruebas presentadas por los investigadores.
El equipo también informa que el Dobb·E puede aprender una nueva tarea con cinco minutos de demostración y cerca de 15 minutos de adaptación del modelo antes de la ejecución por el robot.
Entre los ejemplos exhibidos por el proyecto están abrir persianas, tirar de cajones de cocina, cerrar puertas de armario, mover platos, manipular botellas e interactuar con electrodomésticos en diferentes residencias.
Aprendizaje por imitación sale del laboratorio
La base del Dobb·E es el aprendizaje por imitación, método en el que el robot aprende observando demostraciones humanas, en lugar de depender solo de prueba y error para descubrir cómo actuar.
Dentro de una casa, este enfoque ayuda a lidiar con tareas que parecen simples para las personas, pero requieren que la máquina reconozca el escenario, estime la distancia, se posicione correctamente y controle físicamente la garra.
Para ampliar la recolección, los investigadores priorizaron eficiencia, seguridad y comodidad del usuario, ya que un sistema doméstico necesita registrar demostraciones en ambientes reales sin depender de infraestructura compleja o de operadores especializados.
Límites aún alejan a los robots generalistas
A pesar de los resultados, el artículo técnico señala obstáculos como sombras fuertes, iluminación variable, calidad desigual de las demostraciones, limitaciones de los sensores y restricciones físicas del hardware utilizado en las pruebas.
Tareas largas, con varias etapas encadenadas, también aparecen como desafío para el Dobb·E, porque requieren memoria, adaptación durante la ejecución y capacidad de lidiar con cambios en el entorno.
El proyecto fue puesto a disposición con código, modelos, datos y diseños de hardware, medida que permite a otros investigadores probar el sistema y ampliar estudios sobre robots capaces de actuar en casas reales.
Al transformar movimientos cotidianos en registros estructurados, el Dobb·E muestra cómo la próxima etapa de la inteligencia artificial puede depender no solo de textos, imágenes y videos en línea, sino también de datos físicos capturados en el mundo real.
