¿Puede Safeworld asegurar que GenAI no es amenazante?

En la vanguardia de la robótica, una tendencia notable surge: la integración de modelos de inteligencia artificial generativa en los sistemas robóticos. Sin embargo, esta transición plantea un desafío crítico: la dificultad de predecir el comportamiento de un sistema basado en IA comparado con los algoritmos tradicionales. Surge así la pregunta: ¿cómo podemos garantizar que estos nuevos humanoides sean seguros?

Dr. Ding Zhao, director del laboratorio Safe AI en la Universidad Carnegie Mellon, ha dedicado gran parte de su carrera a abordar este dilema. Junto a Kyle Wong, un veterano en el mundo de las startups, y Simo Rachidi, ingeniero en aprendizaje automático, ha fundado Safeworld, una empresa ideada para resolver estas inquietudes.

“La cuestión de la seguridad que estamos considerando es una combinación de evaluaciones probabilísticas avanzadas, nuestra capacidad para subestimar el riesgo de un sistema probabilístico”, explica Zhao. “Y la segunda parte, igual de desafiante, es la confianza; ambas son esenciales para desplegar un robot de manera efectiva.”

Safeworld emerge de un periodo de confidencialidad con una ronda de financiación inicial que supera los 12 millones de dólares, apoyada por Shine Capital y a16z Speedrun, junto con el respaldo de Box Group y el Endowment de la Universidad Carnegie Mellon. Jonathan Lai, socio de a16z Speedrun, subraya: “El momento de establecer un estándar de seguridad industrial es ahora, mientras los robots están siendo diseñados y desplegados. Espere a que haya robots en hogares tocando a los niños y causando incidentes de seguridad, y será demasiado tarde.”

La especialidad de Safeworld radica en evaluar un sistema de control robótico mediante simulaciones pobladas con modelos humanos realistas. Este desafío se asemeja a las dificultades enfrentadas por empresas como Tesla y Wayve, que deben garantizar que sus vehículos reaccionen adecuadamente ante incidentes inesperados en la carretera. No obstante, Zhao argumenta que la tarea es aún más complicada para los robots, debido a que operan en entornos no estructurados y cada instalación tiene estándares de seguridad diferentes.

Un aspecto crítico es la comprensión de situaciones específicas, como un rincón ciego en una fábrica. ¿Cuál debería ser la velocidad o la distancia de frenado necesaria para evitar que un robot colisione con un humano? Wong ilustra: “Si un humano lleva cajas, ¿será capaz el robot de detectar su presencia?”

Para este fin, Safeworld planea construir una versión digital de ese rincón en un modelo como Genesis o MuJoCo, colocando una simulación del robot en evaluación y ejecutando miles de escenarios donde los modelos humanos interactúan con el robot. Sin embargo, Zhao advierte que este proceso es más complicado de lo que parece, ya que la imprevisibilidad humana puede alterar los resultados esperados.

“Un clásico ejemplo que testamos es tropiezos y caídas. De no ser así, tendríamos que provocar que el robot enfrente situaciones de tropiezos, algo que sería complejo de realizar constantemente”, añade Wong.

La propuesta de Safeworld busca no solo validar el trabajo de los constructores de robots, sino también facilitar el intercambio de información sobre casos de seguridad entre competidores. Zhao resalta que muchos subestiman la complejidad de los escenarios extremos: “No nos preocupan tanto los robots en una demostración controlada, sino aquellos que están en operación a gran escala, con personas que probablemente nunca han operado un robot antes.”

Vishal Dugar, CTO de Gritt Robotics, está desarrollando la inteligencia artificial detrás de robots que ayudan a trabajar en la instalación de paneles fotovoltaicos en gran escala e intenta abordar tareas de construcción más complejas, colaborando con Safeworld en sus simulaciones de seguridad. Dugar apunta: “La dificultad radica en que es complicado demostrar formalmente la seguridad de nuestros sistemas empleando solo matemáticas y ecuaciones; debe validarse empíricamente.”

La realidad destaca que los robots operan junto a trabajadores humanos, donde garantizar que un brazo robótico no cause daños es de suma importancia. Esto requiere que se consideren una variedad de escenarios posibles.

“Los humanos presentan una variedad de apariencias. Pueden estar de pie, arrodillados, caídos o corriendo, y el sistema debe responder a todas estas posibilidades y variaciones”, enfatiza Dugar.

Aunque se encuentra en sus primeras etapas, Safeworld está decidida a enfrentar los retos de la IA generativa en la robótica. El equipo busca definir el mejor modelo para su producto, evaluando si adoptar una plataforma para usuarios externos o un enfoque basado en servicios. Confían en que están abordando el problema correcto. “Probablemente seremos la primera empresa en obtener ganancias en este campo, ya que si se desea implementar, es necesario recurrir a nosotros para manejar la situación”, concluye Zhao.

Gracias por leer Columna Digital, puedes seguirnos en Facebook, Twitter, Instagram o visitar nuestra página oficial. No olvides comentar sobre este articulo directamente en la parte inferior de esta página, tu comentario es muy importante para nuestra área de redacción y nuestros lectores.