CEO de Anthropic detalla estrategia para avanzar.

Recientemente, se han intensificado las advertencias sobre los peligros de la inteligencia artificial de parte de investigadores en el ámbito. Hasta se han presentado comentarios del CEO de OpenAI, quien ha sugerido que podría ser momento de moderar el desarrollo de estas tecnologías. Pero, ¿en qué podría consistir esa moderación?

En una reciente publicación, el CEO de Anthropic ha no solo respaldado esta idea de “moderar el avance”, sino que también ha delineado tres estrategias generales para lograrlo, comprometiéndose unilateralmente a llevar a cabo una de ellas.

El debate sobre la seguridad y alineación de la inteligencia artificial ha cobrado fuerza tras la renuncia de un investigador de Anthropic, quien expresó su preocupación de que las principales empresas de IA están “jugando con nuestras vidas”, mientras quienes desarrollan la tecnología “creen sinceramente que podría matarnos a todos en la próxima década”. Esta preocupación ha resonado entre otros miembros de Anthropic.

El CEO de Anthropic apunta que dos eventos en particular le han hecho reconsiderar el enfoque hacia el desarrollo de inteligencia artificial: una reciente brecha de seguridad que involucró a OpenAI y la aceleración en el avance de capacidades de inteligencia artificial en los últimos meses.

“Necesitamos reducir la velocidad a la que mejoramos las capacidades de los modelos de IA”, afirma el CEO. “El progreso seguirá pareciendo rápido, y debemos hacer un uso prudente del tiempo que ganamos”.

Una de sus recomendaciones iniciales implica la incorporación de “evaluadores integrados” de organizaciones externas, que puedan verificar que las empresas de IA realmente están cumpliendo con sus compromisos de moderación y seguridad, y garantizar que los incidentes de seguridad se reporten adecuadamente. Recientemente, OpenAI fue objeto de críticas por no informar un incidente donde sus agentes de IA tomaron control de una wiki en Alemania.

Amodei compara a estos evaluadores con reguladores que han trabajado con empleados bancarios, y subraya que Anthropic se compromete a invitarlos, sugiriendo que los gobiernos exijan a otras compañías de frontera que hagan lo mismo. Esto implica proporcionar a los evaluadores acceso similar al que tienen los equipos internos de evaluación de riesgos.

Posteriormente, el CEO abogó por que las empresas líderes de inteligencia artificial “dentro de países democráticos” coordinen “estándares de seguridad comunes así como límites en la velocidad del avance descontrolado de la IA”.

Sin embargo, la posibilidad de tal coordinación parece incierta, tanto por la aparente animosidad entre líderes de empresas como por la preocupación de que una pausa coordinada podría generar un escrutinio antimonopolio. Amodei sugiere que, por razones antimonopolio, sería útil que el gobierno de EE. UU. mediara o al menos facilitara estas discusiones.

Amodei también comentó sobre la necesidad de abordar el dominio en inteligencia artificial por parte de China, algo que frecuentemente se menciona como argumento contra la ralentización del desarrollo. Estableció que si el gobierno de EE. UU. y las empresas tecnológicas toman medidas como restringir la venta de chips potentes a empresas chinas, podría ser posible “retrasar el progreso de China lo suficiente para ampliar significativamente la ventaja de EE. UU. en los próximos 3 a 5 años”.

Por último, hace un llamado a la “coordinación global”, donde EE. UU. y sus aliados intenten colaborar con gobiernos autoritarios, en la medida de lo posible. Propone que esto podría incluir “cooperación con China” para prohibir ciertos usos claramente peligrosos de la IA, como su uso en la producción de armas biológicas.

Ante la creciente inquietud por las afirmaciones alarmistas sobre la IA, algunos expertos han criticado duramente estas advertencias, argumentando que podrían ser una distracción de los daños que la tecnología ya está causando. Un periodista señaló que no ha visto documentación creíble que explique cómo la IA podría pasar de mejorar de manera recursiva a desencadenar una catástrofe global y sugirió que propuestas como las de Amodei podrían terminar beneficiando solamente a ciertas empresas.

En su nueva publicación, Amodei reafirma que sigue creyendo en el potencial de la IA para mejorar significativamente la calidad de vida humana. “Mi deseo de alcanzar estos beneficios sigue intacto”, concluye, señalando que la tecnología solo se construirá de manera efectiva si se gestiona adecuadamente y haciendo un uso bien dirigido del tiempo que se obtiene.