Nueva técnica de razonamiento inquieta a especialistas en IA.

En el fascinante ámbito del desarrollo de inteligencia artificial, OpenAI presenta su nuevo modelo Astra, que introduce una técnica de razonamiento conocida como “profundidad recurrente”. Este método permite al modelo operar más allá del pensamiento secuencial que se observa en la mayoría de los modelos existentes. Sin embargo, esta innovación ha suscitado profundas inquietudes entre los expertos en seguridad de la inteligencia artificial, quienes temen que la opacidad en el razonamiento dificulte la supervisión de las decisiones del modelo.

El uso de “recurrencia opaca”, como también se le denomina, ha generado un amplio debate. Buck Shlegeris, CEO de Redwood, expresó su preocupación tras conocer la noticia. Se cuestiona cómo esta técnica afecta la monitorización de la cadena de pensamiento en comparación con modelos anteriores. Si OpenAI decide potenciar esta técnica, podría comprometer de forma significativa la capacidad para supervisar los procesos de razonamiento.

La amenaza de “una carrera hacia el fondo” es otra de las inquietudes planteadas por Zvi Mowshowitz, defensor de la seguridad en IA. Advierte que intensificar el uso de estas técnicas podría poner en riesgo uno de los tabúes más fundamentales en la investigación actual: la fidelidad y la monitorización de la cadena de pensamiento.

Bajo circunstancias normales, un modelo de razonamiento debería ofrecer una secuencia clara de pasos al abordar un problema, aunque este registro no sea perfecto. Este tipo de documentación ha sido vital para entender y corregir comportamientos no deseados en modelos anteriores. Dicho de otra manera, la falta de trazabilidad en el razonamiento podría acentuar aún más los desafíos ya presentes en la AI.

La recurrencia opaca implica que el modelo procesará la misma consulta en repetidas ocasiones, lo que resultará en una menor claridad en los registros de razonamiento. A pesar de esto, las afirmaciones de OpenAI sugieren que el uso de esta técnica será limitado y que la trazabilidad seguirá siendo una prioridad. Jakub Pachocki, científico jefe de OpenAI, reafirma el compromiso de la empresa con la monitorización de cadenas de pensamiento, fundamental para su investigación.

A pesar de que todos los modelos de IA implementan algún grado de razonamiento opaco, pocos investigadores consideran que registros de la cadena de pensamiento representen directamente el razonamiento del modelo. Sin embargo, la creciente discusión sobre la recurrencia opaca en modelos de IA podría complicar este escenario. Recientemente, también se ha informado que empresas como Anthropic y Google DeepMind están explorando este enfoque.

Ryan Greenblatt, científico jefe de Redwood, compartió su inquietud sobre la rápida escalabilidad del razonamiento opaco. Advierte que este puede evolucionar a tal punto que los modelos puedan razonar casi exclusivamente en un espacio latente, lo que podría resultar problemático.

La evolución en las técnicas de razonamiento en IA plantea preguntas cruciales sobre su monitorización y seguridad. La comunidad científica observa con atención los avances que OpenAI y otras empresas están realizando, conscientes de que el futuro del desarrollo de la inteligencia artificial dependerá en gran medida de la capacidad de estas innovaciones para ser comprendidas y supervisadas.

Gracias por leer Columna Digital, puedes seguirnos en Facebook, Twitter, Instagram o visitar nuestra página oficial. No olvides comentar sobre este articulo directamente en la parte inferior de esta página, tu comentario es muy importante para nuestra área de redacción y nuestros lectores.