¿Quién determina lo que dice la IA?

Campbell Brown ha dedicado su carrera a la búsqueda de información precisa, primero como periodista de televisión y luego como la primera, y única, jefa de noticias dedicada de Facebook. Ahora, mientras la inteligencia artificial transforma la manera en que las personas consumen información, observa que la historia podría estar a punto de repetirse. Esta vez, no está dispuesta a esperar a que otros solucionen los problemas.

Su empresa, Forum AI, que fundó hace 17 meses en Nueva York, se centra en cómo los modelos de IA abordan lo que ella denomina “temas de alto riesgo”: geopolítica, salud mental, finanzas y contratación. Estas áreas son complejas y no ofrecen respuestas claras. El enfoque de Forum AI es encontrar a los principales expertos en estos campos, hacer que diseñen criterios de evaluación y luego entrenar modelos de IA para que evalúen los resultados a gran escala.

Para su labor en geopolítica, Brown ha reclutado a figuras destacadas como Niall Ferguson, Fareed Zakaria, el exsecretario de Estado Tony Blinken, el ex presidente de la Cámara de Representantes Kevin McCarthy y Anne Neuberger, quien lideró la ciberseguridad durante la administración Obama. El objetivo es alcanzar un consenso de aproximadamente el 90% entre los jueces de IA y estos expertos humanos, un umbral que Forum AI ha conseguido cumplir.

Brown relata que el origen de Forum AI germinó en un momento clave: “Estaba en Meta cuando ChatGPT se lanzó públicamente. Rápidamente me di cuenta de que esta sería la vía a través de la cual fluiría toda la información, y no estaba bien.” Este panorama la inquietó, especialmente pensando en el futuro de sus hijos: “Mis hijos se volverán muy ignorantes si no encontramos la manera de solucionar esto,” recuerda haber pensado.

Lo que más la frustró fue que la precisión no parecía ser una prioridad para muchos en el sector. Según Brown, las empresas centradas en modelos de IA están “extremadamente enfocadas en la programación y las matemáticas”, mientras que el tratamiento de noticias e información es más complicado y, lo más importante, no opcional. De hecho, cuando Forum AI comenzó a evaluar los modelos líderes, los resultados no fueron alentadores.

Brown mencionó el caso de Gemini, que utilizaba información de sitios web del Partido Comunista Chino para historias que no tenían relación con China, así como un sesgo político notable en la mayoría de los modelos. También identificó errores más sutiles, como la falta de contexto y la representación desigual de los argumentos. “Aún queda un largo camino por recorrer, pero creo que hay correcciones sencillas que podrían mejorar significativamente los resultados”, asegura.

Con años de experiencia en Facebook, Brown ha sido testigo de lo que ocurre cuando una plataforma se optimiza para prioridades equivocadas. Mientras discutía con Tim Fernholz, mencionó que programas de verificación de datos que había desarrollado ya no existen. Aprendió que, aunque las redes sociales a menudo ignoran esta lección, priorizar el compromiso ha sido perjudicial para la sociedad, dejando a muchos menos informados.

Su esperanza es que la inteligencia artificial pueda romper este ciclo. “En este momento podría ir en cualquier dirección”, observó. Las empresas podrían optar por ofrecer a los usuarios lo que desean o lo que es real y veraz. Aceptó que la idea de que la IA optimice la verdad podría sonar ingenua, pero considera que las empresas pueden convertirse en aliados inesperados. Aquellos que usan IA para decisiones de crédito, préstamos, seguros y contrataciones son conscientes de lo que implica la responsabilidad y “querrán optimizar para hacerlo bien”.

Este interés empresarial es la apuesta central de Forum AI, aunque convertir esta demanda de cumplimiento en ingresos consistentes es un desafío, especialmente porque muchas organizaciones aún se contentan con auditorías superficiales y criterios estándar que, según Brown, son insuficientes.

El panorama de cumplimiento es, según ella, “un chiste”. Cuando Nueva York aprobó la primera ley sobre sesgo en contrataciones que requería auditorías de IA, el contralor estatal encontró que más de la mitad tenía violaciones que no fueron detectadas. La evaluación real requiere experiencia en el campo para abordar no solo escenarios conocidos, sino también casos límite que “pueden meterte en problemas que la gente no considera”, señala. Este trabajo requiere tiempo: “Los generalistas inteligentes no serán suficientes”.

Brown, cuyo empresa recaudó $3 millones en una ronda liderada por Lerer Hippeau el otoño pasado, está excepcionalmente posicionada para describir la desconexión entre la percepción del liderazgo de la industria de la IA y la realidad que enfrentan la mayoría de los usuarios. “Oyes a los líderes de las grandes empresas tecnológicas decir que ‘esta tecnología cambiará el mundo’, ‘te dejará sin trabajo’, ‘curará el cáncer’. Pero para una persona normal que utiliza un chatbot para hacer preguntas básicas, aún está obteniendo muchas respuestas incorrectas y confusas”, afirma.

La confianza en la inteligencia artificial se encuentra en niveles extraordinariamente bajos, y, según Brown, este escepticismo, en muchos casos, es justificado. “La conversación ocurre en Silicon Valley en torno a un tema, mientras que un diálogo completamente diferente sucede entre los consumidores”.

Gracias por leer Columna Digital, puedes seguirnos en Facebook, Twitter, Instagram o visitar nuestra página oficial. No olvides comentar sobre este articulo directamente en la parte inferior de esta página, tu comentario es muy importante para nuestra área de redacción y nuestros lectores.