PrismML espera que su LLM transforme el uso de IA.

En el vasto universo de la inteligencia artificial, PrismML emerge como una propuesta intrigante que merece ser considerada. A pesar de no haber acumulado grandes sumas de inversión (su financiamiento más reciente fue de apenas $22.25 millones en una ronda inicial), el enfoque innovador de esta startup promete transformar la forma en que operamos con modelos de lenguaje de gran capacidad.

La premisa fundamental de PrismML radica en la audaz afirmación de que se pueden desarrollar modelos de lenguaje eficaces y con capacidad de razonamiento sin necesidad de ser de gran tamaño. Esta compañía está trabajando en modelos que, gracias a su compactación, pueden ser alojados en computadoras personales y smartphones sin perder rendimiento.

El jueves, PrismML presentó su más reciente modelo, conocido como Bonsai 2 27B, que logra comprimir el modelo Qwen3.8 27B de Alibaba a un tamaño de solo 5.9 GB. Esta compresión representa una reducción significativa de entre 9 a 10 veces en términos de memoria, lo que lo hace viable para dispositivos de uso cotidiano.

Fundada por un grupo de investigadores de Caltech, PrismML cuenta con la dirección de Babak Hassibi, profesor experto en tecnologías de compresión. Asimismo, Ion Stoica, cofundador de Databricks y director del prestigioso Sky Computing Lab de Berkeley, brinda asesoría a la empresa. Los inversores de PrismML incluyen a Khosla Ventures y Cerberus Capital, lo que añade un respaldo notable a su esfuerzo por redefinir el panorama de la inteligencia artificial.

No obstante, PrismML no es la única compañía que se adentra en el campo de la compresión de modelos de lenguaje. Multiverse Computing, proveniente del Donostia International Physics Center en España, también se está haciendo un nombre en esta área. Sin embargo, Hassibi sostiene que el enfoque de PrismML es único, ya que sus modelos han logrado conservar casi su rendimiento original. Por ejemplo, Bonsai 2 alcanza el 98% de las puntuaciones de referencia del modelo Qwen, una mejora notable en comparación con la primera versión de Bonsai, que lograba un 95%. La primera iteración de este modelo ha sido descargada más de 11 millones de veces, mientras que las versiones más pequeñas de la empresa han obtenido 2.6 millones de descargas adicionales.

A pesar de que los resultados de compresión han mostrado mejoría de un lanzamiento a otro, la posibilidad de alcanzar una paridad del 100% en el rendimiento es una cuestión pendiente. Hassibi apunta que, independientemente, una disminución del 2% en el rendimiento habitualmente no afectaría de forma contundente el uso práctico de estos modelos, dada la naturaleza de las tareas que dichos modelos realizan.

La innovación detrás de PrismML radica en su capacidad para reducir los “pesos” que constituyen un modelo, que normalmente requieren 16 bits cada uno. Su estrategia de “pesos ternarios” simplifica este proceso al limitar los valores posibles a +1, -1 o 0, logrando así ahorros significativos en espacio de almacenamiento.

En el horizonte, PrismML se propone aplicar esta técnica de compresión a modelos de mayor envergadura, esperando que los modelos futuros, con cientos de miles de millones de parámetros, faciliten aún más la retención de inteligencia sin sacrificios significativos en rendimiento. “Con modelos de mayor tamaño, hay más margen para aplicar compresión sin perder inteligencia”, explica Hassibi.

Stoica comparte la emoción por el potencial de esta tecnología, vislumbrando un futuro donde modelos avanzados operen en dispositivos cotidianos de los usuarios. “Tendrás inteligencia a tu disposición, gratuita y privada, ya que no necesitarás enviarla a la nube”, comenta.