"El Open Source nos puede eclipsar": Google cree que ella y OpenAI están perdiendo la carrera de la IA

Si hay una ganadora actual de la carrera por la inteligencia artificial, esa es OpenAI. Microsoft se está aprovechando muy bien de ello. Google está siendo más cauta, sí,  pero no hay que olvidar que lleva años trabajando en este ámbito y que cuenta con DeepMind como punta de lanza. Y sin embargo los propios responsables de Google parecen tener claro que ni ellos ni OpenAI ganarán. El ganador será otro.

"No tenemos foso". Un documento filtrado en SemiAnalysis y que supuestamente ha sido creado por ingenieros de Google muestra su análisis del estado del arte actual en el campo de la inteligencia artificial. En él usan la expresión "no tenemos foso, y OpenAI tampoco" ("we have no moat, and neither does OpenAI"), que se utiliza en contextos empresariales y de inversión para describir una empresa o negocio que carece de una ventaja competitiva sostenible. O lo que es lo mismo: según Google, tanto ella como OpenAI tendrán dificultades para mantener su posición en el mercado de la IA y para mantenerse competitivas a largo plazo.

La "amenaza" Open Source. En el análisis de Google se comparan su modelo Bard con ChatGPT, pero también se incluyen los últimos avances en proyectos Open Source en este ámbito. La conclusión de los ingenieros de Google es llamativa:

"Aunque nuestros modelos siguen teniendo una ligera ventaja en términos de calidad, la brecha se está cerrando con asombrosa rapidez. Los modelos de código abierto son más rápidos, más personalizables, más privados y, libra por libra, más capaces. Hacen cosas con 100 dólares y 13.000 millones de parámetros que a nosotros nos cuestan 10 millones y 540.000 millones de parámetros. Y lo hacen en semanas, no en meses".

La gráfica superior, adaptada de la usada en el lanzamiento del modelo Vicuna-13B, muestra cómo tras el lanzamiento de Meta de LLaMA (y su posterior filtración a redes P2P), Alpaca-13B tardó en aparecer dos semanas y lo mejoró sensiblemente, pero es que Vicuna-13B, que apareció una semana después, se acercaba a la precisión y calidad de Bard y ChatGPT con muchísimos menos recursos.

Innovación constante y frenética. En el documento se habla de cómo en el mundo Open Source se están produciendo avances espectaculares en muy poco tiempo. Apenas pasaban días entre los principales avances (véase la cronología para un desglose completo). Aquí estamos, apenas un mes después, y hay variantes con ajuste de instrucciones, cuantificación, mejoras de calidad, evaluaciones humanas, multimodalidad, RLHF, etc., etc., muchas de las cuales se basan unas en otras. Y para Google la cosa no acaba ahí:

"Y lo que es más importante, han resuelto el problema del escalado hasta el punto de que cualquiera puede retocarlo. Muchas de las nuevas ideas proceden de gente corriente. La barrera de entrada para la formación y la experimentación se ha reducido de la producción total de una gran organización de investigación a una persona, una tarde y un portátil robusto".

LoRA, democratizador de IA. El documento tiene una sección muy interesante hablando de "en qué nos hemos despistado". Allí los ingenieros hablan de LoRA (Low-Rank Adaptation), una técnica que se aplica a los LLM (Large Language Models) y que busca reducir el coste de adaptar esos modelos a tareas específicas. De repente cualquiera con un buen portátil puede aplicar este método y personalizar su modelo. No solo eso:

"Parte de lo que hace que LoRA sea tan eficaz es que, al igual que otras formas de ajuste, es apilable. Mejoras como el ajuste de las instrucciones pueden aplicarse y luego aprovecharse a medida que otros colaboradores añaden diálogo, razonamiento o uso de herramientas. Aunque los ajustes finos individuales son de bajo rango, su suma no tiene por qué serlo, lo que permite que las actualizaciones de rango completo del modelo se acumulen con el tiempo.Esto significa que, a medida que se disponga de nuevos y mejores conjuntos de datos y tareas, el modelo podrá actualizarse a bajo coste, sin tener que pagar nunca el coste de una ejecución completa".

En Xataka

GPT-4 ya era un salto gigantesco respecto a ChatGPT. GPT-4 a 32K sencillamente cambia las reglas del juego

La ventaja competitiva de las grandes se pierde. En esencia lo que permite LoRA es competir con las grandes empresas como Google u OpenAI que dedican ingentes recuross a entrenar modelos desde cero. De repente esa forma de avanzar en estos proyectos ya no plantea la ventaja competitiva que planteaba antes:

"Los modelos grandes no son más capaces a largo plazo si podemos iterar más rápido en modelos pequeños. Las actualizaciones de LoRA son muy baratas de producir (~100 dólares) para los tamaños de modelo más populares. Esto significa que casi cualquiera con una idea puede generar una y distribuirla. Los tiempos de entrenamiento inferiores a un día son la norma. A ese ritmo, el efecto acumulativo de todos estos ajustes no tarda mucho en superar la desventaja inicial de tamaño. De hecho, en términos de horas de ingeniería, el ritmo de mejora de estos modelos supera con creces lo que podemos hacer con nuestras variantes más grandes, y las mejores ya son prácticamente indistinguibles de ChatGPT. Centrarnos en mantener algunos de los modelos más grandes del planeta en realidad nos coloca en desventaja".

Google quiere secretismo. El documento también plantea un cambio de actitud por parte de Google, que durante años compartió con el mundo sus avances gracias a la publicación de muchísimos estudios en el ámbito de la inteligencia artificial. Ahora la estrategia es distinta según The Washington Post, que revela que van a dejar de hacerlo para competir con el resto de avances. En el texto filtrado eso no queda tan claro :

"Mantener nuestra tecnología en secreto siempre ha sido una propuesta arriesgada. Los investigadores de Google se marchan a otras empresas con regularidad, así que podemos dar por hecho que saben todo lo que nosotros sabemos, y lo seguirán sabiendo mientras esa vía siga abierta.

Pero aferrarse a una ventaja competitiva en tecnología se hace aún más difícil ahora que la investigación puntera en LLM es asequible. Las instituciones de investigación de todo el mundo basan su trabajo en el de las demás, explorando el espacio de soluciones con una amplitud que supera con creces nuestra propia capacidad. Podemos intentar aferrarnos a nuestros secretos mientras la innovación exterior diluye su valor, o podemos intentar aprender unos de otros".

OpenAI tampoco tiene nada que hacer. Esos avances del mundo Open Source no solo parecen estar poniendo contra las cuerdas a Google, sino también a la mismísima OpenAI:

"Y al final, OpenAI no importa. Están cometiendo los mismos errores que nosotros en su postura con respecto al código abierto, y su capacidad para mantener una ventaja está necesariamente en entredicho. Las alternativas de código abierto pueden eclipsarles, y acabarán haciéndolo, a menos que cambien de postura. En este sentido, al menos, podemos dar el primer paso".

En Xataka | HuggingFace lanza su propio rival Open Source de ChatGPT: de momento, tiene mucho margen de mejora