Respuesta corta: qué logran los Large Concept Models de Meta
El Large Concept Model de FAIR at Meta (LCM team, 2024) genera texto prediciendo el embedding SONAR de la siguiente oración, no el siguiente token. Su versión de 7B parámetros, entrenada solo en inglés, logra ROUGE-L de 23.71 en XSum frente a 20.35 de Llama-3.1-8B-IT, aunque pierde en fluidez y en resúmenes de documentos largos.
Motivación: por qué un Large Concept Model predice oraciones en lugar de tokens
Los LLM populares, de Llama a GPT o Claude, comparten la misma receta: un Transformer de solo decodificador (decoder-only) que predice el siguiente token a partir de los anteriores. El equipo de FAIR at Meta que firma el paper, con Loïc Barrault, Paul-Ambroise Duquenne, Maha Elbayad, Artyom Kozhevnikov y Holger Schwenk entre sus autores, señala que esa receta deja fuera algo que hacen las personas: planear en varios niveles de abstracción.
Su ejemplo es una charla de quince minutos. Nadie la prepara palabra por palabra. Primero armas la secuencia de ideas; si das la charla dos veces, las palabras cambian, incluso el idioma, pero las ideas no. Los autores sostienen que un modelo con una jerarquía explícita genera mejor texto largo y coherente. Es una postura de partida, no algo que el paper mida.
Hay un segundo problema: los LLM dependen mucho del inglés, y ampliarlos a otros idiomas o modalidades suele exigir más datos, a veces sintéticos. La propuesta del paper es un Large Concept Model (LCM): un modelo que razona sobre conceptos y no sobre tokens. Un concepto es una idea atómica y abstracta; en este trabajo, para que sea factible, un concepto es una oración.
Para representar oraciones usan SONAR, un espacio de embeddings de oraciones que el mismo grupo publicó antes. Un embedding (embedding) es un vector de tamaño fijo que resume el significado; en SONAR, oraciones con significado parecido quedan cerca aunque estén en idiomas distintos. SONAR acepta texto de entrada y salida en 200 idiomas, voz de entrada en 76 idiomas y voz de salida en inglés. Si el LCM solo ve estos vectores, nunca sabe en qué idioma estaba el texto, así que lo que aprenda en inglés debería transferirse a otros idiomas sin reentrenar.
También hay un argumento de costo. La atención de un Transformer crece con el cuadrado de la longitud de la secuencia. Según los autores, una secuencia de oraciones es al menos un orden de magnitud más corta que la de tokens, así que el LCM podría manejar contextos largos con menos cómputo.
Cómo funciona un Large Concept Model, paso a paso
El flujo del LCM tiene tres piezas. Primero se divide el texto en oraciones y cada una se codifica con el encoder de SONAR. Luego el LCM, un Transformer, recibe la secuencia de embeddings y genera el embedding de la siguiente oración. Al final, el decoder de SONAR convierte ese vector otra vez en texto. El encoder y el decoder están congelados: solo se entrena el modelo de en medio.
Partir el texto en oraciones no es trivial. Los autores compararon dos segmentadores, SpaCy y Segment Any Text (SaT), con y sin un tope de longitud. Eligieron SaT con tope de 200 caracteres, porque las oraciones muy largas se reconstruyen peor desde SONAR.
Base-LCM: regresión directa sobre el embedding
La versión más simple del Large Concept Model, Base-LCM, trata la predicción como una regresión. Dados los conceptos anteriores, predice el siguiente vector y minimiza el error cuadrático. Es la ecuación (5) del paper:
$$\hat{\mathbf{x}}_n = f(\mathbf{x}_{\lt n};\boldsymbol{\theta}), \quad \mathrm{MSE}(\hat{\mathbf{x}}_n, \mathbf{x}_n) = \|\hat{\mathbf{x}}_n - \mathbf{x}_n\|^2$$
- $\mathbf{x}_{\lt n}$: los embeddings SONAR de las oraciones anteriores, es decir, el contexto.
- $f(\cdot;\boldsymbol{\theta})$: el Transformer con parámetros $\boldsymbol{\theta}$, rodeado de una PreNet y una PostNet que normalizan los vectores y los llevan a la dimensión oculta del modelo y de regreso.
- $\hat{\mathbf{x}}_n$: el embedding que el modelo predice para la oración $n$.
- $\|\hat{\mathbf{x}}_n - \mathbf{x}_n\|^2$: la distancia euclidiana al cuadrado entre la predicción y la oración real.
La intuición: si la predicción cae lejos de la oración real, la pérdida crece con el cuadrado. El problema es que un mismo contexto admite muchas continuaciones válidas. Al minimizar el MSE, el modelo aprende su promedio, y el promedio de varias oraciones posibles no tiene por qué ser una oración real. Esa es la explicación que dan los autores para los resultados débiles de Base-LCM.
LCM con difusión: generar la oración quitando ruido
Para aprender una distribución de posibles siguientes oraciones, el paper toma prestada la difusión (diffusion) de los generadores de imágenes. En entrenamiento se le agrega ruido gaussiano al embedding limpio, según la ecuación (8):
$$\mathbf{x}^t = \alpha_t \mathbf{x}^0 + \sigma_t \boldsymbol{\epsilon} \quad \text{donde} \quad \boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$$
- $\mathbf{x}^0$: el embedding limpio de la siguiente oración.
- $t \in [0,1]$: el paso de ruido; con $t$ cerca de $0$ casi no hay ruido y cerca de $1$ casi todo es ruido.
- $\alpha_t$ y $\sigma_t$: cuánto pesan la señal y el ruido. El paper usa un proceso que preserva la varianza, con $\alpha_t^2 + \sigma_t^2 = 1$.
- $\boldsymbol{\epsilon}$: ruido gaussiano estándar.
El modelo aprende el camino inverso: recibe el vector ruidoso y el contexto, y predice el embedding limpio. El paper predice $\mathbf{x}^0$ directamente, no el ruido, y optimiza una pérdida de reconstrucción simple, la ecuación (16):
$$\mathcal{L}(t,\boldsymbol{\theta}) = \mathbb{E}_{\mathbf{x}^0,\boldsymbol{\epsilon}}\Big[\big\|\mathbf{x}^0 - \boldsymbol{\mu}_{\boldsymbol{\theta}}(\alpha_t \mathbf{x}^0 + \sigma_t \boldsymbol{\epsilon}, t)\big\|_2^2\Big]$$
- $\boldsymbol{\mu}_{\boldsymbol{\theta}}(\cdot, t)$: la red que limpia el vector ruidoso en el paso $t$, condicionada a las oraciones anteriores.
- $\alpha_t \mathbf{x}^0 + \sigma_t \boldsymbol{\epsilon}$: la versión ruidosa de la ecuación (8).
- $\mathbb{E}$: el promedio sobre embeddings del corpus y muestras de ruido.
La intuición: se parece a la pérdida de Base-LCM, pero el modelo nunca recibe la respuesta limpia como entrada. Tiene que reconstruirla desde distintos niveles de ruido, y al generar parte de ruido puro. Por eso puede producir oraciones distintas y válidas en vez de su promedio.
El paper prueba dos arquitecturas de difusión. One-Tower usa un solo Transformer que recibe el contexto y el vector ruidoso. Two-Tower separa el trabajo: un contextualizador codifica las oraciones anteriores y un denoiser, con atención cruzada (cross-attention) hacia ese contexto, limpia el vector. Entrenan con 100 pasos de ruido y generan con 40, usando guía sin clasificador (classifier-free guidance).
Una tercera familia, Quant-LCM, cuantiza el espacio SONAR con cuantización vectorial residual (residual vector quantization) y predice unidades discretas, como un LLM predice tokens. Con 64 libros de códigos, la reconstrucción alcanza alrededor del 70% del BLEU que se obtiene con los vectores continuos.
Ejemplo visual: qué variante del Large Concept Model funcionó mejor
Para elegir, los autores entrenaron todas las variantes con cerca de 1.6B parámetros sobre el dataset Fineweb-edu, en 32 GPUs A100 durante 250k pasos. Luego las ajustaron con instrucciones (instruction tuning) para escribir historias del conjunto Cosmopedia. Como referencia entrenaron smaLlama, un Llama de 1.4B parámetros con los mismos datos.
La gráfica muestra el ROUGE-L de cada modelo. ROUGE-L mide cuánto se traslapan las palabras del texto generado con las del texto de referencia; más alto es mejor.
Las dos variantes de difusión quedan cerca de smaLlama: Two-Tower saca 33.64 y One-Tower 33.40, frente a 34.88 del Llama pequeño. Base-LCM se queda en 23.69. En coherencia, otra métrica automática de la misma tabla, One-Tower obtiene 0.968 y smaLlama 0.984, mientras Base-LCM baja a 0.482. Con estos resultados, los autores escalaron la variante Two-Tower, que además ocupa menos memoria con contextos largos.
Resultados del Large Concept Model de 7B frente a LLMs del mismo tamaño
El modelo final, Two-Tower-7B, tiene 7B parámetros. Se preentrenó con 2.7T tokens, que equivalen a 142.4B oraciones, en 256 GPUs A100. Después se ajustó con datos públicos de instrucciones y quedó como Two-Tower-7B-IT. Los autores lo comparan con T5-3B, ajustado específicamente en cada dataset, y con tres LLMs con ajuste de instrucciones de tamaño parecido: Gemma-7B-IT, Mistral-7B-v0.3-IT y Llama-3.1-8B-IT.
Resumen en CNN DailyMail y XSum
En XSum, que pide resúmenes muy cortos, el LCM tiene el ROUGE-L más alto: 23.71, frente a 21.22 de Mistral, 20.35 de Llama, 18.20 de Gemma y 17.11 de T5-3B. En CNN DailyMail gana T5-3B con 37.56; el LCM queda segundo con 36.47, arriba de Mistral (36.06), Llama (34.97) y Gemma (31.14).
Las otras métricas de la Tabla 10 matizan el resultado. El LCM copia menos frases de la fuente que los LLMs y repite menos. Pero el clasificador de fluidez CoLA le da 0.767 en CNN DailyMail, contra 0.973 de Llama. Los autores notan que los resúmenes humanos de referencia también sacan menos que los LLMs (0.850) y sugieren que esas métricas favorecen el texto generado por LLMs. Es una hipótesis, no algo que midan.
Resumen de documentos largos
En LCFO, con documentos de unas 5k palabras y resúmenes del 5%, 10% y 20% de la longitud original, el LCM queda lejos de Llama-3.1-8B-IT. Su ROUGE-L es 26.88, 29.38 y 31.74, frente a 37.67, 42.85 y 46.92 de Llama. Sí supera a Gemma y Mistral en las condiciones de 5% y 10%. Los autores mencionan una posible contaminación de datos en Llama, pero no la comprueban.
Idiomas que el Large Concept Model nunca vio
El resultado más llamativo es multilingüe. El LCM se entrenó solo con texto en inglés. Aun así, los autores lo evaluaron en XLSum, un benchmark de resumen de noticias, en 42 idiomas y sin ajuste adicional. En inglés logra 23.5 de ROUGE-L contra 20.7 de Llama-3.1-8B-IT; en el promedio de los seis idiomas que ambos soportan oficialmente, 20.2 contra 19.7.
La ventaja en el promedio de seis idiomas es de medio punto y el paper no reporta su significancia. Donde el LCM destaca más es en idiomas de pocos recursos como pastún, birmano, hausa o galés, todos con ROUGE-L mayor a 20. Llama-3.1-8B-IT, en cambio, solo se ajustó con instrucciones en ocho idiomas.
En un experimento aparte, una variante que primero predice un concepto de plan (LPCM) obtiene 2.82 de coherencia contra 2.74 del modelo base. La escala va de 0 a 5 y la calificó Llama-3.1-8B-IT como juez.
Limitaciones de los Large Concept Models: qué no prueba el paper
- SONAR no se hizo para predecir oraciones. Los autores admiten que SONAR se entrenó con datos de traducción de oraciones más bien cortas. Está hecho para que oraciones casi iguales queden cerca, sin garantías para oraciones solo relacionadas, y predecir la siguiente oración exige que el espacio funcione bien a escala global. Los textos con enlaces, números o código son frágiles al decodificarse.
- Todavía no alcanza a los LLMs de punta. El LCM pierde frente a smaLlama en historias y frente a Llama-3.1-8B-IT en documentos largos y en fluidez. El propio paper reconoce que falta un largo camino para igualar a los mejores LLMs.
- Solo métricas automáticas. ROUGE-L, clasificadores y un LLM como juez; no hay evaluación humana. Las comparaciones de 7B son contra modelos públicos entrenados con otros datos, así que no aíslan el efecto de la arquitectura.
- Una oración es una unidad gruesa. Las oraciones largas pueden contener varias ideas, y casi todas las oraciones de un corpus son únicas. Eso hace mucho más difícil aprender su distribución que la de un vocabulario de tokens.
Qué significa para ti: qué puedes usar hoy de los Large Concept Models
No vas a reemplazar tu LLM con un LCM mañana. El paper es una prueba de concepto y sus propios números lo dicen. Lo que sí puedes aprovechar hoy son tres ideas.
Primera: el código es abierto. El entrenamiento del LCM está en facebookresearch/large_concept_model y los encoders y decoders de SONAR en facebookresearch/SONAR. Si trabajas con varios idiomas, un espacio donde la misma idea en español y en inglés cae en el mismo punto sirve para búsqueda semántica multilingüe, deduplicación o minería de traducciones, que es para lo que SONAR se diseñó.
Segunda: la difusión no es solo para imágenes. Si tu problema es predecir un vector continuo con varias respuestas válidas, una regresión con MSE te dará el promedio, como le pasó a Base-LCM. Un modelo generativo, de difusión o con cuantización, te deja muestrear opciones distintas.
Tercera: piensa en la granularidad. Planear a nivel oración o párrafo y luego generar el detalle es algo que puedes probar hoy con un LLM normal: pídele primero un esquema y después que expanda cada punto. El paper explora esa idea con un concepto de plan y obtiene una mejora pequeña de coherencia.
Lo que no cambia: en tareas que exigen precisión token por token, como código o matemáticas, los autores reconocen que la entropía cruzada de los LLMs tiene una ventaja que la difusión continua no ofrece. Ahí el LLM clásico sigue siendo la herramienta.