# Large Concept Models: predecir oraciones en vez de tokens

Explicamos el paper de FAIR at Meta que genera texto prediciendo embeddings de oraciones en el espacio SONAR, cómo usa difusión y qué tan bien compite con LLMs de 7B parámetros.

**El paper:** Large Concept Models: Language Modeling in a Sentence Representation Space
- Autores: LCM team, Loïc Barrault, Paul-Ambroise Duquenne, Maha Elbayad, Artyom Kozhevnikov, Belen Alastruey, Pierre Andrews, Mariano Coria, Guillaume Couairon, Marta R. Costa-jussà, David Dale, Hady Elsahar, Kevin Heffernan, João Maria Janeiro, Tuan Tran, Christophe Ropers, Eduardo Sánchez, Robin San Roman, Alexandre Mourachko, Safiyyah Saleem, Holger Schwenk
- Año: 2024

Revisado por Guillermo Izquierdo Colin (2026-11-09)

## Respuesta corta: qué logran los Large Concept Models de Meta

El Large Concept Model de FAIR at Meta (LCM team, 2024) genera texto prediciendo el embedding SONAR de la siguiente oración, no el siguiente token. Su versión de 7B parámetros, entrenada solo en inglés, logra ROUGE-L de 23.71 en XSum frente a 20.35 de Llama-3.1-8B-IT, aunque pierde en fluidez y en resúmenes de documentos largos.

## Motivación: por qué un Large Concept Model predice oraciones en lugar de tokens

Los LLM populares, de Llama a GPT o Claude, comparten la misma receta: un Transformer de solo decodificador (*decoder-only*) que predice el siguiente token a partir de los anteriores. El equipo de FAIR at Meta que firma el paper, con Loïc Barrault, Paul-Ambroise Duquenne, Maha Elbayad, Artyom Kozhevnikov y Holger Schwenk entre sus autores, señala que esa receta deja fuera algo que hacen las personas: planear en varios niveles de abstracción.

Su ejemplo es una charla de quince minutos. Nadie la prepara palabra por palabra. Primero armas la secuencia de ideas; si das la charla dos veces, las palabras cambian, incluso el idioma, pero las ideas no. Los autores sostienen que un modelo con una jerarquía explícita genera mejor texto largo y coherente. Es una postura de partida, no algo que el paper mida.

Hay un segundo problema: los LLM dependen mucho del inglés, y ampliarlos a otros idiomas o modalidades suele exigir más datos, a veces sintéticos. La propuesta del paper es un Large Concept Model (LCM): un modelo que razona sobre conceptos y no sobre tokens. Un concepto es una idea atómica y abstracta; en este trabajo, para que sea factible, un concepto es una oración.

Para representar oraciones usan SONAR, un espacio de embeddings de oraciones que el mismo grupo publicó antes. Un embedding (*embedding*) es un vector de tamaño fijo que resume el significado; en SONAR, oraciones con significado parecido quedan cerca aunque estén en idiomas distintos. SONAR acepta texto de entrada y salida en 200 idiomas, voz de entrada en 76 idiomas y voz de salida en inglés. Si el LCM solo ve estos vectores, nunca sabe en qué idioma estaba el texto, así que lo que aprenda en inglés debería transferirse a otros idiomas sin reentrenar.

También hay un argumento de costo. La atención de un Transformer crece con el cuadrado de la longitud de la secuencia. Según los autores, una secuencia de oraciones es al menos un orden de magnitud más corta que la de tokens, así que el LCM podría manejar contextos largos con menos cómputo.

## Cómo funciona un Large Concept Model, paso a paso

El flujo del LCM tiene tres piezas. Primero se divide el texto en oraciones y cada una se codifica con el encoder de SONAR. Luego el LCM, un Transformer, recibe la secuencia de embeddings y genera el embedding de la siguiente oración. Al final, el decoder de SONAR convierte ese vector otra vez en texto. El encoder y el decoder están congelados: solo se entrena el modelo de en medio.

Partir el texto en oraciones no es trivial. Los autores compararon dos segmentadores, SpaCy y Segment Any Text (SaT), con y sin un tope de longitud. Eligieron SaT con tope de 200 caracteres, porque las oraciones muy largas se reconstruyen peor desde SONAR.

### Base-LCM: regresión directa sobre el embedding

La versión más simple del Large Concept Model, Base-LCM, trata la predicción como una regresión. Dados los conceptos anteriores, predice el siguiente vector y minimiza el error cuadrático. Es la ecuación (5) del paper:

$$\hat{\mathbf{x}}_n = f(\mathbf{x}_{\lt n};\boldsymbol{\theta}), \quad \mathrm{MSE}(\hat{\mathbf{x}}_n, \mathbf{x}_n) = \|\hat{\mathbf{x}}_n - \mathbf{x}_n\|^2$$

- $\mathbf{x}_{\lt n}$: los embeddings SONAR de las oraciones anteriores, es decir, el contexto.
- $f(\cdot;\boldsymbol{\theta})$: el Transformer con parámetros $\boldsymbol{\theta}$, rodeado de una PreNet y una PostNet que normalizan los vectores y los llevan a la dimensión oculta del modelo y de regreso.
- $\hat{\mathbf{x}}_n$: el embedding que el modelo predice para la oración $n$.
- $\|\hat{\mathbf{x}}_n - \mathbf{x}_n\|^2$: la distancia euclidiana al cuadrado entre la predicción y la oración real.

La intuición: si la predicción cae lejos de la oración real, la pérdida crece con el cuadrado. El problema es que un mismo contexto admite muchas continuaciones válidas. Al minimizar el MSE, el modelo aprende su promedio, y el promedio de varias oraciones posibles no tiene por qué ser una oración real. Esa es la explicación que dan los autores para los resultados débiles de Base-LCM.

### LCM con difusión: generar la oración quitando ruido

Para aprender una distribución de posibles siguientes oraciones, el paper toma prestada la difusión (*diffusion*) de los generadores de imágenes. En entrenamiento se le agrega ruido gaussiano al embedding limpio, según la ecuación (8):

$$\mathbf{x}^t = \alpha_t \mathbf{x}^0 + \sigma_t \boldsymbol{\epsilon} \quad \text{donde} \quad \boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$$

- $\mathbf{x}^0$: el embedding limpio de la siguiente oración.
- $t \in [0,1]$: el paso de ruido; con $t$ cerca de $0$ casi no hay ruido y cerca de $1$ casi todo es ruido.
- $\alpha_t$ y $\sigma_t$: cuánto pesan la señal y el ruido. El paper usa un proceso que preserva la varianza, con $\alpha_t^2 + \sigma_t^2 = 1$.
- $\boldsymbol{\epsilon}$: ruido gaussiano estándar.

El modelo aprende el camino inverso: recibe el vector ruidoso y el contexto, y predice el embedding limpio. El paper predice $\mathbf{x}^0$ directamente, no el ruido, y optimiza una pérdida de reconstrucción simple, la ecuación (16):

$$\mathcal{L}(t,\boldsymbol{\theta}) = \mathbb{E}_{\mathbf{x}^0,\boldsymbol{\epsilon}}\Big[\big\|\mathbf{x}^0 - \boldsymbol{\mu}_{\boldsymbol{\theta}}(\alpha_t \mathbf{x}^0 + \sigma_t \boldsymbol{\epsilon}, t)\big\|_2^2\Big]$$

- $\boldsymbol{\mu}_{\boldsymbol{\theta}}(\cdot, t)$: la red que limpia el vector ruidoso en el paso $t$, condicionada a las oraciones anteriores.
- $\alpha_t \mathbf{x}^0 + \sigma_t \boldsymbol{\epsilon}$: la versión ruidosa de la ecuación (8).
- $\mathbb{E}$: el promedio sobre embeddings del corpus y muestras de ruido.

La intuición: se parece a la pérdida de Base-LCM, pero el modelo nunca recibe la respuesta limpia como entrada. Tiene que reconstruirla desde distintos niveles de ruido, y al generar parte de ruido puro. Por eso puede producir oraciones distintas y válidas en vez de su promedio.

El paper prueba dos arquitecturas de difusión. One-Tower usa un solo Transformer que recibe el contexto y el vector ruidoso. Two-Tower separa el trabajo: un contextualizador codifica las oraciones anteriores y un denoiser, con atención cruzada (*cross-attention*) hacia ese contexto, limpia el vector. Entrenan con 100 pasos de ruido y generan con 40, usando guía sin clasificador (*classifier-free guidance*).

Una tercera familia, Quant-LCM, cuantiza el espacio SONAR con cuantización vectorial residual (*residual vector quantization*) y predice unidades discretas, como un LLM predice tokens. Con 64 libros de códigos, la reconstrucción alcanza alrededor del 70% del BLEU que se obtiene con los vectores continuos.

## Ejemplo visual: qué variante del Large Concept Model funcionó mejor

Para elegir, los autores entrenaron todas las variantes con cerca de 1.6B parámetros sobre el dataset Fineweb-edu, en 32 GPUs A100 durante 250k pasos. Luego las ajustaron con instrucciones (*instruction tuning*) para escribir historias del conjunto Cosmopedia. Como referencia entrenaron smaLlama, un Llama de 1.4B parámetros con los mismos datos.

La gráfica muestra el ROUGE-L de cada modelo. ROUGE-L mide cuánto se traslapan las palabras del texto generado con las del texto de referencia; más alto es mejor.

> Gráfica: ROUGE-L de las variantes del LCM de 1.6B parámetros y de smaLlama, entrenados con los mismos datos. Fuente: LCM team (2024), Tabla 4. — ROUGE-L al escribir historias de Cosmopedia tras el ajuste con instrucciones: Base-LCM 23.69; One-Tower 33.40; Two-Tower 33.64; Quant-LCM-c 30.87; Quant-LCM-d 28.01; smaLlama 34.88.

Las dos variantes de difusión quedan cerca de smaLlama: Two-Tower saca 33.64 y One-Tower 33.40, frente a 34.88 del Llama pequeño. Base-LCM se queda en 23.69. En coherencia, otra métrica automática de la misma tabla, One-Tower obtiene 0.968 y smaLlama 0.984, mientras Base-LCM baja a 0.482. Con estos resultados, los autores escalaron la variante Two-Tower, que además ocupa menos memoria con contextos largos.

## Resultados del Large Concept Model de 7B frente a LLMs del mismo tamaño

El modelo final, Two-Tower-7B, tiene 7B parámetros. Se preentrenó con 2.7T tokens, que equivalen a 142.4B oraciones, en 256 GPUs A100. Después se ajustó con datos públicos de instrucciones y quedó como Two-Tower-7B-IT. Los autores lo comparan con T5-3B, ajustado específicamente en cada dataset, y con tres LLMs con ajuste de instrucciones de tamaño parecido: Gemma-7B-IT, Mistral-7B-v0.3-IT y Llama-3.1-8B-IT.

### Resumen en CNN DailyMail y XSum

En XSum, que pide resúmenes muy cortos, el LCM tiene el ROUGE-L más alto: 23.71, frente a 21.22 de Mistral, 20.35 de Llama, 18.20 de Gemma y 17.11 de T5-3B. En CNN DailyMail gana T5-3B con 37.56; el LCM queda segundo con 36.47, arriba de Mistral (36.06), Llama (34.97) y Gemma (31.14).

> Gráfica: ROUGE-L del LCM de 7B frente a otros modelos en dos datasets de resumen (Gemma-7B-IT se comenta en el texto). Fuente: LCM team (2024), Tabla 10. — ROUGE-L en resumen. CNN DailyMail: T5-3B 37.56; Mistral-7B-v0.3-IT 36.06; Llama-3.1-8B-IT 34.97; Two-Tower-7B-IT 36.47. XSum: T5-3B 17.11; Mistral-7B-v0.3-IT 21.22; Llama-3.1-8B-IT 20.35; Two-Tower-7B-IT 23.71.

Las otras métricas de la Tabla 10 matizan el resultado. El LCM copia menos frases de la fuente que los LLMs y repite menos. Pero el clasificador de fluidez CoLA le da 0.767 en CNN DailyMail, contra 0.973 de Llama. Los autores notan que los resúmenes humanos de referencia también sacan menos que los LLMs (0.850) y sugieren que esas métricas favorecen el texto generado por LLMs. Es una hipótesis, no algo que midan.

### Resumen de documentos largos

En LCFO, con documentos de unas 5k palabras y resúmenes del 5%, 10% y 20% de la longitud original, el LCM queda lejos de Llama-3.1-8B-IT. Su ROUGE-L es 26.88, 29.38 y 31.74, frente a 37.67, 42.85 y 46.92 de Llama. Sí supera a Gemma y Mistral en las condiciones de 5% y 10%. Los autores mencionan una posible contaminación de datos en Llama, pero no la comprueban.

### Idiomas que el Large Concept Model nunca vio

El resultado más llamativo es multilingüe. El LCM se entrenó solo con texto en inglés. Aun así, los autores lo evaluaron en XLSum, un benchmark de resumen de noticias, en 42 idiomas y sin ajuste adicional. En inglés logra 23.5 de ROUGE-L contra 20.7 de Llama-3.1-8B-IT; en el promedio de los seis idiomas que ambos soportan oficialmente, 20.2 contra 19.7.

> Gráfica: ROUGE-L en XLSum; el LCM solo se entrenó con texto en inglés. Fuente: LCM team (2024), sección 4.2 y Figura 16. — ROUGE-L en XLSum. Inglés: Two-Tower-7B-IT 23.5 y Llama-3.1-8B-IT 20.7. Promedio de los seis idiomas soportados por ambos: Two-Tower-7B-IT 20.2 y Llama-3.1-8B-IT 19.7.

La ventaja en el promedio de seis idiomas es de medio punto y el paper no reporta su significancia. Donde el LCM destaca más es en idiomas de pocos recursos como pastún, birmano, hausa o galés, todos con ROUGE-L mayor a 20. Llama-3.1-8B-IT, en cambio, solo se ajustó con instrucciones en ocho idiomas.

En un experimento aparte, una variante que primero predice un concepto de plan (LPCM) obtiene 2.82 de coherencia contra 2.74 del modelo base. La escala va de 0 a 5 y la calificó Llama-3.1-8B-IT como juez.

## Limitaciones de los Large Concept Models: qué no prueba el paper

- **SONAR no se hizo para predecir oraciones.** Los autores admiten que SONAR se entrenó con datos de traducción de oraciones más bien cortas. Está hecho para que oraciones casi iguales queden cerca, sin garantías para oraciones solo relacionadas, y predecir la siguiente oración exige que el espacio funcione bien a escala global. Los textos con enlaces, números o código son frágiles al decodificarse.
- **Todavía no alcanza a los LLMs de punta.** El LCM pierde frente a smaLlama en historias y frente a Llama-3.1-8B-IT en documentos largos y en fluidez. El propio paper reconoce que falta un largo camino para igualar a los mejores LLMs.
- **Solo métricas automáticas.** ROUGE-L, clasificadores y un LLM como juez; no hay evaluación humana. Las comparaciones de 7B son contra modelos públicos entrenados con otros datos, así que no aíslan el efecto de la arquitectura.
- **Una oración es una unidad gruesa.** Las oraciones largas pueden contener varias ideas, y casi todas las oraciones de un corpus son únicas. Eso hace mucho más difícil aprender su distribución que la de un vocabulario de tokens.

## Qué significa para ti: qué puedes usar hoy de los Large Concept Models

No vas a reemplazar tu LLM con un LCM mañana. El paper es una prueba de concepto y sus propios números lo dicen. Lo que sí puedes aprovechar hoy son tres ideas.

Primera: el código es abierto. El entrenamiento del LCM está en [facebookresearch/large_concept_model](https://github.com/facebookresearch/large_concept_model) y los encoders y decoders de SONAR en [facebookresearch/SONAR](https://github.com/facebookresearch/SONAR). Si trabajas con varios idiomas, un espacio donde la misma idea en español y en inglés cae en el mismo punto sirve para búsqueda semántica multilingüe, deduplicación o minería de traducciones, que es para lo que SONAR se diseñó.

Segunda: la difusión no es solo para imágenes. Si tu problema es predecir un vector continuo con varias respuestas válidas, una regresión con MSE te dará el promedio, como le pasó a Base-LCM. Un modelo generativo, de difusión o con cuantización, te deja muestrear opciones distintas.

Tercera: piensa en la granularidad. Planear a nivel oración o párrafo y luego generar el detalle es algo que puedes probar hoy con un LLM normal: pídele primero un esquema y después que expanda cada punto. El paper explora esa idea con un concepto de plan y obtiene una mejora pequeña de coherencia.

Lo que no cambia: en tareas que exigen precisión token por token, como código o matemáticas, los autores reconocen que la entropía cruzada de los LLMs tiene una ventaja que la difusión continua no ofrece. Ahí el LLM clásico sigue siendo la herramienta.

## Referencias

LCM team, Loïc Barrault, Paul-Ambroise Duquenne, Maha Elbayad, Artyom Kozhevnikov, Belen Alastruey, Pierre Andrews, Mariano Coria, Guillaume Couairon, Marta R. Costa-jussà, David Dale, Hady Elsahar, Kevin Heffernan, João Maria Janeiro, Tuan Tran, Christophe Ropers, Eduardo Sánchez, Robin San Roman, Alexandre Mourachko, Safiyyah Saleem, Holger Schwenk. Large Concept Models: Language Modeling in a Sentence Representation Space. 2024. https://arxiv.org/abs/2412.08821

## Preguntas frecuentes

### ¿Qué es un Large Concept Model?

Es un modelo de lenguaje que, en vez de predecir el siguiente token, predice el embedding de la siguiente oración en el espacio SONAR y luego lo convierte en texto con un decoder congelado. Lo propuso el equipo de FAIR at Meta en 2024.

### ¿Un Large Concept Model es mejor que un LLM?

No en general. En el paper, la versión de 7B parámetros supera a LLMs de tamaño parecido en ROUGE-L sobre XSum, pero queda debajo de Llama-3.1-8B-IT en resumen de documentos largos y en fluidez. Los autores lo presentan como una prueba de concepto.

### ¿Por qué el LCM funciona en idiomas que nunca vio?

Porque solo trabaja con vectores de SONAR, que pone oraciones con el mismo significado cerca aunque estén en idiomas distintos. El modelo se entrenó en inglés y se evaluó en otros idiomas sin ningún dato adicional en esos idiomas.

### ¿Por qué el Large Concept Model usa difusión y no una regresión?

Un mismo contexto admite varias oraciones siguientes válidas. La regresión con error cuadrático aprende su promedio, que puede no ser una oración real; la difusión aprende una distribución y permite generar una de las opciones.

### ¿Se puede descargar el código del Large Concept Model?

Sí. Meta publicó el código de entrenamiento y evaluación en el repositorio facebookresearch/large_concept_model, y SONAR también es abierto. El paper no menciona que se publiquen los pesos del modelo de 7B.