Byte Latent Transformer: Patches Scale Better Than Tokens
BLT (Pagnoni et al., 2024, FAIR at Meta) es un modelo de lenguaje sin tokenizador: lee bytes y los agrupa en parches según la entropía del siguiente byte. A 8B …
Recursos · Papers
Papers sin tanto rollo.
Cada paper con su resumen corto en español y sus datos verificados.
Large Concept Models: Language Modeling in a Sentence Representation Space
El Large Concept Model de FAIR at Meta (LCM team, 2024) genera texto prediciendo el embedding SONAR de la siguiente oración, no el siguiente token. Su versión de 7B parámetros, …
Bayesian Flow Networks
Las Bayesian Flow Networks (Graves et al., 2023) generan datos actualizando con inferencia bayesiana los parámetros de distribuciones simples y pasándolos a una red neuronal, sin proceso de ruido hacia …
Neural Networks are Decision Trees
Aytekin (2022) muestra que una red neuronal con activaciones lineales por tramos, como ReLU, equivale exactamente a un árbol de decisión: cada nodo revisa el signo de un filtro efectivo …