El equipo Seed de ByteDance presentó a finales de septiembre de este año un artículo en la plataforma de preimpresión arXiv, en el que examina el fenómeno ocasional de “fallos” que se produce en los modelos grandes durante tareas de contexto largo, y ofrece una explicación técnica de sus causas. La investigación señala que la sensibilidad de fase provocada por la compresión de caché KV por bloques está directamente relacionada con el fenómeno DeepSeek.
El equipo de DeepSeek descubre que la sensibilidad de fase afecta el rendimiento de la recuperación en contextos largos
El equipo de DeepSeek evaluó las versiones base y post-entrenamiento de DeepSeek-V4-Flash, DeepSeek-V4-Pro, así como la versión post-entrenamiento DeepSeek-V4.1-Flash. Todos estos modelos adoptan en su arquitectura la práctica común de compresión de caché KV por bloques, que comprime ventanas de tokens continuos en menos entradas de caché con un paso fijo. Esta práctica reduce notablemente el uso de memoria y el coste de cálculo de atención durante la inferencia de contexto largo, por lo que es favorecida por numerosos modelos.
Sin embargo, la compresión no carece de coste. El artículo señala que este método de procesamiento introduce, más allá del sistema de posiciones original, una nueva coordenada de posición —la fase del token, es decir, la posición que ocupa dicho token respecto a los límites de la ventana de compresión. En otras palabras, la misma información en una “ubicación” diferente dentro de la caché comprimida conduce a un rendimiento de recuperación radicalmente distinto.
El equipo descubrió además una asimetría sistemática: la misma información es fácil de recuperar para el modelo en una fase, pero se vuelve considerablemente difícil en otra. Denominaron “sensibilidad de fase” (phase sensitivity) a este fenómeno de fluctuación periódica del rendimiento de recuperación en función de la fase.
Más notable es la amplitud de esta fluctuación. En los grandes modelos de pesos abiertos que emplean este tipo de compresión, la precisión de la recuperación en contexto largo puede diferir hasta en 40 puntos porcentuales entre distintas fases. Esta cifra revela las debilidades periódicas que pueden enmascarar las puntuaciones medias de referencia —una hoja de calificaciones promedio aparentemente excelente es en realidad el resultado de oscilaciones repetidas entre picos y valles, y la fase que el usuario realmente encuentra depende a menudo de dónde cae la información en el contexto.