Das Seed-Team von ByteDance hat Ende September dieses Jahres auf der Preprint-Plattform arXiv eine Arbeit eingereicht, die das gelegentliche „Ausflippen“ großer Modelle bei Langkontext-Aufgaben untersucht und eine technische Erklärung für die Ursachen dieses Phänomens liefert. Die Forschung weist darauf hin, dass die durch Chunked-KV-Cache-Kompression verursachte Phasenempfindlichkeit direkt mit dem DeepSeek-Phänomen zusammenhängt.
DeepSeek-Team entdeckt, dass Phasenempfindlichkeit Langkontext-Abrufleistung beeinflusst
Das DeepSeek-Team evaluierte die Basis- und Post-Training-Versionen von DeepSeek-V4-Flash, DeepSeek-V4-Pro sowie das nachtrainierte DeepSeek-V4.1-Flash. Alle diese Modelle verwenden in ihrer Architektur die gemeinsame Praxis der Chunked-KV-Cache-Kompression, bei der kontinuierliche Token-Fenster mit festem Schritt in weniger Cache-Einträge komprimiert werden. Dieser Ansatz reduziert den Speicherbedarf und die Aufmerksamkeitsberechnungskosten bei Langkontext-Inferenz deutlich und wird daher von vielen Modellen bevorzugt.
Doch die Kompression hat ihren Preis. Die Arbeit weist darauf hin, dass dieser Verarbeitungsansatz neben dem ursprünglichen Positionssystem eine neue Positionscoordinate einführt – die Phase des Tokens, also dessen Position relativ zur Grenze des Kompressionsfensters. Mit anderen Worten: Derselbe Informationsabschnitt an einer anderen „Position“ im komprimierten Cache führt zu grundlegend unterschiedlicher Abrufleistung.
Das Team entdeckte zudem eine systematische Asymmetrie: Derselbe Informationsinhalt lässt sich in einer Phase leicht vom Modell abrufen, wird in einer anderen Phase jedoch erheblich schwieriger auffindbar. Sie benannten dieses Phänomen der periodischen Schwankung der Abrufleistung in Abhängigkeit von der Phase als „Phasenempfindlichkeit“ (phase sensitivity).
Besonders bemerkenswert ist die Amplitude dieser Schwankung. Bei großen Open-Weight-Modellen, die diese Kompressionsart einsetzen, kann die Genauigkeit des Langkontext-Abrufs zwischen verschiedenen Phasen um bis zu 40 Prozentpunkte differieren. Diese Zahl offenbart periodische Schwachstellen, die durchschnittliche Benchmark-Ergebnisse verdecken mögen – ein scheinbar hervorragendes Durchschnittszeugnis ist in Wirklichkeit das Resultat wiederholter Schwankungen zwischen Hoch- und Tiefpunkten, und welche Phase der Nutzer tatsächlich antrifft, hängt oft davon ab, wo die Information im Kontext landet.