Tim Seed ByteDance pada akhir September tahun ini mengirimkan sebuah makalah ke platform pratinjau arXiv, yang membahas fenomena "gangguan" yang sesekali muncul pada model besar dalam tugas konteks panjang, dan memberikan penjelasan teknis atas penyebab fenomena tersebut. Penelitian menunjukkan bahwa sensitivitas fase yang dibawa oleh kompresi KV cache berbasis chunking berkaitan langsung dengan fenomena DeepSeek.
Tim DeepSeek Menemukan Sensitivitas Fase Mempengaruhi Kinerja Pengambilan Konteks Panjang
Tim DeepSeek mengevaluasi versi dasar dan pasca-pelatihan dari DeepSeek-V4-Flash, DeepSeek-V4-Pro, serta DeepSeek-V4.1-Flash pasca-pelatihan. Keempat model ini dalam arsitekturnya sama-sama mengadopsi praktik umum kompresi KV cache berbasis chunking, yang mengompresi jendela token berurutan menjadi entri cache yang lebih sedikit dengan langkah tetap. Praktik ini nyata menurunkan penggunaan memori dan biaya komputasi perhatian saat inferensi konteks panjang, sehingga disukai oleh tidak sedikit model.
Namun, kompresi tidak tanpa biaya. Makalah tersebut menegaskan, cara pengolahan ini di luar sistem posisi asli memperkenalkan koordinat posisi baru — fase token, yaitu posisi token relatif terhadap batas jendela kompresi. Dengan kata lain, informasi yang sama memiliki "posisi berdiri" yang berbeda di cache terkompresi, akan mengakibatkan kinerja pengambilan yang sangat berbeda.
Tim lebih lanjut menemukan ketidaksimetrisan sistematis: informasi yang sama pada fase tertentu mudah diambil model, namun berganti ke fase lain justru menjadi cukup sulit. Mereka menamai fenomena kinerja pengambilan yang naik turun secara periodik mengikuti fase ini sebagai "sensitivitas fase" (phase sensitivity).
Lebih patut diperhatikan adalah amplitudo fluktuasi ini. Pada model terbuka besar yang mengadopsi kompresi semacam ini, akurasi pengambilan konteks panjang antar fase berbeda bisa mencapai selisih 40 poin persen. Angka ini mengungkap kelemahan periodik yang mungkin tertutupi oleh skor rata-rata — sebuah laporan nilai rata-rata yang tampak gemilang, sebenarnya diperoleh setelah naik turun berulang antara puncak dan lembah, dan fase mana yang dihadapi pengguna seringkali bergantung pada posisi informasi dalam konteks.