قدم فريق "سيد" (Seed) التابع لشركة "بِتْدَنس" (ByteDance) في أواخر سبتمبر من هذا العام ورقة بحثية على منصة "أركايف" (arXiv) للمطبوعات المسبقة، ناقش فيها ظاهرة "الاختلال" العرضية التي تظهر في النماذج الكبيرة عند التعامل مع مهام السياقات الطويلة، وقدم تفسيراً تقنياً لأسباب هذه الظاهرة. وأشارت الدراسة إلى أن حساسية الطور الناتجة عن ضغط ذاكرة التخزين المؤقت للمفاتيح والقيم (KV) المجزأة ترتبط مباشرة بظاهرة "ديب سيك" (DeepSeek).
فريق "ديب سيك" (DeepSeek) يكتشف تأثير حساسية الطور على أداء الاسترجاع في السياقات الطويلة
قيّم فريق "ديب سيك" (DeepSeek) الإصدار الأساسي وإصدار ما بعد التدريب لكل من "ديب سيك-في 4-فلاش" (DeepSeek-V4-Flash) و"ديب سيك-في 4-برو" (DeepSeek-V4-Pro)، بالإضافة إلى "ديب سيك-في 4.1-فلاش" (DeepSeek-V4.1-Flash) بعد التدريب. وتتبنى هذه النماذج جميعاً في بنيتها المعمارية ممارسة مشتركة تتمثل في ضغط ذاكرة التخزين المؤقت للمفاتيح والقيم (KV) المجزأة، حيث يتم ضغط نوافذ الرموز (token) المتتالية ذات الخطوة الثابتة إلى عدد أقل من إدخالات ذاكرة التخزين المؤقت. وتقلل هذه الممارسة بشكل ملحوظ من استهلاك الذاكرة وتكلفة حساب الانتباه (attention) أثناء الاستدلال في السياقات الطويلة، مما جعلها محط اهتمام العديد من النماذج.
غير أن الضغط ليس بلا تكلفة. وتشير الورقة إلى أن أسلوب المعالجة هذا يُدخل إحداثي موقع جديداً خارج نظام المواقع الأصلي، وهو "طور" الرمز (phase)، أي موقع ذلك الرمز بالنسبة لحدود نافذة الضغط. وبعبارة أخرى، فإن اختلاف "تموضع" مقطع المعلومات نفسه داخل ذاكرة التخزين المؤقت المضغوطة يؤدي إلى أداء استرجاع مختلف تماماً.
اكتشف الفريق أيضاً ظاهرة عدم تناظر منهجية: يسهل على النموذج استرجاع المعلومة نفسها عند طور معين، بينما تصبح صعبة للغاية عند طور آخر. وأطلقوا على هذه الظاهرة المتمثلة في تذبذب أداء الاسترجاع بشكل دوري مع الطور اسم "حساسية الطور" (phase sensitivity).
الأكثر لفتاً للانتباه هو سعة هذا التذبذب. ففي النماذج الكبيرة مفتوحة الأوزان التي تعتمد هذا النوع من الضغط، قد تصل الفجوة في دقة الاسترجاع للسياقات الطويلة بين الأطوار المختلفة إلى 40 نقطة مئوية. ويكشف هذا الرقم عن نقاط ضعف دورية قد تخفيها الدرجات المعيارية المتوسطة — فبطاقة درجات متوسطة تبدو ممتازة هي في الحقيقة نتيجة تذبذب متكرر بين قمم وقيعان، بينما يعتمد الطور الذي يصادفه المستخدم فعلياً على موقع وقوع المعلومة في السياق.