ทีม Seed ของ ByteDance ได้ส่งบทความวิจัยขึ้นบนแพลตฟอร์มพรีพรินต์ arXiv ในปลายเดือนกันยายนปีนี้ ซึ่งสำรวจปรากฏการณ์ "อาการผิดปกติ" ที่โมเดลขนาดใหญ่บางครั้งแสดงในงานบริบทยาว และเสนอการอธิบายทางเทคนิคเกี่ยวกับสาเหตุของปรากฏการณ์ดังกล่าว การศึกษาระบุว่า ความไวต่อเฟสที่มาจากการบีบอัด KV แคชแบบแบ่งบล็อก มีความเกี่ยวข้องโดยตรงกับปรากฏการณ์ DeepSeek
ทีม DeepSeek ค้นพบว่าความไวต่อเฟสส่งผลต่อประสิทธิภาพการดึงข้อมูลบริบทยาว
ทีม DeepSeek ได้ประเมินโมเดลรุ่นพื้นฐานและรุ่นหลังการฝึกต่อยอด ได้แก่ DeepSeek-V4-Flash, DeepSeek-V4-Pro, และ DeepSeek-V4.1-Flash หลังการฝึกต่อยอด โมเดลเหล่านี้ทุกรุ่นในสถาปัตยกรรมใช้วิธีการร่วมกันคือการบีบอัด KV แคชแบบแบ่งบล็อก โดยใช้ขนาดก้าวคงที่บีบอัดหน้าต่างโทเค็น (token) ที่ต่อเนื่องให้กลายเป็นรายการแคชน้อยลง วิธีนี้ลดการใช้หน่วยความจำและต้นทุนการคำนวณความสนใจ (attention) ในขั้นตอนอนุมานบริบทยาวอย่างชัดเจน จึงได้รับความนิยมจากโมเดลจำนวนมาก
อย่างไรก็ตาม การบีบอัดก็ไม่ได้ไม่มีราคาที่ต้องจ่าย บทความวิจัยระบุว่า วิธีการดังกล่าวนำเข้ามาพิกัดตำแหน่งใหม่นอกเหนือจากระบบตำแหน่งเดิม คือ "เฟสของโทเค็น" (phase) ซึ่งคือตำแหน่งของโทเค็นนั้นๆ เทียบกับขอบเขตของหน้าต่างการบีบอัด กล่าวคือ ข้อมูลชุดเดียวกันในแคชที่บีบอัดแล้ว หาก "ตำแหน่งการยืน" ต่างกัน จะนำไปสู่ประสิทธิภาพการดึงข้อมูลที่แตกต่างกันอย่างสิ้นเชิง
ทีมวิจัยค้นพบเพิ่มเติมปรากฏการณ์ไม่สมมาตรแบบระบบ: ข้อมูลเดียวกันในเฟสบางอาจง่ายต่อการถูกโมเดลดึงข้อมูลออกมา ในขณะที่เปลี่ยนไปอีกเฟสหนึ่งกลายเป็นเรื่องยากมาก พวกเขาจึงตั้งชื่อปรากฏการณ์ที่ประสิทธิภาพการดึงข้อมูลไปมาตามเฟสอย่างเป็นวัฏจักร ว่า "ความไวต่อเฟส" (phase sensitivity)
สิ่งที่น่าสนใจยิ่งกว่านั้นคือขนาดของความผันผวนนี้ ในโมเดลน้ำหนักเปิดขนาดใหญ่ที่ใช้การบีบอัดแบบนี้ ความแม่นยำในการดึงข้อมูลบริบทยาวระหว่างเฟสต่างๆ อาจต่างกันสูงสุดถึง 40 จุดเปอร์เซ็นต์ ตัวเลขนี้เปิดเผยจุดอ่อนแบบวัฏจักรที่คะแนนเกณฑ์เฉลี่ยอาจปิดบังไว้ — ใบรายงานผลเฉลี่ยที่ดูดียังเป็นผลมาจากการผันผวนระหว่างจุดสูงและจุดต่ำซ้ำๆ ในขณะที่ผู้ใช้จะพบเฟสไหน จะขึ้นอยู่กับว่าข้อมูลตกอยู่ที่ตำแหน่งไหนในบริบท