原始 token 序列
长度 = 1,000,000
0
250K
500K
750K
1M
query
① DSA
Sparse Attention
top-k ≈ 2,048 tokens / query
IndexShare: 每4层复用 indexer
动态稀疏选择 (2048 tokens)
覆盖整段 1M，内容依赖的高相关原始 token (无损)
② Local Window
最近几千 token 全精度
无损局部注意力
4096 tok
最近局部窗口，无损 →