LLM 面试备考
首页/LLM 核心

位置编码、RoPE 与长度外推 Position Encoding, RoPE & Context Extension

所属：01-fundamentals / 01-llm-core
面试权重：★★
来源：通用领域知识；未做一手考证

一句话#

自注意力本身对顺序不敏感，位置编码（Position Encoding）负责把"第几个 token"注入模型；RoPE 通过把 Q/K 向量按位置旋转来编码相对位置，是目前 decoder-only LLM 的主流方案，而长度外推则是在 RoPE 之上做频率/位置缩放，让模型能在超过训练长度的窗口上工作。

为什么重要（面试角度）#

这题是长上下文能力的技术根节点。面试官问"你们模型支持 128k，是怎么做到的"，真正想听的是：

  • RoPE 到底怎么编码位置，为什么说它是相对的
  • 直接把窗口调大为什么不行（外推 vs 内插）
  • PI / NTK-aware / YaRN 分别在改什么
  • 为什么扩展长度几乎都要继续训练，纯 training-free 的方案差在哪
  • 位置编码解决的是"能不能放进去"，不是"用不用得上"（后者是 lost-in-the-middle 的问题）

普遍存在的错误认知：以为 RoPE 天生就能外推。RoPE 的注意力分数只依赖相对距离这个性质，不等于训练长度之外还能保持良好分布——超出训练长度后性能是明显下降的，所以才有后面一整套缩放方法。这个纠正本身就是加分项。

核心内容#

三条技术路线#

类型 做法 代表 外推能力
绝对位置 为每个位置生成一个向量，加到（或拼到）输入 embedding 上 正弦编码（原始 Transformer）、可学习编码（BERT/GPT-2） 正弦理论上可外推但实测差；可学习编码完全不能外推（超出训练长度的位置没有对应参数）
相对位置 不编码"第几个"，而是编码"相距几个"，通常作为注意力分数的偏置 T5 relative position bias、ALiBi ALiBi 外推较好（线性衰减偏置），是少数不靠改 RoPE 的方案
旋转位置（RoPE） 对 Q/K 施加与位置相关的旋转，使内积自动只依赖相对距离 Llama、Qwen、Mistral、DeepSeek 等 原生长度外会退化，靠缩放方法扩展

RoPE 的机制#

把 dd 维向量两两分组，每一对 (x2i,x2i+1)(x_{2i}, x_{2i+1}) 看作复平面上的一个点，在位置 mm 处旋转角度 mθim\theta_i：

θi=base−2i/d,i=0,1,…,d/2−1\theta_i = \text{base}^{-2i/d}, \quad i = 0,1,\dots,d/2-1

对 Q 和 K 分别施加旋转矩阵 RmR_m 与 RnR_n，则内积满足：

(Rmq)⊤(Rnk)=q⊤Rn−m k(R_m q)^\top (R_n k) = q^\top R_{n-m}\, k

即注意力分数只取决于相对位移 n−mn-m，与绝对位置无关。这是 RoPE 最核心的性质。

几个必须记住的细节：

  • 只作用于 Q 和 K，不作用于 V。因为它要影响的是注意力权重（相似度），不是被加权的内容。
  • 不同维度对使用不同频率：低维（ii 小）对应高频、旋转快；高维对应低频、旋转慢。低频维度负责远距离的粗粒度区分，高频维度负责近距离的精确定位——这个"多尺度"结构是后面各种缩放方法能按维度分别处理的物理基础。
  • base 是可调超参。原始值 10000；公开配置中可以看到现代长上下文模型把它调大（例如 Llama 3 使用 500000），因为增大 base 会让所有频率变慢，等价于把"一个完整旋转周期"拉长，从而在海量 token 的距离上仍保持可区分性。具体数值随模型版本变化，引用时应查对应 config（rope_theta / rope_scaling）。

长上下文扩展：改的是什么#

先分清两个词：

  • 内插（Interpolation）：把超出训练长度的位置压缩映射回训练区间，模型见到的是"熟悉的位置"。
  • 外推（Extrapolation）：直接让位置索引超出训练范围，指望模型泛化。

主要方法（社区通常以"是否训练-free"区分，但几乎所有方法在幅度较大时都需要继续训练或长文本微调才有好效果）：

方法 核心改动 备注
Position Interpolation (PI) 线性缩放位置：m→m⋅Ltrain/Ltargetm \to m \cdot L_{\text{train}} / L_{\text{target}} 最直观，压缩太狠时会损失近距离分辨率
NTK-aware 不改位置，改 base（按扩展倍数放大 base） 高频维度几乎不变、低频维度被拉开，比线性内插更保局部精度
NTK-by-parts 按维度分段处理：低频做内插、高频保持 缓解 NTK-aware 在高频维度上的细节损失
YaRN NTK-by-parts + 注意力温度缩放（mscale） 综合方案，实践中常用；需要调若干超参
Dynamic NTK 推理时按当前序列长度动态调整 base 免训练方向，短序列不受影响，长序列效果不如微调
LongRoPE 搜索非均匀的位置缩放因子，分阶段扩展 属研究进展，配置随版本变

共同前提：位置编码解决"能把长文本编码进去"，但要让模型真的用得上，需要在长文档上继续训练/微调（通常还会配合长文本数据配比、注意力实现换成支持长序列的核）。

一个必须区分的相邻问题#

"支持 128k 上下文" ≠ "能有效利用中间的内容"。检索评测显示模型对中间位置的信息利用率低于开头和结尾（lost in the middle）。这是注意力与训练数据分布的问题，位置编码改不掉它。面试时把这两件事分开说，是明显的加分点。

ALiBi：另一条路线#

ALiBi 不添加任何位置向量，而是在注意力分数上直接加一个与距离成正比的负偏置：

scoreij+=−mh⋅(i−j)\text{score}_{ij} \mathrel{+}= -m_h \cdot (i - j)

每个头有不同的斜率 mhm_h。它天然鼓励"看近处"，对超出训练长度的序列表现相对稳健，因此被 BLOOM、MPT 等采用。代价是没有 RoPE 那种"可为长上下文做频率工程"的调节旋钮，且在现代主流模型里已不是主流选择。

常见面试问法#

Q：RoPE 是怎么编码位置的？为什么说它是相对位置编码？ A：把 Q/K 的维度两两配对成复平面上的旋转，位置 mm 对应旋转 mθim\theta_i，θi=base−2i/d\theta_i = \text{base}^{-2i/d}。旋转后二者内积满足 (Rmq)⊤(Rnk)=q⊤Rn−mk(R_mq)^\top(R_nk) = q^\top R_{n-m}k，只依赖相对位移 n−mn-m，因此具有相对位置性质。它只作用于 Q/K，不作用于 V。

Q：RoPE 能直接外推到训练长度之外吗？ A：不能直接外推。RoPE 的"相对性"只保证分数形式上是相对距离的函数，但训练时未见过的相对距离落在分布外，性能会明显下降。要扩展必须改频率或位置（PI、NTK-aware、YaRN 等），且通常需要继续训练/长文本微调；纯 training-free 的方案在扩展倍数较大时会掉点。

Q：Position Interpolation 和 NTK-aware 的区别？ A：PI 是线性压缩位置索引，把长序列挤进训练区间，实现简单但会损失近距离分辨率。NTK-aware 不动位置而是放大 RoPE 的 base，使高频维度基本保持、低频维度被拉伸，从而在保留局部精度上更好。NTK-by-parts 进一步按维度分段（低频内插、高频保持），YaRN 在此之上加注意力温度缩放。

Q：为什么扩长上下文一定要继续训练？ A：位置编码只改变"位置信号的表示"，不改变模型权重里学到的模式。模型在训练长度内见过的注意力分布、位置组合都是有限的；把长度拉长后，模型面对的是分布外的注意力模式（尤其是远距离依赖），必须用长文档数据继续训练/微调才能适配。此外局部注意力实现、数据长度配比、评测都要一并调整。

Q：ALiBi 和 RoPE 的取舍？ A：ALiBi 直接在注意力分数上加线性衰减偏置，无位置嵌入、结构更简单，外推相对稳健（BLOOM/MPT 采用）。RoPE 通过旋转编码相对位置，并且提供了可调节的频率结构——这让后续 PI/NTK/YaRN 这一整套长上下文扩展方法有了着力点，因此成为现代主流。取舍上，RoPE 生态与工具链更成熟，ALiBi 的免训练外推优势在大幅扩展时也会衰减。

易错点#

  • ❌ 说"RoPE 天生支持外推"——这是最常见的错误。相对性 ≠ 外推能力。
  • ❌ 把 RoPE 应用到 V 上。它只作用于 Q/K。
  • ❌ 混淆内插与外推：PI 是内插（压缩位置），动态 NTK 才是外推方向。
  • ❌ 认为改了 rope_theta / rope_scaling 就直接获得长上下文能力，不继续训练。
  • ❌ 把"上下文窗口 128k"等同于"能有效利用 128k"，忽略 lost-in-the-middle。
  • ❌ 说"可学习位置编码可以外推"——它的参数表长度就是训练长度，超出即无定义。
  • ❌ 把 T5 的 relative position bias、ALiBi、RoPE 混为一谈；三者机制不同，改动位置也不同（输入相加 / 分数加偏置 / Q·K 旋转）。

自测#

1. 写出 RoPE 的核心性质，并说明它为什么不作用在 V 上。

答案

配对旋转后 (Rmq)⊤(Rnk)=q⊤Rn−mk(R_mq)^\top(R_nk) = q^\top R_{n-m}k，注意力分数只依赖相对位移 n−mn-m。R 是正交矩阵，因此不改变向量范数（保证数值稳定）。它作用于 Q/K 是因为要影响的是"谁该注意谁"的相似度计算；V 是最终被加权的内容，对其施加位置旋转不会带来相对位置信息，反而会污染表示。

2. 一个模型训练长度 4k，现在要扩到 32k。你会怎么做，代价是什么？

答案

① 选择扩展方案：优先考虑 NTK-by-parts / YaRN 这类按维度分频的方案，或先做 PI 作为基线；② 修改 rope_scaling/base 等配置；③ 在长文档数据上继续训练/微调（这一步不可省），并调整数据长度分布（长短混合，避免只会长不会短）；④ 评估既要测长文本任务（检索、长文摘要）也要回归测原长度任务，确认没有掉点；⑤ 检查注意力实现与显存放得下。代价：继续训练算力、可能短序列性能回退、以及推理时 KV Cache 显存随长度线性增长。

3. NTK-aware 缩放为什么比线性位置内插更能保住局部精度？

答案

RoPE 的不同维度对对应不同频率：低维高频（近距离精确定位）、高维低频（远距离区分）。线性内插把所有位置等比压缩，高频维度也随之被压缩，近距离的分辨率被牺牲。NTK-aware 改为放大 base，使高频维度旋转速度几乎不变（保留局部精度），而低频维度被显著拉伸（获得远距离区分能力）——即"按频率分别处理"的思路。NTK-by-parts 把这一思路显式化成按维度分段。

4. 有同事说"我们把上下文窗口从 8k 调到 128k 了，长文能力搞定"。请指出这个说法的问题。

答案

只改了位置编码/窗口配置不等于获得长文能力：模型在训练长度之外面对的是分布外的注意力模式，必须继续训练/长文本微调。此外即便窗口够大，模型仍可能存在 lost-in-the-middle——中间位置信息利用率低，这是训练数据分布与注意力机制的问题，位置编码解决不了。还需要配合评测（长文检索/摘要）与成本核算（KV Cache 显存随长度线性增长，128k 时非常可观）。

5. 为什么现代模型几乎都是 RoPE，而不是可学习绝对位置编码或 ALiBi？

答案

可学习绝对位置编码的参数表长度等于训练长度，超出即无定义，且学不到相对结构；ALiBi 结构简单、外推稳健，但缺少可调频率结构，难以支撑内插/分维度缩放这一整套扩展路线。RoPE 兼具相对位置性质、正交变换的数值稳定性、以及多频率结构带来的可调节空间，配合 PI/NTK/YaRN 等方案形成了成熟的长上下文扩展生态，加上主流开源模型（Llama 系等）的示范效应，成为事实标准。