LLMver_v1
This commit is contained in:
panda361
483
chap04.tex
483
chap04.tex
@@ -1,34 +1,28 @@
|
||||
% !TeX root = ../main.tex
|
||||
% 第四章 位置结构驱动的各向异性时空表征学习方法
|
||||
\chapter{位置结构驱动的各向异性时空表征学习方法}
|
||||
\label{chap:rosa_dypam}
|
||||
% 第四章 基于位置结构感知的选择性表征适配方法
|
||||
\chapter{基于位置结构感知的选择性表征适配方法}
|
||||
\label{chap:rosa}
|
||||
|
||||
\section{本章概述}
|
||||
\label{sec:ch4_overview}
|
||||
|
||||
第三章围绕模块级功能异质性（$\mathcal{R}_{mod}$），提出了基于上下文注意力调制的多任务时空表征学习方法HyCAM，实现了在注意力输出层面对不同功能模块的差异化适配。然而，在时空数据的表征学习中，除模块间的功能差异外，模型内部表示向量的\emph{维度级结构}同样蕴含着丰富的异质性信息。
|
||||
本章继续在\emph{表示空间}层面展开研究，转向维度级位置结构异质性的静态选择性建模。第三章围绕模块级功能异质性（$\mathcal{R}_{mod}$），提出了基于上下文注意力调制的适配方法HyCAM，实现了在注意力输出层面对不同功能模块的差异化适配。然而，除模块间的功能差异外，模型内部表示向量的\emph{维度级结构}同样蕴含着丰富的异质性信息。
|
||||
|
||||
在基于Transformer架构的大语言模型中，旋转位置编码（Rotary Position Embedding, RoPE）是编码序列位置信息的核心机制。RoPE通过对注意力表示的Query与Key向量施加维度对相关的旋转变换，将相对位置关系融入注意力计算过程。由于不同维度对的旋转频率按几何级数递减，低索引维度对应高频旋转（编码局部位置差异），高索引维度对应低频旋转（编码全局上下文依赖）。这一频率结构导致注意力表示在不同维度上呈现出显著的激活强度差异与功能分化，即维度级位置结构异质性（$\mathcal{R}_{dim}$）。
|
||||
|
||||
对于时空数据建模而言，这种维度级异质性具有直接的物理对应关系。时空序列中既包含短时局部波动（如分钟级交通流变化），也包含长程全局依赖（如跨区域的通勤模式与日周期规律）。RoPE的频率结构恰好为多尺度时空依赖的建模提供了天然的维度划分基础——不同频率的维度对可以分别承担不同时空尺度的位置感知功能。因此，在适配过程中充分感知并利用这种维度级位置结构，对于提升时空表征学习的质量具有重要意义。
|
||||
对于下游任务适配而言，这种维度级异质性具有重要意义。序列数据中既包含局部模式（如短程位置依赖），也包含长程全局依赖（如跨位置的语义关联与全局上下文结构）。RoPE的频率结构恰好为多尺度位置依赖的建模提供了天然的维度划分基础——不同频率的维度对可以分别承担不同尺度的位置感知功能。因此，在适配过程中充分感知并利用这种维度级位置结构，对于提升表征适配的质量具有重要意义。
|
||||
|
||||
然而，现有参数高效微调方法普遍忽视了维度级位置结构异质性。以LoRA为代表的低秩适配方法将可训练矩阵均匀地插入各线性层，对所有维度施加同质化的更新；类似地，其他主流方法也缺乏对注意力表示内部频率结构的感知能力。这种"维度无关"的适配范式在面对时空数据的多尺度位置依赖时，难以实现精细化的参数分配与功能调制。
|
||||
然而，现有参数高效微调方法普遍忽视了维度级位置结构异质性。以LoRA为代表的低秩适配方法将可训练矩阵均匀地插入各线性层，对所有维度施加同质化的更新；类似地，其他主流方法也缺乏对注意力表示内部频率结构的感知能力。这种"维度无关"的适配范式在面对多尺度位置依赖时，难以实现精细化的参数分配与功能调制。
|
||||
|
||||
针对上述问题，本章在第一章提出的结构感知调制统一框架（式~\ref{eq:ch1_unified_M}）下，聚焦维度级位置结构异质性（$\mathcal{R}_{dim}$），提出两种递进式方法：
|
||||
针对上述问题，本章在第一章提出的结构感知调制统一框架（式~\ref{eq:ch1_unified_M}）下，聚焦维度级位置结构异质性（$\mathcal{R}_{dim}$），提出RoPE感知的选择性适配方法（RoSA）。RoSA基于对RoPE诱导的维度级激活异质性的实证分析，提出RoPE感知注意力增强（RoAE）模块，选择性地增强Query/Key表示中功能关键的低频维度成分；同时引入动态层选择（DLS）策略，基于LayerNorm梯度范数自适应识别并更新最关键的Transformer层。RoSA实现了"维度内选择性增强＋层间动态选择"的双层级结构感知适配，属于统一框架中的乘性调制形式（式~\ref{eq:ch1_multiplicative}），通过结构角色描述符$\mathcal{R}_{dim}$实现对注意力表示流的精细化调制。
|
||||
|
||||
\textbf{（1）RoPE感知的选择性适配方法（RoSA）}。RoSA基于对RoPE诱导的维度级激活异质性的实证分析，提出RoPE感知注意力增强（RoAE）模块，选择性地增强Query/Key表示中功能关键的低频维度成分；同时引入动态层选择（DLS）策略，基于LayerNorm梯度范数自适应识别并更新最关键的Transformer层。RoSA实现了"维度内选择性增强＋层间动态分配"的双层级结构感知适配。
|
||||
|
||||
\textbf{（2）动态位置注意力调制方法（DyPAM）}。DyPAM在RoSA的基础上进一步推进，提出输入条件化的维度级调制机制，使调制信号不再是静态的维度选择，而是根据输入上下文动态生成；同时引入头级与层级结构偏置，允许不同注意力头和不同层维持各自的位置偏好。DyPAM实现了"输入动态调制＋多粒度结构偏置"的全面位置感知适配。
|
||||
|
||||
从RoSA到DyPAM的演进，体现了维度级位置结构适配从"静态选择"到"动态调制"的递进深化。两种方法均属于统一框架中的乘性调制形式（式~\ref{eq:ch1_multiplicative}），通过不同粒度的结构角色描述符$\mathcal{R}_{dim}$实现对注意力表示流的精细化调制。
|
||||
|
||||
本章后续安排如下：第~\ref{sec:ch4_background}~节分析RoPE机制及其诱导的维度级异质性问题；第~\ref{sec:rosa}~节详述RoSA方法；第~\ref{sec:dypam}~节详述DyPAM方法；第~\ref{sec:ch4_unified_view}~节从统一视角对比分析两种方法；第~\ref{sec:ch4_experiments}~节给出实验验证与结果分析；第~\ref{sec:ch4_summary}~节总结全章。
|
||||
本章后续安排如下：第~\ref{sec:ch4_background}~节分析RoPE机制及其诱导的维度级异质性问题；第~\ref{sec:rosa}~节详述RoSA方法；第~\ref{sec:ch4_experiments}~节给出实验验证与结果分析；第~\ref{sec:ch4_summary}~节总结全章。下一章将进一步将维度级适配从静态选择推进至动态调制。
|
||||
|
||||
|
||||
\section{维度级位置结构异质性的问题分析}
|
||||
\section{RoPE诱导的维度级位置结构异质性分析}
|
||||
\label{sec:ch4_background}
|
||||
|
||||
本节首先回顾RoPE的数学原理，然后从实证角度分析其诱导的维度级异质性现象，最后阐述该现象对时空适配的启示。
|
||||
本节首先回顾RoPE的数学原理，然后从实证角度分析其诱导的维度级异质性现象，最后阐述该现象对适配方法的启示。
|
||||
|
||||
\subsection{旋转位置编码机制}
|
||||
\label{subsec:ch4_rope}
|
||||
@@ -91,27 +85,16 @@ RoPE的频率结构不仅是数学上的设计选择，更在实际模型中诱
|
||||
|
||||
（2）\textbf{跨头异质性}。同一层内不同注意力头也展现出不同的激活模式，这与多头注意力机制的功能分工有关——不同头可能专注于不同类型的依赖关系建模。
|
||||
|
||||
\subsubsection{输入依赖的激活异质性}
|
||||
|
||||
\begin{figure}[htp]
|
||||
\centering
|
||||
\includegraphics[width=0.9\linewidth]{assets/4_token_heterogeneity.pdf}
|
||||
\caption{不同语义角色的输入token诱导的激活模式差异。具有不同语义角色的token在维度激活分布上呈现系统性差异。}
|
||||
\label{fig:ch4_token_hetero}
|
||||
\end{figure}
|
||||
|
||||
除了模型结构层面的异质性外，激活模式还表现出对输入内容的依赖性。不同语义角色的token会诱导系统性不同的激活分布。例如，时空描述性token（如地点名称、时间表达）与功能性token（如连接词、标点）在同一层同一头的维度激活分布上存在明显差异。这一现象表明，理想的维度级适配不应仅是静态的维度选择，还应考虑输入上下文的动态影响。
|
||||
|
||||
\subsubsection{不同位置编码机制的对比验证}
|
||||
|
||||
为验证上述维度级异质性确实由RoPE机制诱导，可以对比采用不同位置编码方案的模型。对比分析表明：（1）基于RoPE的模型（如LLaMA、Qwen系列）表现出结构化的、维度依赖的激活模式；（2）采用ALiBi或可学习位置嵌入的模型（如BLOOM、OPT系列）在维度间的激活分布明显更加均匀。这一对比有力地证明了维度级激活异质性与RoPE的频率结构直接相关。
|
||||
为验证上述维度级异质性确实由RoPE机制诱导，可以对比采用不同位置编码方案的模型。对比分析表明：（1）基于RoPE的模型（如LLaMA、Qwen系列）表现出结构化的、维度依赖的激活模式；（2）采用ALiBi或可学习位置嵌入的模型（如BLOOM、OPT系列）在维度间的激活分布明显更加均匀。这一对比有力地表明了维度级激活异质性与RoPE的频率结构直接相关。
|
||||
|
||||
进一步地，对比Query、Key和Value三种表示的激活模式发现：Query和Key表示展现出显著的结构化激活异质性，而Value表示的异质性则弱得多。这与RoPE的设计一致——RoPE仅对Query和Key施加位置旋转，不影响Value表示。这也为本章方法仅在Query和Key表示上进行调制提供了理论依据。
|
||||
进一步地，对比Query、Key和Value三种表示的激活模式发现：Query和Key表示展现出显著的结构化激活异质性，而Value表示的异质性则弱得多。这一差异与RoPE的作用方式一致：位置旋转直接施加于Query和Key，不进入Value分支。因此，本章将RoSA的调制作用点设定为Query和Key表示，依据的是RoPE诱导结构主要分布于Q/K状态这一机制特征。
|
||||
|
||||
\subsection{维度级异质性对时空适配的启示}
|
||||
\subsection{维度级异质性对适配方法的启示}
|
||||
\label{subsec:ch4_implication}
|
||||
|
||||
综合以上分析，RoPE诱导的维度级位置结构异质性对时空适配方法提出了以下启示：
|
||||
综合以上分析，RoPE诱导的维度级位置结构异质性对适配方法提出了以下启示：
|
||||
|
||||
\textbf{（1）适配应具有维度感知能力。}不同维度在功能上的分化意味着均匀适配是次优的。有效的方法应当识别并优先增强功能关键的维度成分（如低频维度），实现"精准投放"式的参数分配。
|
||||
|
||||
@@ -121,7 +104,7 @@ RoPE的频率结构不仅是数学上的设计选择，更在实际模型中诱
|
||||
|
||||
\textbf{（4）适配应对齐RoPE的维度对结构。}RoPE中每对维度共享相同的旋转频率，因此调制操作应当以维度对为基本单位，而非逐维度独立操作，以尊重并利用这一内在结构。
|
||||
|
||||
上述四点启示构成了本章两种方法的设计原则：RoSA主要回应启示（1）和（2），通过静态的低频维度增强与动态层选择实现结构感知适配；DyPAM则进一步回应启示（3）和（4），通过输入条件化的维度对调制与多粒度结构偏置实现全面的位置感知适配。
|
||||
上述启示构成了本章RoSA方法的设计原则。RoSA主要回应启示（1）和（2），通过静态的低频维度增强与动态层选择实现结构感知适配。下一章的DyPAM方法将进一步回应启示（3）和（4），通过输入条件化的维度对调制与多粒度结构偏置实现全面的位置感知适配。
|
||||
|
||||
|
||||
\section{RoPE感知的选择性适配方法}
|
||||
@@ -255,218 +238,10 @@ RoSA的主要超参数包括：低频维度比例$r_{\text{low}}$（默认0.25
|
||||
RoSA的设计具有良好的模块化特性：RoAE和DLS各自独立运作，可以灵活地与其他微调技术组合使用。RoAE的投影模块也可替换为其他PEFT方法的适配器设计，体现了框架的可扩展性。
|
||||
|
||||
|
||||
\section{动态位置注意力调制方法}
|
||||
\label{sec:dypam}
|
||||
|
||||
RoSA通过低频维度选择性增强与动态层选择，初步实现了对维度级位置结构异质性的感知。然而，RoSA的维度增强机制仍然是"选择后增强"的模式——先静态地划定低频维度范围，再在该范围内生成适配信号。这种设计存在两个局限：第一，对低频维度的选择是固定的（由超参数$r_{\text{low}}$决定），无法根据不同输入的特性进行动态调整；第二，调制信号不区分不同注意力头的位置偏好差异。
|
||||
|
||||
为进一步推进维度级位置感知适配的精细化程度，本节提出动态位置注意力调制方法（Dynamic Positional Attention Modulation, DyPAM）。DyPAM直接在RoPE的维度对结构上进行操作，实现\emph{输入条件化}的维度级调制与\emph{头级/层级}的结构偏置，从"静态选择"跃迁至"动态调制"。
|
||||
|
||||
\begin{figure}[htp]
|
||||
\centering
|
||||
\includegraphics[width=0.85\linewidth]{assets/4_dypam_arch.pdf}
|
||||
\caption{DyPAM方法框架图。DyPAM在RoPE之前，将输入条件化的维度级调制与头级和层级结构偏置共同施加于Query和Key表示，实现对位置注意力的细粒度动态适配。}
|
||||
\label{fig:ch4_dypam_arch}
|
||||
\end{figure}
|
||||
|
||||
\subsection{框架概述}
|
||||
\label{subsec:dypam_overview}
|
||||
|
||||
DyPAM的核心设计原则是：针对注意力在维度、头、层和输入token四个层面的异质性行为，通过结构感知的乘性调制实现精细化的位置注意力适配。如图~\ref{fig:ch4_dypam_arch}所示，DyPAM直接在Query和Key表示上操作，联合建模两种互补的调制机制：
|
||||
|
||||
（1）\textbf{输入条件化的维度级调制}：根据输入上下文动态生成逐维度对的调制因子，使不同维度的位置贡献能够随输入变化而自适应调整。
|
||||
|
||||
（2）\textbf{头级与层级结构偏置}：引入与输入无关的静态偏置项，编码不同注意力头和不同层在位置维度上的持久性结构偏好。
|
||||
|
||||
在统一分析框架下，DyPAM的调制操作可形式化为：
|
||||
\begin{equation}
|
||||
\mathcal{M}_{\theta}^{\text{DyPAM}}(\mathbf{Z}^{(\ell,h)}; \mathbf{X}, \mathcal{R}_{dim}) =
|
||||
\mathbf{s}^{(\ell,h)}(\mathbf{X}) \odot \mathbf{Z}^{(\ell,h)},
|
||||
\label{eq:ch4_dypam_unified}
|
||||
\end{equation}
|
||||
其中$\mathbf{s}^{(\ell,h)}(\mathbf{X})$为同时融合了输入条件化信号和结构偏置的调制因子，作用于第$\ell$层第$h$头的Query/Key表示$\mathbf{Z}^{(\ell,h)}$。
|
||||
|
||||
\subsection{调制特征的构建}
|
||||
\label{subsec:dypam_feature}
|
||||
|
||||
DyPAM在自注意力中的Query和Key表示上进行操作。在每个Transformer层$\ell$，这些表示由token级的隐藏状态$\mathbf{H}^{(\ell)} \in \mathbb{R}^{B \times T \times d}$通过式~\eqref{eq:ch4_qkv_proj}的线性投影获得，随后重塑为逐头表示$\mathbf{Q}^{(\ell,h)}, \mathbf{K}^{(\ell,h)} \in \mathbb{R}^{T \times d_h}$。
|
||||
|
||||
为实现输入条件化的注意力适配，DyPAM直接从同一隐藏状态$\mathbf{H}^{(\ell)}$推导调制特征。由于隐藏状态编码了token特异性的上下文信息，由此产生的调制特征天然具有token依赖性，且因输入不同而各异，为输入条件化调制提供了基础。具体地，DyPAM对隐藏状态施加轻量级低秩投影以生成调制特征：
|
||||
\begin{equation}
|
||||
\mathbf{M}^{(\ell)} = \mathbf{H}^{(\ell)} \mathbf{A}^{(\ell)} \mathbf{B}^{(\ell)}, \quad
|
||||
\mathbf{M}^{(\ell)} \in \mathbb{R}^{B \times T \times (H \cdot d_e)},
|
||||
\label{eq:ch4_dypam_feature}
|
||||
\end{equation}
|
||||
其中$\mathbf{A}^{(\ell)} \in \mathbb{R}^{d \times r}$和$\mathbf{B}^{(\ell)} \in \mathbb{R}^{r \times (H \cdot d_e)}$为可学习矩阵，秩$r \ll d$，$d_e$为每头特征维度。
|
||||
|
||||
投影后的特征被重塑为$H$个头特异性的成分，得到每个token位置$t$和注意力头$h$的调制特征$\mathbf{m}^{(\ell)}_{t,h} \in \mathbb{R}^{d_e}$。这些特征编码了每个token在不同头内的上下文表示信息，作为连接token级隐藏状态与后续维度级调制的中间桥梁。
|
||||
|
||||
\subsection{输入条件化的维度级调制}
|
||||
\label{subsec:dypam_dim_modulation}
|
||||
|
||||
基于调制特征，DyPAM将其映射为与注意力中Query和Key表示对齐的维度级调制值。该映射决定了每个注意力维度的贡献如何以输入条件化的方式被调制。
|
||||
|
||||
对于每一层$\ell$，DyPAM引入可学习的维度嵌入矩阵，将调制特征投影到注意力维度空间。具体地，对Query和Key分别使用独立的嵌入矩阵：
|
||||
\begin{equation}
|
||||
\mathbf{E}^{(\ell)}_Q \in \mathbb{R}^{\frac{d_h}{2} \times d_e}, \quad
|
||||
\mathbf{E}^{(\ell)}_K \in \mathbb{R}^{\frac{d_h}{2} \times d_e},
|
||||
\label{eq:ch4_dypam_embedding}
|
||||
\end{equation}
|
||||
其中每一行对应一个注意力维度对。这一设计反映了RoPE诱导的结构：每个维度对共享相同的位置旋转，因此表现出相似的位置行为。通过为每个维度对分配单一调制值，DyPAM在尊重RoPE内在结构的同时降低了参数开销。该设计同时兼容分组查询注意力（GQA）：Key端的调制在共享同一Key表示的头之间共享，而Query端的调制保持头特异性。
|
||||
|
||||
给定token位置$t$和注意力头$h$的调制特征$\mathbf{m}^{(\ell)}_{t,h} \in \mathbb{R}^{d_e}$，Query和Key的维度级调制分数分别计算为：
|
||||
\begin{equation}
|
||||
\mathbf{g}^{(\ell)}_{t,h,Q} = \mathbf{E}^{(\ell)}_Q \mathbf{m}^{(\ell)}_{t,h}, \quad
|
||||
\mathbf{g}^{(\ell)}_{t,h,K} = \mathbf{E}^{(\ell)}_K \mathbf{m}^{(\ell)}_{t,h},
|
||||
\label{eq:ch4_dypam_score}
|
||||
\end{equation}
|
||||
其中$\mathbf{g}^{(\ell)}_{t,h,Q}, \mathbf{g}^{(\ell)}_{t,h,K} \in \mathbb{R}^{d_h/2}$分别表示Query和Key维度对的调制分数。
|
||||
|
||||
输入条件化的维度级调制使DyPAM能够根据输入上下文自适应调整各注意力维度的贡献。通过将调制与RoPE诱导的维度对结构对齐，DyPAM选择性地调整位置信息如何影响注意力计算，在保持参数效率的同时实现了对位置注意力的精细化控制。
|
||||
|
||||
\subsection{头级与层级结构偏置}
|
||||
\label{subsec:dypam_structural}
|
||||
|
||||
输入条件化的维度级调制捕获了token依赖的变化，但注意力行为在不同注意力头和不同网络层之间也表现出差异。为建模这种结构级的异质性，DyPAM引入与输入无关的头级和层级结构偏置。
|
||||
|
||||
对于每一层$\ell$，DyPAM维护一个层级偏置向量：
|
||||
\begin{equation}
|
||||
\boldsymbol{\beta}^{(\ell)} \in \mathbb{R}^{d_h/2},
|
||||
\end{equation}
|
||||
捕获该层对注意力维度的特有偏好。此外，对于每个注意力头$h$，引入头级偏置向量：
|
||||
\begin{equation}
|
||||
\boldsymbol{\beta}^{(\ell)}_{h} \in \mathbb{R}^{d_h/2},
|
||||
\end{equation}
|
||||
允许同一层内不同头维持各自的结构偏好。
|
||||
|
||||
这些偏置项叠加到维度级调制分数上。对于Query和Key，结构增强后的调制分数分别为：
|
||||
\begin{equation}
|
||||
\tilde{\mathbf{g}}^{(\ell)}_{t,h,Q} =
|
||||
\mathbf{g}^{(\ell)}_{t,h,Q} + \boldsymbol{\beta}^{(\ell)}_{h,Q} + \boldsymbol{\beta}^{(\ell)}_{Q},
|
||||
\label{eq:ch4_dypam_struct_q}
|
||||
\end{equation}
|
||||
\begin{equation}
|
||||
\tilde{\mathbf{g}}^{(\ell)}_{t,h,K} =
|
||||
\mathbf{g}^{(\ell)}_{t,h,K} + \boldsymbol{\beta}^{(\ell)}_{h,K} + \boldsymbol{\beta}^{(\ell)}_{K},
|
||||
\label{eq:ch4_dypam_struct_k}
|
||||
\end{equation}
|
||||
其中$\mathbf{g}^{(\ell)}_{t,h,Q}$和$\mathbf{g}^{(\ell)}_{t,h,K}$为输入条件化的维度级分数。偏置项在token位置间共享，编码跨输入持久存在的结构偏好。
|
||||
|
||||
至此，调制分数同时融合了输入条件化的维度级调整与头级、层级的结构偏置，既捕获了token依赖的变化，又编码了持久性的结构偏好。
|
||||
|
||||
\subsection{调制因子的归一化与应用}
|
||||
\label{subsec:dypam_application}
|
||||
|
||||
组合后的调制分数编码了输入条件化和结构化的维度级调整。DyPAM通过归一化步骤将这些分数映射为有界的调制因子，确保稳定、受控的适配。
|
||||
|
||||
对于每一层$\ell$、token位置$t$、注意力头$h$和维度对$i$，归一化调制因子计算为：
|
||||
\begin{equation}
|
||||
s^{(\ell)}_{t,h,i} = 1 + \alpha \cdot \big(\sigma(\tilde{g}^{(\ell)}_{t,h,i}) - 0.5\big),
|
||||
\label{eq:ch4_dypam_factor}
|
||||
\end{equation}
|
||||
其中$\sigma(\cdot)$为Sigmoid函数，$\alpha$控制调制强度。该归一化将调制因子映射到有界区间$[1 - \alpha/2, 1 + \alpha/2]$，使其围绕原始尺度居中，防止偏离预训练表示。
|
||||
|
||||
调制因子在位置编码之前应用于Query和Key表示。设$\mathbf{q}^{(\ell,h)}_{t,i} \in \mathbb{R}^{2}$和$\mathbf{k}^{(\ell,h)}_{t,i} \in \mathbb{R}^{2}$分别为对应维度对$i$的Query和Key向量配对维度。同一对内的两个维度使用相同的调制因子：
|
||||
\begin{equation}
|
||||
\hat{\mathbf{q}}^{(\ell,h)}_{t,i} = s^{(\ell)}_{t,h,i} \cdot \mathbf{q}^{(\ell,h)}_{t,i}, \quad
|
||||
\hat{\mathbf{k}}^{(\ell,h)}_{t,i} = s^{(\ell)}_{t,h,i} \cdot \mathbf{k}^{(\ell,h)}_{t,i}.
|
||||
\label{eq:ch4_dypam_apply}
|
||||
\end{equation}
|
||||
|
||||
调制后的Query和Key表示随后通过RoPE机制并用于标准注意力计算。通过在RoPE之前施加调制，DyPAM使适配与RoPE诱导的位置结构对齐——调制改变的是进入旋转的表示幅度，从而影响不同频率维度对在注意力计算中的相对重要性。
|
||||
|
||||
\subsection{DyPAM整体算法}
|
||||
\label{subsec:dypam_algorithm}
|
||||
|
||||
DyPAM使用标准的语言建模交叉熵损失进行端到端训练。给定输入序列$\mathbf{x} = (x_1, \dots, x_T)$和目标序列$\mathbf{y} = (y_1, \dots, y_T)$，训练损失定义为：
|
||||
\begin{equation}
|
||||
\mathcal{L} = -\sum_{t=1}^{T} \log p(y_t \mid x_{\leq t}).
|
||||
\label{eq:ch4_dypam_loss}
|
||||
\end{equation}
|
||||
|
||||
整体前向计算与训练流程如算法~\ref{alg:ch4_dypam}所示。
|
||||
|
||||
\RestyleAlgo{ruled}
|
||||
\begin{algorithm}[htp]
|
||||
\caption{动态位置注意力调制（DyPAM）训练算法}
|
||||
\label{alg:ch4_dypam}
|
||||
\KwIn{输入序列$\mathbf{x}$，预训练RoPE大语言模型，DyPAM参数}
|
||||
\KwOut{模型输出分布与训练损失$\mathcal{L}$}
|
||||
获取$\mathbf{x}$的token嵌入\;
|
||||
\For{每个Transformer层$\ell = 1, \dots, L$}{
|
||||
计算隐藏状态$\mathbf{H}^{(\ell)}$\;
|
||||
投影隐藏状态得到Query和Key表示$\mathbf{Q}^{(\ell)}, \mathbf{K}^{(\ell)}$（式~\ref{eq:ch4_qkv_proj}）\;
|
||||
重塑为逐头表示$\mathbf{Q}^{(\ell,h)}, \mathbf{K}^{(\ell,h)}$\;
|
||||
从隐藏状态构建调制特征$\mathbf{m}^{(\ell)}_{t,h}$（式~\ref{eq:ch4_dypam_feature}）\;
|
||||
计算输入条件化的维度级调制分数（式~\ref{eq:ch4_dypam_score}）\;
|
||||
叠加头级和层级结构偏置（式~\ref{eq:ch4_dypam_struct_q}、\ref{eq:ch4_dypam_struct_k}）\;
|
||||
归一化得到调制因子（式~\ref{eq:ch4_dypam_factor}）\;
|
||||
将调制因子应用于Query和Key表示（式~\ref{eq:ch4_dypam_apply}）\;
|
||||
对调制后的Query和Key施加RoPE\;
|
||||
使用调制后的表示计算注意力输出\;
|
||||
}
|
||||
计算模型输出与训练损失$\mathcal{L}$（式~\ref{eq:ch4_dypam_loss}）\;
|
||||
\end{algorithm}
|
||||
|
||||
DyPAM的主要超参数包括：调制嵌入维度$d_e$（默认64）、低秩投影秩$r$（默认128）、调制强度$\alpha$（默认0.3）。与RoSA相比，DyPAM不需要显式指定低频维度比例或层选择参数，因为其调制信号覆盖\emph{所有}维度对并在\emph{所有}层上部署，通过学习到的调制因子自动实现差异化分配。
|
||||
|
||||
|
||||
\section{两种方法的统一视角与比较分析}
|
||||
\label{sec:ch4_unified_view}
|
||||
|
||||
RoSA和DyPAM均针对维度级位置结构异质性（$\mathcal{R}_{dim}$），但在设计理念和技术实现上形成了从"选择性增强"到"全面调制"的递进关系。本节从统一框架的视角对两种方法进行系统比较。
|
||||
|
||||
\subsection{统一框架下的形式化对比}
|
||||
|
||||
在结构感知调制统一框架（式~\ref{eq:ch1_unified_M}）下，两种方法可以统一理解为乘性调制的不同实例化：
|
||||
|
||||
\textbf{RoSA}采用"选择+增强"的调制策略。其调制操作仅作用于维度空间的一个子集（低频维度），调制信号为上下文感知的缩放因子，形式上对应式~\eqref{eq:ch4_rosa_unified}。同时，通过DLS在层空间上进行二值选择（活跃/非活跃），实现层级的稀疏化适配。
|
||||
|
||||
\textbf{DyPAM}采用"全覆盖+精细化调制"的策略。其调制操作覆盖所有维度对，调制信号同时融合输入条件化成分和结构偏置成分，形式上对应式~\eqref{eq:ch4_dypam_unified}。调制因子被归一化到以1为中心的有界区间，通过学习实现差异化而非显式选择。
|
||||
|
||||
\subsection{设计维度对比}
|
||||
|
||||
表~\ref{tab:ch4_compare}从多个设计维度对两种方法进行了系统比较。
|
||||
|
||||
\begin{table}[htp]
|
||||
\centering
|
||||
\caption{RoSA与DyPAM的设计维度对比}
|
||||
\label{tab:ch4_compare}
|
||||
\small
|
||||
\begin{tabular}{lcc}
|
||||
\toprule
|
||||
\textbf{设计维度} & \textbf{RoSA} & \textbf{DyPAM} \\
|
||||
\midrule
|
||||
维度选择 & 静态子集（$r_{\text{low}}$） & 全覆盖 \\
|
||||
调制粒度 & 逐维度 & 逐维度对 \\
|
||||
输入依赖性 & 适配信号输入依赖 & 调制因子输入依赖 \\
|
||||
头级差异化 & 共享信号 & 头级偏置 \\
|
||||
层级策略 & 二值选择（DLS） & 层级偏置 \\
|
||||
调制作用点 & RoPE之后 & RoPE之前 \\
|
||||
归一化机制 & 缩放因子$\alpha$ & Sigmoid有界区间 \\
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
\subsection{互补性与递进关系}
|
||||
|
||||
从设计演进的角度看，DyPAM可以理解为对RoSA的全面推进：
|
||||
|
||||
（1）\textbf{从静态选择到动态调制}。RoSA通过$r_{\text{low}}$静态划定增强范围，DyPAM则让所有维度对都参与调制，通过学习自动决定每个维度对的调制幅度。
|
||||
|
||||
（2）\textbf{从维度级到维度对级}。RoSA在逐维度粒度上操作，DyPAM则与RoPE的维度对结构严格对齐，以维度对为基本调制单位。
|
||||
|
||||
（3）\textbf{从层选择到层偏置}。RoSA通过DLS对层进行二值选择，DyPAM则通过可学习的层级偏置实现柔性的层间差异化。
|
||||
|
||||
（4）\textbf{引入头级感知}。RoSA在所有头之间共享适配信号，DyPAM则通过头级偏置允许不同头维持独立的位置偏好。
|
||||
|
||||
两种方法共同验证了一个核心观点：在RoPE驱动的大语言模型中，维度级位置结构异质性是影响适配效果的关键因素。感知并利用这种异质性，无论是通过选择性增强还是全面精细化调制，都能够显著提升参数高效微调的效能。
|
||||
|
||||
|
||||
\section{实验验证与结果分析}
|
||||
\label{sec:ch4_experiments}
|
||||
|
||||
本节通过大量实验系统评估RoSA和DyPAM的有效性。实验围绕以下核心问题展开：（1）两种方法相比现有PEFT基线方法的性能优势；（2）方法在不同骨干模型上的泛化能力；（3）跨模型规模的可扩展性；（4）各组件的贡献分析；（5）关键超参数的敏感性分析；（6）学习到的调制模式的可解释性分析。
|
||||
本节通过大量实验系统评估RoSA的有效性。实验围绕以下核心问题展开：（1）RoSA相比现有PEFT基线方法的性能优势；（2）方法在不同骨干模型上的泛化能力；（3）跨模型规模的可扩展性；（4）各组件的贡献分析；（5）关键超参数的敏感性分析；（6）学习到的层选择模式的可解释性分析。
|
||||
|
||||
\subsection{实验设置}
|
||||
\label{subsec:ch4_exp_setup}
|
||||
@@ -479,23 +254,19 @@ RoSA和DyPAM均针对维度级位置结构异质性（$\mathcal{R}_{dim}$），
|
||||
|
||||
\textbf{数学推理任务}。在七个基准数据集上评估：MultiArith、GSM8K、AddSub、AQuA、SingleEq、SVAMP和MAWPS，使用Math10K作为训练数据。
|
||||
|
||||
所有任务使用准确率作为评估指标，同时报告Micro-Avg（样本加权平均）和Macro-Avg（任务等权平均）。
|
||||
所有任务使用准确率作为评估指标，报告Micro-Avg（样本加权平均）。
|
||||
|
||||
\subsubsection{骨干模型}
|
||||
|
||||
\textbf{RoSA实验}采用三种广泛使用的大语言模型作为骨干：Qwen2.5-7B、Llama-3.1-8B和Gemma2-9B。在可扩展性实验中进一步使用Qwen2.5系列的0.5B、1.5B、3B和7B四个规模。
|
||||
|
||||
\textbf{DyPAM实验}采用三种基于RoPE的大语言模型家族：LLaMA 3.2-3B、Qwen3-8B和Gemma3-4B。在可扩展性实验中使用Qwen3系列的0.6B、1.7B、4B和8B四个规模。
|
||||
本章实验采用三种广泛使用的大语言模型作为骨干：Qwen2.5-7B、Llama-3.1-8B和Gemma2-9B。在可扩展性实验中进一步使用Qwen2.5系列的0.5B、1.5B、3B和7B四个规模。
|
||||
|
||||
\subsubsection{基线方法}
|
||||
|
||||
两组实验均与多类主流PEFT方法进行比较，覆盖不同的适配策略：低秩方法（LoRA、DoRA、AdaLoRA）、结构化矩阵方法（BOFT/OFT、C3A、BONE）、轻量缩放方法（IA$^3$、LN Tuning/VeRA）、频域方法（FourierFT）、稀疏适配方法（SHiRA）。DyPAM的实验中还包含RoSA作为基线之一，以直接比较两种方法。
|
||||
实验与多类主流PEFT方法进行比较，覆盖不同的适配策略：低秩方法（LoRA、DoRA、AdaLoRA）、结构化矩阵方法（BOFT、C3A、BONE）、轻量缩放方法（VeRA、LN Tuning）。
|
||||
|
||||
\subsubsection{实现细节}
|
||||
|
||||
\textbf{RoSA实验}在NVIDIA RTX 3090上使用PyTorch和HuggingFace Transformers进行。采用AdamW优化器，学习率1e-3，余弦学习率调度。RoSA超参数：$r_{\text{low}} = 0.25$，$\alpha = 0.1$，低秩投影维度128，$k_{\text{ratio}} = 0.5$，$u = 40$步，$p_{\text{exploit}} = 0.8$。使用BF16混合精度与DeepSpeed ZeRO-1优化。
|
||||
|
||||
\textbf{DyPAM实验}在NVIDIA RTX 4090上使用DeepSpeed和BF16精度进行。DyPAM超参数：$d_e = 64$，$r = 128$，$\alpha = 0.3$。对基线方法在可比可训练参数规模下进行公平比较。
|
||||
实验在NVIDIA RTX 3090上使用PyTorch和HuggingFace Transformers进行。采用AdamW优化器，学习率1e-3，余弦学习率调度。RoSA超参数：$r_{\text{low}} = 0.25$，$\alpha = 0.1$，低秩投影维度128，$k_{\text{ratio}} = 0.5$，$u = 40$步，$p_{\text{exploit}} = 0.8$。使用BF16混合精度与DeepSpeed ZeRO-1优化。
|
||||
|
||||
\subsection{RoSA实验结果与分析}
|
||||
\label{subsec:ch4_rosa_results}
|
||||
@@ -567,19 +338,19 @@ RoSA和DyPAM均针对维度级位置结构异质性（$\mathcal{R}_{dim}$），
|
||||
\small
|
||||
\resizebox{\linewidth}{!}{
|
||||
\renewcommand{\arraystretch}{0.95}
|
||||
\begin{tabular}{lcccccccc}
|
||||
\begin{tabular}{lccccccccc}
|
||||
\toprule
|
||||
\textbf{方法} & \textbf{参数(\%)} & \textbf{MultiArith} & \textbf{GSM8K} & \textbf{AddSub} & \textbf{AQuA} & \textbf{SingleEq} & \textbf{SVAMP} & \textbf{MAWPS} \\
|
||||
\textbf{方法} & \textbf{参数(\%)} & \textbf{MultiArith} & \textbf{GSM8K} & \textbf{AddSub} & \textbf{AQuA} & \textbf{SingleEq} & \textbf{SVAMP} & \textbf{MAWPS} & \textbf{Micro-Avg$\uparrow$} \\
|
||||
\midrule
|
||||
LoRA & 0.527 & 93.0 & 68.7 & 88.8 & 33.8 & \underline{88.9} & 79.2 & 88.2 \\
|
||||
DoRA & 0.546 & 92.3 & \underline{70.0} & 88.6 & 34.6 & 88.5 & 79.6 & 87.3 \\
|
||||
AdaLoRA & 0.396 & 90.0 & 68.8 & 85.3 & 33.8 & 85.6 & 78.9 & 84.0 \\
|
||||
BOFT & 0.023 & 89.6 & 67.8 & 82.5 & 31.1 & 86.2 & 75.2 & 80.2 \\
|
||||
VERA & 0.018 & 72.5 & 63.7 & 80.7 & 31.1 & 80.3 & 74.2 & 83.1 \\
|
||||
C3A & 0.665 & \textbf{95.3} & 67.1 & \underline{90.3} & \textbf{35.4} & \textbf{90.1} & \underline{82.1} & \underline{89.4} \\
|
||||
BONE & 0.291 & 92.8 & 66.6 & 89.6 & 33.4 & 88.3 & \underline{82.1} & 89.0 \\
|
||||
LN Tuning & 0.001 & 79.6 & 63.6 & 72.1 & 34.2 & 75.3 & 68.1 & 70.1 \\
|
||||
\textbf{RoSA} & 0.261 & \underline{94.3} & \textbf{71.3} & \textbf{92.1} & \underline{35.0} & \textbf{90.1} & \textbf{82.2} & \textbf{92.0} \\
|
||||
LoRA & 0.527 & 93.0 & 68.7 & 88.8 & 33.8 & \underline{88.9} & 79.2 & 88.2 & 77.7 \\
|
||||
DoRA & 0.546 & 92.3 & \underline{70.0} & 88.6 & 34.6 & 88.5 & 79.6 & 87.3 & 78.1 \\
|
||||
AdaLoRA & 0.396 & 90.0 & 68.8 & 85.3 & 33.8 & 85.6 & 78.9 & 84.0 & 76.3 \\
|
||||
BOFT & 0.023 & 89.6 & 67.8 & 82.5 & 31.1 & 86.2 & 75.2 & 80.2 & 74.6 \\
|
||||
VERA & 0.018 & 72.5 & 63.7 & 80.7 & 31.1 & 80.3 & 74.2 & 83.1 & 70.0 \\
|
||||
C3A & 0.665 & \textbf{95.3} & 67.1 & \underline{90.3} & \textbf{35.4} & \textbf{90.1} & \underline{82.1} & \underline{89.4} & \underline{78.7} \\
|
||||
BONE & 0.291 & 92.8 & 66.6 & 89.6 & 33.4 & 88.3 & \underline{82.1} & 89.0 & 77.8 \\
|
||||
LN Tuning & 0.001 & 79.6 & 63.6 & 72.1 & 34.2 & 75.3 & 68.1 & 70.1 & 67.7 \\
|
||||
\textbf{RoSA} & 0.261 & \underline{94.3} & \textbf{71.3} & \textbf{92.1} & \underline{35.0} & \textbf{90.1} & \textbf{82.2} & \textbf{92.0} & \textbf{80.1*} \\
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
}
|
||||
@@ -609,149 +380,6 @@ RoSA和DyPAM均针对维度级位置结构异质性（$\mathcal{R}_{dim}$），
|
||||
|
||||
结果显示，随着模型规模增大，所有方法的性能均有提升，但RoSA在各个规模上始终保持明显优势。这表明RoSA的结构感知适配策略具有良好的可扩展性和鲁棒性。
|
||||
|
||||
\subsection{DyPAM实验结果与分析}
|
||||
\label{subsec:ch4_dypam_results}
|
||||
|
||||
\subsubsection{数学推理性能}
|
||||
|
||||
表~\ref{tab:ch4_dypam_math}展示了DyPAM在数学推理任务上的性能。
|
||||
|
||||
\begin{table}[htp]
|
||||
\centering
|
||||
\caption{DyPAM与基线方法在数学推理任务上的性能比较。*表示统计显著提升。}
|
||||
\label{tab:ch4_dypam_math}
|
||||
\small
|
||||
\resizebox{\linewidth}{!}{
|
||||
\renewcommand{\arraystretch}{0.9}
|
||||
\begin{tabular}{l|lcccccccccc}
|
||||
\toprule
|
||||
\textbf{骨干} & \textbf{方法} & \textbf{参数(\%)} & \textbf{MultiArith} & \textbf{GSM8K} & \textbf{AddSub} & \textbf{AQuA} & \textbf{SingleEq} & \textbf{SVAMP} & \textbf{MAWPS} & \textbf{Micro-Avg$\uparrow$} & \textbf{Macro-Avg$\uparrow$} \\
|
||||
\midrule
|
||||
\multirow{10}{*}{\rotatebox{90}{\textbf{LLaMA3.2-3B}}}
|
||||
& LoRA & 1.12 & 71.50 & 33.21 & 78.48 & 22.44 & 81.50 & 54.10 & 76.47 & 54.96 & 59.67 \\
|
||||
& AdaLoRA & 2.22 & 75.67 & 36.32 & 80.51 & 22.83 & 87.80 & 55.60 & 78.57 & 57.90 & 62.47 \\
|
||||
& OFT & 0.73 & 87.17 & \textbf{40.18} & \underline{85.82} & \underline{24.02} & 86.42 & 61.50 & \textbf{84.03} & \underline{62.75} & \underline{67.02} \\
|
||||
& Bone & 1.14 & \underline{87.50} & 39.73 & 85.57 & 23.62 & 86.61 & \textbf{63.70} & 81.93 & 63.03 & 66.95 \\
|
||||
& IA$^3$ & 0.02 & 58.33 & 27.37 & 68.61 & 20.47 & 72.83 & 47.90 & 58.82 & 46.89 & 50.62 \\
|
||||
& LN Tuning & 0.01 & 58.00 & 26.38 & 66.58 & 21.26 & 74.80 & 44.90 & 60.08 & 46.01 & 50.29 \\
|
||||
& FourierFT & 0.73 & 78.67 & 33.21 & 82.03 & 20.47 & 85.43 & 54.30 & 77.31 & 56.72 & 61.63 \\
|
||||
& SHiRA & 1.12 & 82.50 & 38.82 & 84.81 & \underline{24.02} & \underline{87.99} & 56.90 & 81.93 & 60.59 & 65.28 \\
|
||||
& RoSA & 0.54 & 84.33 & 37.91 & 82.78 & 22.83 & 87.01 & 52.50 & 78.99 & 59.02 & 63.77 \\
|
||||
& \textbf{DyPAM} & 0.92 & \textbf{88.50} & \underline{39.88} & \textbf{86.33} & \textbf{25.20} & \textbf{88.78} & \underline{63.00} & \textbf{84.03} & \textbf{63.58*} & \textbf{67.96*} \\
|
||||
\midrule
|
||||
\multirow{10}{*}{\rotatebox{90}{\textbf{Qwen3-8B}}}
|
||||
& LoRA & 0.79 & 97.67 & 74.91 & 89.87 & 35.83 & 90.55 & 84.70 & 89.08 & 82.04 & 80.37 \\
|
||||
& AdaLoRA & 1.57 & 95.17 & 73.01 & 90.63 & 37.01 & 92.32 & 84.80 & 91.60 & 81.62 & 80.65 \\
|
||||
& OFT & 0.51 & 95.67 & 73.46 & 90.38 & 33.07 & 94.09 & 84.90 & 91.60 & 81.80 & 80.45 \\
|
||||
& Bone & 0.81 & \underline{98.00} & 72.25 & \underline{91.65} & 33.46 & 93.90 & 83.80 & 90.34 & 81.55 & 80.49 \\
|
||||
& IA$^3$ & 0.02 & 92.50 & 72.18 & 84.81 & 35.04 & 86.61 & 80.90 & 86.55 & 78.49 & 76.94 \\
|
||||
& LN Tuning & 0.00 & 91.67 & 68.69 & 85.32 & \underline{39.76} & 87.40 & 78.00 & 85.71 & 77.01 & 76.65 \\
|
||||
& FourierFT & 0.37 & 94.50 & 70.05 & 87.34 & 31.50 & 86.81 & 82.70 & 81.09 & 78.28 & 76.28 \\
|
||||
& SHiRA & 0.79 & 94.83 & \underline{75.36} & 90.13 & 37.01 & 93.90 & \textbf{85.70} & 90.34 & \underline{82.57} & \underline{81.04} \\
|
||||
& RoSA & 0.36 & 97.83 & 74.07 & 90.38 & 35.43 & \underline{94.49} & 84.80 & \underline{92.02} & 82.48 & 81.29 \\
|
||||
& \textbf{DyPAM} & 0.61 & \textbf{99.17} & \textbf{76.72} & \textbf{91.90} & \textbf{40.94} & \textbf{95.28} & \underline{85.50} & \textbf{92.86} & \textbf{84.24*} & \textbf{83.20*} \\
|
||||
\midrule
|
||||
\multirow{10}{*}{\rotatebox{90}{\textbf{Gemma3-4B}}}
|
||||
& LoRA & 1.33 & 86.00 & 51.25 & 72.41 & 25.98 & 75.59 & 62.20 & 75.21 & 63.26 & 64.09 \\
|
||||
& AdaLoRA & 2.62 & 82.67 & 51.86 & 66.33 & 31.50 & 73.82 & 62.30 & 73.95 & 62.49 & 63.20 \\
|
||||
& OFT & 0.75 & 85.83 & \underline{54.28} & 72.91 & \underline{32.28} & 75.59 & \textbf{63.80} & \underline{76.47} & \underline{65.02} & \underline{65.88} \\
|
||||
& Bone & 1.41 & \underline{86.17} & 45.87 & 71.39 & 30.31 & 72.64 & 55.10 & 73.11 & 59.69 & 62.08 \\
|
||||
& IA$^3$ & 0.03 & 42.67 & 38.89 & 40.51 & 27.17 & 40.75 & 37.20 & 37.39 & 38.62 & 37.80 \\
|
||||
& LN Tuning & 0.01 & 32.67 & 30.63 & 45.06 & 23.62 & 56.69 & 40.80 & 37.82 & 37.64 & 38.18 \\
|
||||
& FourierFT & 1.10 & 60.83 & 31.24 & 65.32 & 28.35 & 66.73 & 46.30 & 65.97 & 47.89 & 52.10 \\
|
||||
& SHiRA & 1.33 & 72.67 & 42.08 & \underline{73.16} & 31.50 & \textbf{76.57} & 61.30 & 75.63 & 58.92 & 61.84 \\
|
||||
& RoSA & 0.40 & 34.50 & 38.51 & 66.84 & 31.10 & 63.19 & 43.70 & 62.18 & 45.53 & 48.58 \\
|
||||
& \textbf{DyPAM} & 0.62 & \textbf{86.33} & \textbf{55.19} & \textbf{73.42} & \textbf{32.68} & \underline{76.18} & \underline{62.70} & \textbf{76.89} & \textbf{65.28*} & \textbf{66.20*} \\
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
}
|
||||
\end{table}
|
||||
|
||||
DyPAM在所有三种骨干模型上均取得了最优的Macro-Avg和Micro-Avg性能，且改进在统计上显著。值得注意的是，在Qwen3-8B上，DyPAM的Macro-Avg达到83.20\%、Micro-Avg达到84.24\%，显著优于RoSA的81.29\%/82.48\%（同为维度级适配方法），验证了从"静态选择"到"动态调制"的设计改进的有效性。
|
||||
|
||||
在Gemma3-4B上，RoSA的表现明显下降（Macro-Avg仅48.58\%），这可能源于其固定的低频维度选择比例在该架构上未能适配，而DyPAM的自适应调制机制成功避免了这一问题，取得66.20\%的Macro-Avg。
|
||||
|
||||
\subsubsection{常识推理性能}
|
||||
|
||||
表~\ref{tab:ch4_dypam_common}展示了DyPAM在常识推理任务上的性能。
|
||||
|
||||
\begin{table}[htp]
|
||||
\centering
|
||||
\caption{DyPAM与基线方法在常识推理任务上的性能比较。*表示统计显著提升。}
|
||||
\label{tab:ch4_dypam_common}
|
||||
\small
|
||||
\resizebox{\linewidth}{!}{
|
||||
\renewcommand{\arraystretch}{0.9}
|
||||
\begin{tabular}{l|lcccccccccc}
|
||||
\toprule
|
||||
\textbf{骨干} & \textbf{方法} & \textbf{参数(\%)} & \textbf{BoolQ} & \textbf{PIQA} & \textbf{SIQA} & \textbf{ARC-C} & \textbf{ARC-E} & \textbf{OBQA} & \textbf{HellaSwag} & \textbf{WinoGrande} & \textbf{Macro-Avg$\uparrow$} \\
|
||||
\midrule
|
||||
\multirow{10}{*}{\rotatebox{90}{\textbf{LLaMA3.2-3B}}}
|
||||
& LoRA & 1.12 & 63.61 & 79.71 & 66.94 & 69.45 & 84.05 & 67.00 & 73.94 & 55.56 & 70.03 \\
|
||||
& AdaLoRA & 2.22 & 63.52 & 78.94 & 67.09 & 68.94 & 85.14 & 70.20 & 78.11 & 56.35 & 71.04 \\
|
||||
& OFT & 0.73 & \underline{65.63} & 79.54 & 70.37 & 70.39 & 85.06 & 71.80 & \underline{83.15} & \underline{66.38} & \underline{74.04} \\
|
||||
& Bone & 1.14 & 64.56 & 75.68 & 69.34 & 64.42 & 79.76 & 70.20 & 75.92 & 65.75 & 70.70 \\
|
||||
& IA$^3$ & 0.02 & 62.32 & 77.09 & 59.67 & 57.94 & 77.10 & 57.40 & 50.48 & 52.25 & 61.78 \\
|
||||
& LN Tuning & 0.01 & 62.51 & 76.99 & 59.52 & 59.81 & 76.52 & 59.00 & 52.02 & 52.17 & 62.32 \\
|
||||
& FourierFT & 0.73 & 62.14 & 79.49 & 61.98 & 61.86 & 80.93 & 62.40 & 73.21 & 49.09 & 66.39 \\
|
||||
& SHiRA & 1.12 & 65.23 & \underline{79.65} & 69.14 & \underline{71.16} & \underline{84.97} & \underline{71.20} & 83.18 & 65.67 & 73.78 \\
|
||||
& RoSA & 0.54 & 64.53 & \underline{79.65} & \underline{69.86} & 69.28 & 84.43 & 70.80 & 83.12 & 63.54 & 73.15 \\
|
||||
& \textbf{DyPAM} & 0.92 & \textbf{65.93} & \textbf{79.76} & \textbf{70.88} & \textbf{70.39} & \textbf{85.19} & \textbf{71.80} & \textbf{83.71} & \textbf{65.35} & \textbf{74.13*} \\
|
||||
\midrule
|
||||
\multirow{10}{*}{\rotatebox{90}{\textbf{Qwen3-8B}}}
|
||||
& LoRA & 0.79 & 70.49 & 86.34 & 77.18 & 90.19 & 96.51 & 87.60 & 89.50 & 72.85 & 83.83 \\
|
||||
& AdaLoRA & 1.57 & 70.73 & 86.51 & 76.71 & 90.36 & 96.55 & 87.20 & 88.92 & 72.38 & 83.67 \\
|
||||
& OFT & 0.51 & 69.97 & 86.83 & 76.56 & 89.93 & 96.97 & 88.00 & 89.17 & \underline{76.48} & 84.24 \\
|
||||
& Bone & 0.81 & 69.02 & 85.31 & 75.64 & 88.91 & 95.58 & 87.60 & 89.30 & 76.56 & 83.49 \\
|
||||
& IA$^3$ & 0.02 & 69.51 & 86.34 & 76.71 & 90.27 & 96.09 & 84.40 & 85.12 & 66.77 & 81.90 \\
|
||||
& LN Tuning & 0.00 & 69.33 & 86.40 & 75.95 & 90.27 & 96.00 & 83.00 & 83.86 & 65.43 & 81.28 \\
|
||||
& FourierFT & 0.37 & 69.54 & 84.49 & 73.13 & 85.92 & 95.29 & 77.80 & 80.48 & 62.27 & 78.62 \\
|
||||
& SHiRA & 0.79 & \underline{70.83} & \underline{87.05} & \underline{77.33} & \underline{90.36} & \underline{96.97} & \underline{88.20} & \underline{89.56} & 75.77 & \underline{84.51} \\
|
||||
& RoSA & 0.36 & 68.96 & 86.94 & 75.33 & 89.85 & 96.38 & \underline{88.20} & 89.43 & 76.16 & 83.91 \\
|
||||
& \textbf{DyPAM} & 0.61 & \textbf{70.89} & \textbf{87.11} & \textbf{77.33} & \textbf{90.53} & \textbf{97.05} & \textbf{88.80} & \textbf{89.53} & \textbf{76.80} & \textbf{84.75*} \\
|
||||
\midrule
|
||||
\multirow{10}{*}{\rotatebox{90}{\textbf{Gemma3-4B}}}
|
||||
& LoRA & 1.33 & 65.72 & 79.71 & 69.40 & 74.49 & 87.08 & 71.00 & 74.53 & 55.01 & 72.12 \\
|
||||
& AdaLoRA & 2.62 & 66.09 & 79.49 & 68.73 & \underline{76.54} & \underline{89.02} & 74.00 & 73.20 & 58.09 & 73.14 \\
|
||||
& OFT & 0.75 & 65.69 & \underline{81.99} & \underline{74.51} & 76.71 & 88.47 & \underline{78.00} & \underline{83.86} & \underline{65.27} & \underline{76.81} \\
|
||||
& Bone & 1.41 & 64.68 & 75.35 & 71.24 & 70.39 & 82.83 & 75.80 & 78.33 & 64.48 & 72.89 \\
|
||||
& IA$^3$ & 0.02 & 62.17 & 71.49 & 57.32 & 57.51 & 73.19 & 55.20 & 44.89 & 57.85 & 59.95 \\
|
||||
& LN Tuning & 0.00 & 62.60 & 66.70 & 49.85 & 49.91 & 63.59 & 45.20 & 47.29 & 60.46 & 55.70 \\
|
||||
& FourierFT & 0.37 & 63.94 & 75.57 & 67.14 & 67.32 & 76.05 & 57.80 & 71.81 & 59.35 & 67.37 \\
|
||||
& SHiRA & 0.79 & 65.57 & 82.25 & 74.53 & 76.19 & 89.71 & 78.20 & 83.19 & 64.48 & 76.77 \\
|
||||
& RoSA & 0.40 & 63.70 & 79.54 & 67.40 & 72.27 & 86.66 & 69.40 & 48.53 & 47.51 & 66.88 \\
|
||||
& \textbf{DyPAM} & 0.62 & \textbf{66.21} & \textbf{82.59} & \textbf{74.82} & \textbf{77.13} & \textbf{89.23} & \textbf{79.20} & \textbf{84.09} & \textbf{65.35} & \textbf{77.33*} \\
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
}
|
||||
\end{table}
|
||||
|
||||
DyPAM在所有三种骨干模型的常识推理任务上均取得统计显著的最优Macro-Avg性能。在LLaMA 3.2-3B上达到74.13\%，在Qwen3-8B上达到84.75\%，在Gemma3-4B上达到77.33\%。常识推理与数学推理上的一致性提升表明，DyPAM的位置注意力调制机制具有跨任务域的普适性。值得注意的是，在Gemma3-4B上，RoSA的Macro-Avg仅为66.88\%，远低于DyPAM的77.33\%，进一步验证了动态调制相对于静态维度选择的优势。
|
||||
|
||||
\subsubsection{跨模型规模的可扩展性}
|
||||
|
||||
表~\ref{tab:ch4_dypam_scale}展示了DyPAM在Qwen3系列不同模型规模上的可扩展性分析。
|
||||
|
||||
\begin{table}[htp]
|
||||
\centering
|
||||
\caption{DyPAM与主要基线方法在不同模型规模上的数学推理性能比较（Macro-Avg准确率\%）。}
|
||||
\label{tab:ch4_dypam_scale}
|
||||
\small
|
||||
\begin{tabular}{lcccc}
|
||||
\toprule
|
||||
\textbf{方法} & \textbf{Qwen3-0.6B} & \textbf{Qwen3-1.7B} & \textbf{Qwen3-4B} & \textbf{Qwen3-8B} \\
|
||||
\midrule
|
||||
LoRA & 64.06 & 66.64 & 75.60 & 80.37 \\
|
||||
OFT & \underline{65.96} & \underline{67.81} & 75.54 & 80.45 \\
|
||||
SHiRA & 63.95 & 64.65 & 73.33 & \underline{81.04} \\
|
||||
RoSA & 63.99 & 67.38 & \underline{77.92} & 81.29 \\
|
||||
\textbf{DyPAM} & \textbf{66.13} & \textbf{69.24} & \textbf{78.24} & \textbf{83.20} \\
|
||||
\bottomrule
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
DyPAM在Qwen3系列四个规模（0.6B至8B）上均超越所有基线方法。随模型规模增大，DyPAM与基线之间的性能差距进一步扩大（0.6B上超过OFT 0.17个百分点，8B上超过RoSA 1.91个百分点），表明DyPAM能够更充分地利用大模型增加的表征容量来发挥位置感知调制的优势。
|
||||
|
||||
\subsection{消融实验与深入分析}
|
||||
\label{subsec:ch4_ablation}
|
||||
|
||||
@@ -779,17 +407,6 @@ DyPAM在Qwen3系列四个规模（0.6B至8B）上均超越所有基线方法。
|
||||
|
||||
消融分析揭示：（1）移除DLS导致1.1\%的下降（85.9→84.8），证明动态层选择的贡献显著；（2）将$r_{\text{low}}$从0.25增至0.5（即扩大增强范围到一半维度）导致0.3\%下降（85.9→85.6），表明更集中地增强低频子空间更为有效；（3）用标准LoRA替代RoAE后性能大幅下降（85.9→83.9/80.7），说明RoPE感知的频率定向增强优于通用低秩适配。
|
||||
|
||||
\subsubsection{DyPAM组件消融}
|
||||
|
||||
\begin{figure}[htp]
|
||||
\centering
|
||||
\includegraphics[width=0.9\linewidth]{assets/4_dypam_ablation.pdf}
|
||||
\caption{DyPAM消融与超参数敏感性分析。（a）移除各组件后的性能变化；（b）调制强度$\alpha$的影响。}
|
||||
\label{fig:ch4_dypam_ablation}
|
||||
\end{figure}
|
||||
|
||||
DyPAM的消融实验表明，每个核心组件在整体性能中发挥互补作用：移除任何单一组件均导致一致性的性能下降，表明DyPAM的性能提升源自各组件的联合设计而非孤立的架构选择。
|
||||
|
||||
\subsubsection{DLS层选择比例的敏感性}
|
||||
|
||||
\begin{figure}[htp]
|
||||
@@ -801,10 +418,6 @@ DyPAM的消融实验表明，每个核心组件在整体性能中发挥互补作
|
||||
|
||||
对RoSA的DLS模块进行层选择比例$k_{\text{ratio}}$的敏感性分析。结果表明，$k_{\text{ratio}} \approx 0.5$时性能最佳。增大该比例反而略微降低性能，说明选择性地更新约一半的层比更新所有层更有效，这与层间异质性的假设一致。
|
||||
|
||||
\subsubsection{DyPAM调制强度的敏感性}
|
||||
|
||||
对DyPAM的调制强度$\alpha$进行敏感性分析。适当的调制幅度显著优于过弱或过强的调制：$\alpha=0.3$附近取得最优性能。过小的$\alpha$限制了调制的表达能力，而过大的$\alpha$可能过度偏离预训练表示，破坏已学知识。
|
||||
|
||||
\subsection{可解释性分析}
|
||||
\label{subsec:ch4_interpretability}
|
||||
|
||||
@@ -819,40 +432,12 @@ DyPAM的消融实验表明，每个核心组件在整体性能中发挥互补作
|
||||
|
||||
对RoSA训练过程中DLS的层选择频率进行可视化分析。结果清晰地展现了层间的显著异质性：某些层被一致地识别为更重要并更频繁地被选择进行适配，而另一些层则很少被选中。这一观察从实证角度验证了层间异质性假设，也说明了DLS策略中利用-探索平衡机制的必要性——避免忽视那些选择频率较低但潜在有价值的层。
|
||||
|
||||
\subsubsection{DyPAM学习到的调制模式}
|
||||
|
||||
\begin{figure}[htp]
|
||||
\centering
|
||||
\includegraphics[width=0.9\linewidth]{assets/4_bias_modulation.pdf}
|
||||
\caption{DyPAM学习到的位置调制模式。（a）层级偏置在Query维度上的分布，展示异构且结构化的偏置变化；（b）层级调制范围，显示稳定受控的缩放行为。}
|
||||
\label{fig:ch4_modulation_pattern}
|
||||
\end{figure}
|
||||
|
||||
对DyPAM学习到的层级偏置和调制范围进行可视化分析，揭示了两个关键发现：
|
||||
|
||||
（1）\textbf{异构的结构偏置}。层级偏置在不同层和不同维度上展现出非均匀的变化模式，而非均匀的偏移。这种结构化的非均匀性表明，不同注意力维度在不同深度发展出了各自独特的位置偏好，与位置信息在各层被差异化利用的直觉一致。
|
||||
|
||||
（2）\textbf{受控的调制范围}。调制因子围绕1保持适度的方差，表明DyPAM进行的是精细化的微调而非大幅度的重塑。这种克制的调制行为在保留预训练注意力结构的同时提供了必要的适配灵活性。
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
\section{本章小结}
|
||||
\label{sec:ch4_summary}
|
||||
|
||||
本章围绕维度级位置结构异质性（$\mathcal{R}_{dim}$），在统一分析框架下提出了两种递进式的结构感知适配方法。
|
||||
|
||||
RoSA通过RoPE感知注意力增强模块（RoAE）选择性地增强Query/Key表示中功能关键的低频维度成分，并通过动态层选择策略（DLS）自适应地分配层间适配资源，实现了"维度内精准增强＋层间动态选择"的双层级结构感知适配。在15个常识与数学推理基准上，RoSA在三种骨干模型上均取得了最优性能，同时保持了较低的参数开销。
|
||||
|
||||
DyPAM进一步将维度级适配从"静态选择"推进至"动态调制"，引入输入条件化的维度级调制机制，使调制信号根据输入上下文动态生成；同时引入头级和层级结构偏置，实现多粒度的位置感知。DyPAM通过与RoPE维度对结构的严格对齐和有界调制因子的设计，在保留预训练知识的前提下实现了更精细化的适配。在三种新一代骨干模型和15个基准数据集上，DyPAM进一步超越了包括RoSA在内的所有基线方法。
|
||||
|
||||
从RoSA到DyPAM的递进演化验证了维度级位置结构异质性作为影响适配效果关键因素的假设，也展示了在统一框架下通过逐步深化结构感知能力来提升适配性能的方法论路径。
|
||||
|
||||
第三章和第四章分别从模块级功能异质性和维度级位置结构异质性出发，提出了乘性调制范式的结构感知适配方法。下一章将转向频谱级多尺度异质性和参数级容量分配异质性，探索组合式调制和结构分解调制两种新的调制形式，进一步丰富结构感知适配的方法体系。
|
||||
|
||||
本章围绕维度级位置结构异质性（$\mathcal{R}_{dim}$），在统一分析框架下提出了RoPE感知的选择性适配方法（RoSA）。
|
||||
|
||||
RoSA通过RoPE感知注意力增强模块（RoAE）选择性地增强Query/Key表示中功能关键的低频维度成分，并通过动态层选择策略（DLS）自适应地分配层间适配资源，实现了"维度内精准增强＋层间动态选择"的双层级结构感知适配。在15个常识与数学推理基准上，RoSA在三种骨干模型（Qwen2.5-7B、Llama3.1-8B、Gemma2-9B）上均取得了最优性能，同时保持了较低的参数开销（0.26\%--0.36\%可训练参数）。消融实验验证了RoAE与DLS两个组件的各自贡献，可解释性分析揭示了DLS学习到的层选择模式与层间功能分化的一致性。
|
||||
|
||||
然而，RoSA的维度增强仍是静态选择模式——低频维度的选择范围由超参数固定，调制信号不区分不同注意力头的位置偏好，也无法根据输入内容进行动态调整。下一章将提出DyPAM方法，将维度级适配从静态选择推进至输入条件化的动态调制，进一步深化位置结构感知适配的精细化程度。
|
||||
|
||||
Reference in New Issue
Block a user