LLMver_v1

.gitignore

@@ -331,3 +331,4 @@ temp.md
 _markdown_main/
 main.markdown.in
 main.luabridge.lua
+历史存档/

0.0_title.tex

@@ -1,3 +1,4 @@
 % 论文题目及副标题-{中文}{英文} 注意：论文题目应严格控制在25个汉字（符）以内 
-\Title{时空数据的表征学习\\建模方法研究}{Research on Representation Learning and Modeling Methods for Spatiotemporal Data}
+\Title{时空数据的表征学习\\建模方法研究}{Representation Learning and Modeling Methods for Spatiotemporal Data}
+% \Title{大语言模型的结构感知\\表征适配方法研究}{Structure-Aware Representation Adaptation Methods for Large Language Models}
 % \Subtitle{版本 \BUAAThesisVer{}}{Version \BUAAThesisVer{}}

0.1_abs&keyw.tex

@@ -21,4 +21,4 @@
   The Chinese and English versions of the abstract must align in content. Page numbering begins with the Chinese abstract, and the document should be printed double-sided. The "Keywords" section in the English abstract corresponds to the Chinese version, with terms similarly separated by semicolons.
 }
 % 关键字-{中文}{英文}
-\Keyword{时空数据，表征学习，大语言模型，参数高效微调，结构异质性}{Spatiotemporal Data, Representation Learning, Large Language Model, Parameter-Efficient Fine-Tuning, Structural Heterogeneity}
+\Keyword{大语言模型，参数高效微调，结构异质性，表征适配，结构感知调制}{Large Language Model, Parameter-Efficient Fine-Tuning, Structural Heterogeneity, Representation Adaptation, Structure-Aware Modulation}

0.2_signs.tex

@@ -1,7 +1,13 @@
 % 符号定义
-\Signs{ \centering
+\Signs{
+\begin{longtable}{@{}p{0.26\textwidth}p{0.68\textwidth}@{}}
 \renewcommand{\arraystretch}{1.25}
-\begin{tabular}{cl}
+\endfirsthead
+\multicolumn{2}{l}{\textbf{主要符号表（续）}} \\
+\endhead
+\multicolumn{2}{r}{\small 续下页} \\
+\endfoot
+\endlastfoot
 \multicolumn{2}{l}{\textbf{一般符号}} \\
 $\mathbb{R}$ & 实数域 \\
 $\odot$ & Hadamard（逐元素）乘法 \\
@@ -10,15 +16,13 @@ $\sigma(\cdot)$ & Sigmoid激活函数 \\
 $\bigoplus$ & 频段重组操作 \\[4pt]
 
 \multicolumn{2}{l}{\textbf{数据与任务}} \\
-$\mathbf{X}$ & 输入时空样本或指令序列 \\
+$\mathbf{X}$ & 输入样本或指令序列 \\
 $\mathbf{Y}$ & 目标输出 \\
 $\mathcal{D}$ & 训练数据集 \\
 $\mathcal{T}$ & 任务集合 \\
 $\tau$ & 任务类型标识 \\
 $T$ & 序列长度或时间步数 \\
-$N$ & 空间单元数 \\
+$N$ & 任务数量（视上下文而定）\\
-$D$ & 特征维度 \\
-$L$ & 轨迹长度 \\
 $B$ & 批次大小或参数预算（视上下文而定）\\[4pt]
 
 \multicolumn{2}{l}{\textbf{模型架构}} \\
@@ -82,5 +86,5 @@ $z^{\text{sh}}_g$ & 参数组$g$的共享软门控值 \\
 $z^{\text{sp}}_{g,t}$ & 参数组$g$在任务$t$上的特有软门控值 \\
 $\mathcal{G}$ & 参数组集合 \\
 $s_g$ & 参数组$g$的参数代价 \\
-\end{tabular}
+\end{longtable}
 }

0.3_abbrs.tex

@@ -1,9 +1,16 @@
 % 缩写定义
-\Abbreviations{ \centering
+\Abbreviations{
+\begin{longtable}{@{}p{0.16\textwidth}p{0.46\textwidth}p{0.30\textwidth}@{}}
 \renewcommand{\arraystretch}{1.2}
-\begin{tabular}{lll}
   \textbf{外文缩略字母} & \textbf{外文全称} & \textbf{中文说明}\\
   \midrule
+  \endfirsthead
+  \textbf{外文缩略字母} & \textbf{外文全称} & \textbf{中文说明}\\
+  \midrule
+  \endhead
+  \multicolumn{3}{r}{\small 续下页}\\
+  \endfoot
+  \endlastfoot
   % 模型与架构
   LLM & Large Language Model & 大语言模型\\
   FFN & Feed-Forward Network & 前馈网络\\
@@ -36,24 +43,10 @@
   IDCT & Inverse Discrete Cosine Transform & 逆离散余弦变换\\
   FiLM & Feature-wise Linear Modulation & 特征级线性调制\\
   \\
-  % 评测与数据
-  POI & Point of Interest & 兴趣点\\
-  QA & Question Answering & 问答\\
-  ETA & Estimated Time of Arrival & 预计到达时间\\
-  GPS & Global Positioning System & 全球定位系统\\
-  WGS84 & World Geodetic System 1984 & 1984世界大地坐标系\\
-  \\
   % 评估指标
-  MAE & Mean Absolute Error & 平均绝对误差\\
+  PPL & Perplexity & 困惑度\\
-  RMSE & Root Mean Square Error & 均方根误差\\
-  MAPE & Mean Absolute Percentage Error & 平均绝对百分比误差\\
-  HR & Hit Ratio & 命中率\\
-  NDCG & Normalized Discounted Cumulative Gain & 归一化折损累计增益\\
   BLEU & Bilingual Evaluation Understudy & 双语评估替补\\
+  ROUGE & Recall-Oriented Understudy for Gisting Evaluation & 面向召回的摘要评估\\
   \\
-  % 深度学习基础
+\end{longtable}
-  CNN & Convolutional Neural Network & 卷积神经网络\\
-  RNN & Recurrent Neural Network & 循环神经网络\\
-  GNN & Graph Neural Network & 图神经网络\\
-\end{tabular}
 }

CLAUDE.md

@@ -0,0 +1,98 @@
+# 博士论文写作规范
+
+## 论文基本信息
+- 题目：**大语言模型的结构感知表征适配方法研究**
+- 学校：北京航空航天大学（BUAA）
+- 详细章节大纲：见 `outline.md`
+
+## Scientific Claim
+
+现有大语言模型适配方法普遍采用较为均匀的参数更新或表示调制策略，默认模型内部不同结构单元在适配过程中具有近似一致的作用。然而，从表示机制与参数组织角度看，Transformer内部在模块、维度与参数空间层面普遍存在显著的结构异质性。围绕这一问题，本文构建了面向大语言模型的结构感知表征适配统一分析框架，并从模块级、维度级与参数级三个层面提出多层级方法体系，以提升多任务适配能力、位置结构建模能力以及有限预算下的参数利用效率。
+
+## 论文主线
+
+> LLM内部存在多层级结构异质性 → 均匀适配存在局限 → 构建统一框架 → 模块/维度/参数级逐层展开方法
+
+递进路径：
+- 表示空间：模块级(HyCAM) → 维度级静态(RoSA) → 维度级动态(DyPAM)
+- 参数空间：频谱结构(CASCADE) → 容量分配(MESSA)
+
+## 方法体系总表
+
+| 适配空间 | 结构异质性类型 | 描述符 | 调制形式 | 方法 | 章节 |
+|---------|------------|--------|---------|------|------|
+| 表示空间 | 模块级功能异质性 | $\mathcal{R}_{mod}$ | 乘性调制 | HyCAM | Ch3 |
+| 表示空间 | 维度级位置结构异质性 | $\mathcal{R}_{dim}$ | 乘性调制 | RoSA | Ch4 |
+| 表示空间 | 维度级位置结构异质性 | $\mathcal{R}_{dim}$ | 乘性调制 | DyPAM | Ch5 |
+| 参数空间 | 频谱级多尺度异质性 | $\mathcal{R}_{spec}$ | 组合式调制 | CASCADE | Ch6 |
+| 参数空间 | 参数级容量分配异质性 | $\mathcal{R}_{param}$ | 结构分解调制 | MESSA | Ch6 |
+
+## 统一分析框架（§1.3）
+
+统一调制算子：$\tilde{\mathbf{Z}}^{(\ell)}=\mathcal{M}_{\theta}\big(\mathbf{Z}^{(\ell)};\mathbf{X},\mathcal{R}\big)$
+
+三种调制形式：
+1. **乘性调制** — 表示流成分重要性调节（HyCAM、RoSA、DyPAM）
+2. **组合式调制** — 多尺度频谱成分分解与重组（CASCADE）
+3. **结构分解调制** — 共享-专用参数分配（MESSA）
+
+## 三大创新点
+
+1. **统一分析框架**：四类结构异质性 + 三种调制形式
+2. **表示空间多层级方法体系**（Ch3-5）：HyCAM → RoSA → DyPAM
+3. **参数空间结构感知方法**（Ch6）：CASCADE + MESSA
+
+## 符号统一
+
+| 含义 | 统一符号 |
+|------|---------|
+| 层索引 | $\ell$ |
+| 头索引 | $h$ |
+| 维度索引 | $i$ |
+| token位置 | $t$ |
+| 任务标识 | $\tau$ |
+| 预训练参数 | $\Theta_0$ |
+| 适配参数 | $\Theta_a$ |
+| 隐藏状态 | $\mathbf{H}^{(\ell)}$ |
+
+## 标签系统
+
+- 统一框架公式: `eq:ch1_unified_M`, `eq:ch1_multiplicative`, `eq:ch1_compositional`, `eq:ch1_structural`
+- 方法体系表: `tab:ch1_method_overview`
+- 章标签: `chap:hycam`, `chap:rosa`, `chap:dypam`, `chap:cascade_messa`
+- 标签前缀: Ch3→`ch3_`, Ch4→`ch4_`, Ch5→`ch5_`, Ch6→`ch6_`
+- 统一框架节: `sec:unified_framework`
+- 技术路线图: `fig:tech_route`
+
+## 图片文件命名规则
+
+各章图片以章节编号为前缀：
+- Ch3: `assets/3_*.pdf`
+- Ch4: `assets/4_*.pdf`
+- Ch5: `assets/5_*.pdf`
+- Ch6: `assets/6_*.pdf`
+
+## 核心写作原则
+
+1. **问题从LLM适配出发**，不以时空问题驱动
+2. **统一理论递进**，不是五篇论文拼接，而是统一框架下逐层展开
+3. **各章显式过渡**：本章解决了什么 → 什么未解决 → 下章为何承接
+4. **RoSA与DyPAM递进关系反复强调**：静态→动态，粗粒度→细粒度
+5. **符号全文统一**
+6. **理论深度克制**：概念formalization + 轻量数学 + 直觉先行，不过度理论化
+7. **严格以mypaper/原始论文为准**，不添加论文之外的内容，不因幻觉过度扩展
+8. **不辩解、不找补**：客观学术地介绍工作，体系化叙述；可补过渡性文字，但不事后写补充性解释
+
+## 辅助文件同步清单
+
+| 文件 | 状态 | 说明 |
+|------|------|------|
+| `main.tex` | ✅ 已完成 | 七章结构已确认 |
+| `0.0_title.tex` | ⚠️ 待定 | 日期、学科方向有占位符 |
+| `0.1_abs&keyw.tex` | ❌ 未写 | 摘要仍为模板占位文字，留到最后 |
+| `0.2_signs.tex` | ✅ 已完成 | 符号已统一 |
+| `0.3_abbrs.tex` | ✅ 已完成 | 已清理旧条目，补充PPL/ROUGE |
+| `chap07.tex` | ⚠️ 格式 | 需将 `\chapter*` 改为 `\chapter` |
+| `ref.bib` | ⚠️ 待补 | 约8条空引用需补充bib条目 |
+| `tech_route.pdf` | ❌ 待绘制 | Ch1已有占位caption描述绘图规格 |
+| `fm_paradigm.pdf` | ❌ 待绘制 | Ch1基础模型范式示意图 |

assets/unsorted/AgentCity/assets/.gitkeep

@@ -1 +0,0 @@
-

assets/unsorted/AgentCity/figures/attn_vis.tex

@@ -1,25 +0,0 @@
-\begin{figure}[t]
-% \captionsetup[subfigure]{labelformat=simple, labelsep=period}
-% \renewcommand\thesubfigure{\alph{subfigure})} % 将子标题的标签格式改为 "a)"
-  \centering
-  \begin{subfigure}[b]{0.47\linewidth}   % PD:平衡一下图片大小，如果一样的图可以都用0.48
-    \hspace{-3px} % PD: 往左挪点防止重心偏右
-    \includegraphics[width=\linewidth]{assets/Layer10.pdf}
-    % \includegraphics[width=\linewidth]{assets/Layer10_norubost.pdf}
-    \caption{Across Head Dimensions}      % 子图标题留空即可自动生成 (a)
-    \label{fig:attnindim}
-  \end{subfigure}
-  \hfill % 在两张图之间插入一个弹性空白，使它们左右对齐
-  \begin{subfigure}[b]{0.48\linewidth}
-    \hspace{-3px} % PD: 往左挪点防止重心偏右
-    \includegraphics[width=\linewidth]{assets/AcrossLayer.pdf}
-    \caption{Across Layers}
-    \label{fig:attninlayer}
-  \end{subfigure}
-  \caption{Q-state activation strength visualizations in LLaMA-2-7B.
-We compute the average L2 norm per attention head to quantify activation strength.
-Stronger activations are concentrated in high-indexed (\ie low-RoPE frequency) dimensions and vary across layers, highlighting both dimension-wise and layer-wise heterogeneity.
-}
-  \label{fig:hotattn}
-\end{figure}
-% \py{font size of figure is too small}

assets/unsorted/AgentCity/figures/model_arch.tex

@@ -1,7 +0,0 @@
-% \begin{figure*}[ht]
-%     \centering
-%     \includegraphics[width=0.7\linewidth]{assets/model2.pdf}
-%     \caption{MESSA framework with shared--specific sparse updates. Sparse structures are learned via budget-aware soft gating and overlap regularization, and hardened through a soft-to-hard training process under a unified parameter budget.}
-%     % \caption{The architecture of CAM and HyCAM framework. HyCAM applies a hybrid CAM mechanism to the output of the Attention module within each Transformer block, while the backbone LLM remains frozen. Specifically, HyCAM integrates a shared, full-parameter CAM module and multiple lightweight Specialized CAMs for common and task-specific knowledge.} % with a dynamic routing strategy. % adaptively coordinates the contributions of these specialized modules.
-%     \label{fig:framework}
-% \end{figure*}

chap01.tex

@@ -6,164 +6,161 @@
 \section{研究背景与意义}
 \label{sec:background}
 
-\subsection{城市时空智能建模的发展背景与关键挑战}
+\subsection{大语言模型表征适配的发展背景与关键挑战}
-\label{subsec:background_challenges}
-\subsubsection{城市复杂系统演化与时空数据驱动需求}
 
-随着全球城镇化进程的持续推进，城市正在由以静态基础设施为核心的空间载体，逐步演化为由人口活动、交通运行、产业组织、资源配置与公共服务等多类过程共同耦合的复杂动态系统\cite{}。在这一系统中，不同要素之间存在持续的相互作用与反馈关系：人口流动影响交通负载与服务需求，土地利用与功能布局塑造出行模式与商业活力，公共事件与环境变化又进一步改变城市运行状态。由此，城市运行呈现出显著的动态性、开放性与多主体协同特征，其演化过程难以通过单一规则或局部观测加以充分刻画。
+\subsubsection{基础模型范式推动统一表示学习的发展}
 
-\begin{figure}[!h]
+近年来，以大语言模型为代表的基础模型（Foundation Models）在自然语言处理及相关智能任务中展现出显著的表达能力与泛化潜力\cite{brown2020language,bommasani2021opportunities}。该类模型通过在大规模、多源异构语料上进行预训练，在统一的序列建模框架下学习高维表示空间中的统计规律，从而形成具有较强抽象能力的通用表征。这种以表示学习为核心的建模方式，使模型能够在单一参数体系中整合语义理解、知识表达与推理能力，为多类型下游任务提供共享的知识基础。
-	\centering
+
-	\subcaptionbox{占位符1}{\includegraphics[width = 0.4\linewidth]{pic/logo-buaa.eps}\vspace{50pt}}
+与传统面向特定任务构建模型的范式相比，基础模型强调在统一表示空间中对多任务进行建模与迁移。模型不再针对每一类任务独立学习特定结构，而是通过预训练阶段形成通用表示，并在下游任务中通过适配机制对已有表示进行重组与调用。这一由“任务特定建模”向“通用表示学习”的转变，使模型能够在不同任务之间复用已有知识结构，并在新任务场景中实现高效迁移。
-	\hfill	
+
-	\subcaptionbox{占位符2}{\includegraphics[width = 0.25\linewidth]{pic/buaa-mark.jpg}}	
+\begin{figure}[htbp]
-	\caption{占位图片}
+\centering
+% \includegraphics[width=0.85\textwidth]{fm_paradigm.pdf}
+\caption[基础模型范式下统一表示学习的示意图]{基础模型范式下统一表示学习的示意图。左侧表示传统任务特定建模方式，不同任务依赖独立模型与特征设计；右侧表示基础模型通过预训练形成统一表示空间，并通过适配机制支持多任务共享与迁移。}
+\label{fig:ch1_fm_paradigm}
 \end{figure}
 
+在这一范式下，模型能力不再仅由单一任务性能刻画，而更多取决于其在统一的表示空间中整合多源信息与支持多类型推理的能力。这种能力依赖于表示空间的内部组织方式，即不同语义成分、结构信息与知识模式在表示中的编码与分布形式。
 
-与此同时，移动互联网、物联网、车联网、卫星遥感以及城市感知基础设施的快速发展，使得城市运行过程能够以更加连续、细粒度与多模态的方式被记录与表征。交通传感器、移动终端定位数据、轨迹数据、遥感影像、兴趣点信息以及环境监测数据等，持续刻画城市中人、车、路、地及各类服务设施的时空活动状态\cite{}。这些数据在空间上覆盖从路段、区域到城市全域的多层级结构，在时间上涵盖实时感知、短期波动与长期演化等多尺度过程，从而为理解城市运行机理、识别潜在规律以及支撑智能决策提供了重要基础。
+因此，下游任务的适配过程可以被理解为对预训练表示的再组织过程，即在保持原有知识结构的前提下，引导模型在表示空间中激活与任务相关的成分。这一视角为从表示机制出发研究大语言模型适配问题提供了基础。
 
+\subsubsection{复杂任务对统一表示空间的非均匀结构需求}
 
-大规模观测数据的持续积累，使研究者能够在更细粒度层面刻画交通拥堵传播、人口迁移演化、功能区活动强度变化以及公共服务供需波动等复杂城市现象；与此同时，城市智能任务也逐步由传统的统计分析扩展至状态预测、行为推断、空间语义理解、过程模拟与决策支持等更具综合性的建模问题\cite{}。在这一过程中，城市智能研究的核心关注点正由"数据获取能力"转向"如何从复杂时空数据中学习具有泛化性与可迁移性的有效表示"。
+在上述统一表示学习范式下，模型可以通过共享的参数空间服务于多类型任务。然而，随着基础模型在实际应用中的推广，下游任务逐渐呈现出更强的复杂性与多样性，这使得统一表示空间所承载的建模需求不再是均匀一致的。
 
-然而，数据规模的扩张并不必然带来建模能力的同步提升。随着观测来源、空间尺度与任务类型的不断增加，城市系统所呈现的高维非线性关系、多主体交互过程以及跨时间尺度演化特征，使得传统依赖经验规则或低维统计假设的建模方法难以充分刻画其内在结构规律\cite{}。因此，面向复杂城市系统的发展需求，研究能够从大规模时空观测数据中提取关键结构信息并支撑多类城市智能任务的表征学习方法，已成为当前时空智能建模的重要科学问题。
+具体而言，不同任务在输入形式、推理路径与决策目标上的差异，会导致模型对内部表示结构提出不同侧重的需求。例如，部分任务更依赖局部上下文的精细对齐，部分任务更依赖长程依赖关系的组织与传播，另一些任务则更依赖对关键信息的选择性强化。这表明，复杂任务并非简单共享同一套表示能力，而是在表示空间中以不同方式激活不同结构成分。
 
-\subsubsection{复杂时空任务的多维特征与建模挑战}
+从表示学习角度看，这一现象反映出表示空间内部存在隐式的功能分化：不同表示维度、不同层级结构以及不同计算模块，在复杂任务中的作用并不相同。不同输入条件与推理模式对应不同的激活路径与信息流动方式，从而表现出对模型内部结构的差异化敏感性。
 
-在上述数据与应用背景下，城市智能研究正由针对单一现象的建模，逐步发展为面向多类型任务的综合分析与决策问题。典型的城市时空任务通常同时涉及状态预测、行为分析、空间语义理解以及过程推理等多种目标形式，其任务定义、输入信息与输出需求在同一系统中交织，使得建模问题呈现出显著的多维特征。在这一背景下，不同任务之间既共享部分基础结构信息，又在建模目标与决策侧重点上存在差异，这种“共享—差异”并存的关系对统一建模提出了更高要求。
+因此，在统一模型框架下，适配问题可以进一步理解为：如何在保持预训练表示主体结构稳定的前提下，根据任务需求对表示空间中的关键结构成分进行有针对性的调控。该问题将模型适配由“参数更新问题”转化为“结构感知的表示调制问题”。
 
-进一步地，城市时空过程在空间与时间维度上表现出显著的结构复杂性。不同区域在功能属性、交通拓扑及人口分布等方面存在差异，使得城市活动具有明显的位置依赖与非均匀性特征；同时，城市运行过程往往叠加多尺度动态模式，例如日周期与周周期所体现的稳定规律，以及突发事件引发的短时扰动。空间结构与时间演化之间的耦合作用，使得城市系统呈现出复杂的时空交互机制。此外，多源观测数据在采样频率、语义粒度与噪声分布等方面存在差异，进一步增加了统一建模的难度 \cite{}。
+\subsubsection{参数高效适配范式的发展}
 
-从表征学习的视角来看，上述多维特征不仅体现为数据与任务层面的复杂性，更对模型内部表示提出了更高要求。模型需要在统一的表示空间中同时刻画跨任务与跨区域的共享规律，并对局部结构差异、多尺度动态变化及语义异构性保持足够敏感。这意味着，在同一模型中，不同层级与不同子结构往往需要承担差异化的表征功能。如何在统一建模框架下协调这些差异化需求，使模型能够兼顾共享性与结构敏感性，构成了复杂时空任务建模的核心挑战之一。
+在上述非均匀结构需求背景下，模型适配机制成为关键环节。随着大语言模型规模的持续扩展，针对下游任务进行全参数微调（fine-tuning）所带来的计算与存储开销显著增加。在此背景下，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法逐渐成为主流的模型适配技术路径\cite{houlsby2019parameter,hu2021lora,li2021prefix}。该类方法通过引入低秩更新、附加适配模块或提示向量等轻量结构，在保持主体参数基本不变的前提下，实现对模型的任务相关适配，从而在适配效率与性能之间取得平衡。
 
-\subsubsection{时空数据表征学习范式的发展}
+从建模方式看，现有参数高效适配方法通常在模型不同层级施加形式一致的参数更新或表示调制机制，例如在各层引入结构相同的适配模块，或对权重矩阵施加统一形式的低秩扰动。这类设计使适配过程能够以较低复杂度作用于整个模型表示空间，从而实现稳定的迁移效果。
 
-随着城市时空系统建模复杂度的不断提升，传统依赖显式规则与统计假设的方法逐渐难以刻画高维动态过程。在此背景下，表征学习（Representation Learning）逐步成为时空数据建模的核心范式。相较于依赖人工特征设计的方法，其通过数据驱动方式构建隐式表示空间，使模型能够在较少先验约束的条件下刻画复杂的非线性时空关系，从而提升对真实城市运行过程的建模能力\cite{}。深度学习方法的发展进一步推动了这一转变，通过卷积结构、序列建模机制与图结构建模等方式，使模型能够在端到端框架下学习潜在时空表示，并在交通预测、人口流动分析等任务中取得良好效果\cite{}。
+然而，这种在模型不同层级施加形式一致适配策略的方式，与复杂任务对表示空间非均匀结构的需求之间存在潜在不匹配。当模型内部不同结构单元在表示形成中承担差异化功能时，统一形式的适配策略难以对关键表示成分进行精细调控。在复杂任务场景与有限适配预算条件下，这种结构均匀假设可能限制模型能力迁移的效率。
 
-尽管上述方法在特定任务上表现出较强能力，其学习到的表示仍普遍与具体任务目标紧密耦合，缺乏跨任务与跨场景的通用性。在城市时空智能逐步向多任务协同与综合决策支持演进的背景下，这种“任务特定表征”范式逐渐暴露出局限：模型难以在不同任务之间共享知识，重复训练成本较高，且在面对新任务或新场景时泛化能力有限。这一问题在结构复杂且任务耦合紧密的城市系统中尤为突出。
+因此，模型适配问题可以进一步表述为：在保持参数高效性的前提下，如何使适配机制能够与模型内部结构特征相匹配，从而对不同结构单元施加差异化调制。
 
-围绕上述问题，时空表征学习逐步由面向单一任务的特征建模，转向构建具有更强迁移性与泛化能力的通用表示（general-purpose representation）。该方向强调在统一表示空间中刻画跨任务、跨区域及跨时间尺度的共享结构规律，使模型能够在不同任务之间实现知识复用与能力迁移。整体来看，时空表征学习呈现出由显式建模向隐式表示、由任务特定表示向通用表示的演进趋势。然而，如何在实际建模过程中有效学习并利用这种通用表示，使其适应多类型时空任务的需求，仍是当前研究中的关键问题。
+\subsubsection{模型内部结构异质性及其对适配建模的启示}
 
-\subsubsection{大语言模型推动时空智能建模范式转变}
+从模型机制角度看，上述适配局限与模型内部结构特征密切相关。大语言模型内部不同模块、表示维度以及参数子空间在信息建模过程中呈现出显著的功能差异。例如，自注意力结构主要承担上下文关系的组织与长程依赖建模功能，而前馈网络更侧重参数化知识表达；在表示维度层面，不同子空间在位置结构建模与语义编码中的作用并不均衡；在参数更新层面，权重调整过程往往表现出多尺度与非均匀分布特征。
 
-随着时空表征学习逐步由任务特定建模向通用表示建模演进，以大语言模型为代表的基础模型（foundation models）为复杂城市系统的统一建模提供了新的技术路径。通过大规模数据预训练，大语言模型在统一的序列建模框架下构建共享表示空间，使模型能够在不同任务之间共享知识并实现跨场景泛化\cite{}。相较于针对单一任务独立建模的传统方式，该范式为在同一模型中整合多源信息与多类型任务需求提供了可能。
+这些现象表明，大语言模型内部由具有不同功能角色的结构单元构成，而非均质整体。不同结构单元在表示形成与任务适配中的贡献存在差异，使模型整体行为可以理解为多种结构作用的协同结果。
 
-从建模能力上看，大语言模型在长程依赖建模与多步推理方面所表现出的能力，使其在处理跨区域关联与跨时间尺度动态关系时具有潜在优势。已有研究开始探索将基础模型引入城市时空任务，例如通过序列化方式刻画轨迹演化过程，或利用统一表示空间支持空间语义理解与跨任务推理\cite{}。这些初步工作表明，基础模型为时空智能建模提供了一种兼具表达能力与统一性的建模范式。
+由此，模型内部结构不仅是对表示机制的描述对象，也可以被视为适配建模中的基本作用单元。基于结构角色差异对模型进行建模，使适配过程能够针对不同结构单元施加差异化作用，从而为后续构建结构感知适配机制提供了基础。
 
-然而，大语言模型所具备的通用表示能力并不意味着其能够直接适配复杂城市时空任务。城市时空数据的多维特征要求模型在统一表示空间中同时刻画共享规律与结构差异，而大语言模型的预训练过程主要基于通用语料，其内部表示结构与时空建模需求之间仍存在一定差异。因此，如何在保持预训练通用能力的基础上，使模型内部表示与时空数据的结构特征相协调，成为将基础模型引入时空智能建模的关键问题。
+\subsubsection{大语言模型结构感知表征适配的关键问题与挑战}
-\subsubsection{面向时空建模的模型适配问题与挑战}
 
-如前所述，大语言模型通过大规模预训练所构建的通用表示能力，为复杂时空任务的统一建模提供了新的技术路径。然而，预训练阶段获得的通用能力并不等同于对具体时空任务的有效建模能力。在实际应用中，模型仍需在保持已有知识结构的前提下，对特定任务的输入模式与输出需求形成针对性的适配。因此，如何设计有效的模型适配机制，使其能够在复杂时空场景中发挥作用，成为基础模型应用中的关键问题。
+综合以上分析，在统一表示学习范式与复杂任务需求的共同驱动下，模型适配问题逐渐呈现出明显的结构依赖特征。当模型内部不同结构单元在表示形成中承担差异化功能时，适配过程是否能够刻画并利用这些结构差异，直接影响模型能力迁移的效率与稳定性。
 
-现有适配方法通常采用统一的参数更新或表示调制策略，在模型不同层级与子结构上施加形式一致的调整。这类方法隐含假设模型内部各组成部分在适配过程中的作用是近似一致的。然而，从模型表示机制来看，不同模块、不同表示维度及不同参数子空间在信息建模中往往承担差异化功能。本文将这种现象概括为\emph{模型内部的结构角色差异}。
+若适配过程仅对模型参数或表示施加整体性、形式一致的调整，则其对不同结构成分的作用往往是均匀的，难以反映复杂任务对表示结构的差异化需求。相应地，若适配机制能够显式刻画结构角色差异，并据此对表示流或参数更新施加有针对性的调制，则有可能在有限适配资源条件下，更有效地引导模型激活与任务相关的表示成分。
 
-在时空建模场景中，这一问题更加突出。城市时空任务要求模型在统一表示空间中同时刻画跨任务共享规律、多尺度动态变化及局部结构差异，这意味着模型内部不同层级与子结构需要承担不同的表征职责。如果适配机制无法感知这种结构角色差异，而仍采用均匀调整方式，则难以在有限的适配能力下实现对关键表示的有效调控，从而影响模型在复杂场景中的泛化能力与稳定性。
+因此，本文关注的核心问题是：在统一表示空间中，如何基于模型内部结构角色差异，对表示流与参数更新过程进行非均匀调制，从而在有限适配预算下实现高效任务特化。围绕这一问题，本文从模块级、维度级与参数级等多个层面展开分析与方法设计，并在统一的结构感知调制视角下对不同适配策略进行系统刻画。
 
-因此，面向时空建模的模型适配问题，其核心在于如何使适配过程与模型内部结构相协调，即在统一模型框架下刻画并利用结构角色差异，从而实现对复杂时空任务的有效适配。围绕这一问题，第~\ref{sec:unified_framework}~节将从不同结构层级出发，对模型表示调制机制进行系统分析与方法设计。
-\newpage
 \subsection{理论意义、方法体系与应用价值}
 \label{subsec:significance}
 
-面向复杂城市时空数据的表征学习与模型适配问题开展系统研究，在理论理解、方法体系构建与工程实践支撑三个层面均具有重要意义。
+围绕大语言模型表征适配机制开展系统研究，在理论理解、方法体系构建与实际应用支撑等方面具有重要意义。
 
 {\heiti \underline{理论意义}}：
-从理论层面看，城市运行过程本质上体现为多维度、多层级结构信息的动态耦合与演化过程。不同空间区域、不同时间尺度以及不同功能任务之间存在复杂的交互关系，使得有效建模不仅需要刻画整体运行规律，还需反映局部结构差异与动态变化特征。因此，如何在统一表示框架下刻画复杂时空系统中的多维结构信息，构成了时空表征学习中的核心问题。
+从表示学习与模型机制角度看，大语言模型通过大规模预训练在统一表示空间中形成了高度抽象的通用知识结构。然而，这类表示能力并不能直接对应具体任务需求，模型在适配过程中需要在保持既有知识组织方式的同时，对任务相关的输入结构与推理模式形成针对性响应。因此，“预训练表示如何在适配过程中转化为任务特定能力”成为当前基础模型研究中的核心问题之一。
 
-随着表征学习方法的发展，模型通过隐式表示空间刻画复杂系统行为已成为主流路径。然而，现有研究多从任务建模或参数优化角度展开，对于模型内部表示如何在复杂任务中分工协作，缺乏系统性认识。特别是在多任务耦合与多尺度动态并存的时空场景中，模型需要在统一表示空间中同时刻画共享规律与结构差异，这对表示结构的组织方式提出了更高要求。
+进一步地，随着模型规模与任务复杂度的提升，模型内部不同结构单元在信息建模中的功能分化逐渐显现。例如，自注意力模块主要承担上下文关系组织与长程依赖建模功能，前馈网络更侧重参数化知识表达，而位置相关表示在不同维度子空间中呈现出不均衡的重要性。这表明，模型能力的形成不仅依赖整体参数规模，也与表示结构的组织方式密切相关。
 
-进一步地，从模型表示机制出发，可以观察到大模型在不同模块、不同表示维度及不同参数子空间中往往形成差异化的功能分工。例如，自注意力结构侧重上下文依赖建模，前馈网络承担知识表达功能，位置编码在不同维度上引入异质的结构特征。这种模型内部的结构角色差异，为理解复杂时空表征能力的形成机制提供了重要线索。
+基于上述认识，从结构角色差异出发分析模型适配过程中的表示调制机制，有助于在更细粒度层面理解大语言模型能力迁移与任务特化的内在规律。将适配过程刻画为对不同结构单元施加差异化调制的过程，为解释复杂任务条件下的模型行为提供了统一视角，并推动表征学习研究由性能驱动向机制驱动转变。
-
-基于上述认识，本文从结构角色差异的视角出发，系统分析模型内部不同层级结构在复杂时空任务中的功能贡献，并建立时空数据多维特征与模型表示调制机制之间的联系。该研究有助于深化对“预训练表征如何通过适配形成任务特定能力”的理解，为复杂时空系统表征能力的形成机制提供新的理论视角。
-
-\begin{figure}[!h]
-  \centering
-  \includegraphics[width=.25\textwidth]{pic/buaa-mark.jpg}
-  \caption{占位图片\\第二行题注}
-  \label{fig:logo}
-\end{figure}
 
 {\heiti \underline{方法体系意义}}：
-现有模型适配方法多从单一层级或局部机制出发进行设计，不同方法之间缺乏统一的结构建模视角与内在关联。这些方法通常分别关注表示调制、参数选择或更新结构等不同方面，虽在各自场景中表现出有效性，但由于缺乏统一理论框架，难以系统解释其作用机制及相互关系。
+现有大语言模型适配方法多从单一层级或局部结构出发进行设计，例如针对参数更新结构、附加模块或提示向量进行独立改进。尽管这些方法在不同任务场景中取得了良好效果，但由于缺乏统一的结构建模视角，其作用机制与适用范围难以系统刻画，不同技术路径之间的内在联系也不清晰。
 
-针对上述问题，本文围绕模型内部结构角色差异，构建了一个从模块、维度到参数级逐层递进的表征适配方法体系。在该体系中，不同层级的适配方法共享统一的结构感知建模思想，即根据模型内部不同子结构在建模中的功能角色，对表示流或参数更新施加差异化的非均匀调制。在统一形式化框架下，这些方法可归纳为乘性调制、组合式调制与结构分解调制等不同实现形式，从而在理论上实现了不同适配策略的统一刻画。
+围绕模型内部结构角色差异，本文构建了从模块级、维度级到参数级逐层展开的结构感知表征适配方法体系。该体系以统一的建模思想为基础，即根据模型内部各结构单元在表示形成中的功能角色，对表示流或参数更新施加非均匀调制。在统一形式化框架下，上述方法可归纳为乘性调制、组合式调制与结构分解调制三类基本形式，从而实现对不同适配机制的统一描述。
 
-这种具有内在逻辑一致性的分层方法体系，不仅能够更精细地刻画复杂时空任务中的多维结构特征，也使不同层级的模型改进能够在统一视角下得到解释与整合，为跨任务与跨场景的表示迁移提供了系统化的方法基础。
+这一具有内在一致性的分层方法体系，有助于从整体视角理解不同适配策略之间的关系，使模型改进从局部结构优化拓展为在统一框架下的系统化建模。同时，该体系为多任务场景中的表示迁移与能力协同提供了方法基础，并为后续结构感知建模研究提供了可扩展的技术路径。
 
 {\heiti \underline{应用与工程价值}}：
-从工程实践角度看，城市智能系统正逐步由面向单一任务的优化问题，发展为面向多任务协同与综合决策支持的复杂系统，对建模方法的可扩展性、稳定性及持续评估能力提出了更高要求。在这一背景下，如何在有限计算资源条件下高效适配大语言模型，并在接近真实应用环境的条件下系统评估其性能，成为时空智能研究中的重要问题。
+从应用角度看，大语言模型正由离线研究环境逐步走向多任务协同与持续部署的复杂系统场景。在这一过程中，模型适配方法不仅需要具备性能提升能力，还需要在计算开销、参数规模与部署稳定性等方面满足工程约束。在保持预训练模型主体能力的前提下，通过有限参数更新实现高效适配，已成为基础模型落地应用的关键问题。
 
-本文提出的结构感知适配方法通过在模型内部关键结构上进行有针对性的调制，在保持预训练模型主体参数不变的前提下，实现对复杂时空任务的有效适配，从而降低了大模型在城市智能场景中的应用门槛。同时，围绕复杂时空任务的验证需求，构建了面向多任务与多阶段评估的实验基础设施，通过统一的任务组织方式与评估流程，使模型性能能够在更接近实际应用环境的条件下得到系统检验。
+本文提出的结构感知适配方法，通过在模型内部关键结构单元上进行针对性的表示调制与参数组织，使适配过程更加聚焦于对任务能力形成具有关键作用的表示成分，从而在有限适配预算条件下提升模型性能与资源利用效率。这种建模方式有助于降低大模型在实际部署中的适配成本，并提升其在多任务环境中的持续适应能力。
 
-此外，针对时空推理与决策类任务的评测需求，构建相应的数据资源与实验基准，有助于弥补现有城市计算研究在复杂任务评估方面的不足，使模型不仅能够进行状态预测，还能够支持更高层次的语义理解与决策分析。上述方法体系与评测环境的结合，有助于形成从模型设计到系统验证的完整研究闭环，为时空智能建模技术向工程实践的转化提供重要支撑。
+此外，通过对不同结构适配策略进行系统验证，可以在多任务与多场景条件下评估方法性能表现，从而更全面分析结构感知适配机制的有效性。方法设计与实验分析的结合，有助于形成从结构建模到性能验证的完整研究闭环。
+总体而言，围绕结构感知表征适配问题开展系统研究，有助于深化对基础模型适配机制的理解，推动模型适配方法由均匀更新向结构驱动调制演进，并为复杂任务场景下的大语言模型高效应用提供方法支撑。
 
-总体而言，从理论分析到方法体系构建，再到工程评测与应用支撑，围绕复杂时空表征学习与模型适配问题的系统研究，有助于推动时空智能建模方法向更高表达能力与更强泛化能力的发展，为构建高效、可持续的城市智能系统提供重要技术基础。
+\section{大语言模型表征适配研究现状与关键问题分析}
-% \newpage
-
-\section{时空表征学习研究现状与关键问题分析}
 \label{sec:research_status}
-\subsection{时空数据建模与表征学习研究现状}
-\label{subsec:status_st_modeling}
 
-城市时空建模方法经历了由显式数学建模向数据驱动表征学习的范式演进。早期研究主要基于时间序列分析与空间统计方法，通过构建带有先验假设的数学模型对交通流、人口分布及环境变化等过程进行刻画\cite{}。此类方法在系统结构相对稳定或数据规模有限的场景中具有一定适用性，但其表达能力依赖于模型假设与特征设计，难以刻画复杂城市系统中普遍存在的非线性与动态耦合关系。
+\subsection{大语言模型的表示学习机制}
+\label{subsec:status_representation}
 
-随着深度学习技术的发展，研究者逐步引入循环神经网络、卷积神经网络及图神经网络等模型，通过端到端学习方式提取潜在时空表示，在交通预测、出行行为建模及城市功能区分析等任务中取得了显著进展\cite{}。特别是结合图结构建模与注意力机制的方法，能够在一定程度上刻画空间拓扑依赖与长程时间关联，为复杂城市系统建模提供了更为灵活的技术路径\cite{}。
+大语言模型的适配问题建立在其预训练表示机制之上。以 Transformer 为核心的模型通过多层自注意力与前馈网络的交替堆叠，在统一序列建模框架下逐步构建从局部上下文关联到高层语义抽象的层级化表示结构\cite{vaswani2017attention}。相较于依赖显式特征设计的传统方法，该类模型通过大规模预训练在共享参数体系中学习通用表示，使语义理解、知识表达与推理能力能够在同一表示空间中协同形成\cite{brown2020language,bommasani2021opportunities}。
 
-然而，从城市智能建模的整体需求来看，现有方法仍存在两方面局限。其一，模型通常围绕特定任务进行设计，所学习的表示与任务目标紧密耦合，缺乏跨任务与跨场景的通用性。在多任务协同建模环境中，这种“任务特定表征”范式导致知识难以共享，模型在面对新任务时泛化能力有限。其二，城市时空数据普遍具有多尺度动态模式、空间非均匀性及多源语义差异等结构特征，而基于单一结构假设的模型设计难以在统一表示空间中同时刻画这些复杂属性。
+从表示形成机制看，Transformer 内部不同计算单元在信息建模中承担着相互关联但并不相同的功能。自注意力模块通过动态权重分配组织跨位置的信息交互，主要负责上下文依赖关系的建模与信息路由；前馈网络则通过参数化非线性映射对中间表示进行变换与重组，在语义表达与知识存储中发挥重要作用\cite{geva2021transformer,dong2025attention}。同时，位置编码机制（如旋转位置编码 RoPE）通过在表示维度中注入结构化位置信息，使模型能够在表示空间内刻画顺序关系与距离模式\cite{su2024roformer}。
 
-因此，如何构建能够刻画多维结构特征、并具备跨任务迁移能力的通用时空表征学习方法，已成为该领域的重要研究方向。
+随着模型规模与训练数据的持续扩展，大语言模型在表示空间中逐渐形成具有层级性与各向异性的结构特征。已有研究表明，不同层级往往对应不同粒度的信息加工过程\cite{belinkov2018evaluating}，不同注意力头在依赖关系建模中表现出差异化模式\cite{voita2019bottom}，而不同表示维度或子空间对语法、语义及位置结构信息的承载能力也并不均衡\cite{jin2025massive}。这表明，模型表示空间并非均质整体，而是由多种具有不同功能角色的结构成分构成。
 
-\subsection{模型适配与结构感知建模研究现状}
+因此，在下游任务适配过程中，不同结构单元对模型性能的贡献并不一致。任务能力的形成往往依赖于对部分关键表示成分的重组与强化，而非对整个表示空间的均匀调整。这一特征表明，表示在不同结构单元上的非均匀分布，将直接影响适配过程中不同结构成分的作用方式，并为后续从结构角度研究适配机制提供了基础。
+
+\subsection{参数高效适配方法研究现状}
 \label{subsec:status_peft}
 
-随着基础模型的发展，通过大规模预训练获取通用表示，并在下游任务中进行适配优化，逐渐成为复杂系统建模的重要范式\cite{}。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法通过仅更新少量参数实现模型适配，在降低计算成本的同时保持了较好的性能表现。典型方法包括低秩适配（LoRA）\cite{hu2021lora}、适配器插入\cite{houlsby2019parameter}以及前缀调制\cite{li2021prefix}等。
+随着大语言模型参数规模的持续增长，对每个下游任务进行全参数微调所带来的计算与存储成本逐渐成为制约模型应用的重要因素。为提升模型复用效率并降低适配开销，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法逐渐成为主流技术路径\cite{houlsby2019parameter,hu2021lora,li2021prefix}。该类方法通过引入少量可训练参数或对原有参数更新施加结构约束，在保持预训练模型主体能力的前提下实现任务特定适配。
 
-从时空建模需求出发审视上述方法，可以发现其核心策略通常在模型不同层级与子结构上施加形式一致的参数更新或表示调制，隐含假设模型内部各组成部分在适配过程中具有相似作用。然而，已有研究表明，模型内部不同结构单元在信息建模中往往承担差异化功能。例如，自注意力模块侧重上下文依赖的动态整合，前馈网络主要承担知识表达功能\cite{geva2021transformer}；位置编码在不同维度上引入具有频率结构的表示偏置，使得表示在维度空间中呈现系统性的功能差异\cite{su2024roformer}；参数更新在频谱空间中亦表现出全局与局部结构并存的特性。
+现有参数高效适配方法主要包括三类：一类通过在模型内部插入轻量附加模块，如 Adapter，通过瓶颈结构增强任务特定特征表达\cite{houlsby2019parameter}；一类通过对权重更新空间施加低秩或稀疏约束，如 LoRA 等方法，通过结构化分解降低参数更新复杂度\cite{hu2021lora}；另一类则通过提示、前缀或软提示等方式，在输入或中间表示层引入额外可学习信号，引导模型调用已有知识结构\cite{li2021prefix,lester2021power}。
 
-在多任务学习方面，动态路由机制与混合专家结构被用于缓解任务间干扰并提升模型容量利用效率\cite{}。然而，现有方法多从任务权重分配或参数更新策略角度进行设计，对于模型内部不同表示层级在复杂任务中的功能分工缺乏系统性刻画。在多任务耦合且结构复杂的时空场景中，均匀适配策略难以同时兼顾预训练知识的保持与任务特定能力的获取。
+从更抽象的角度看，上述方法主要作用于两类对象：一类针对参数更新结构，通过限制更新自由度提升适配效率；另一类作用于表示流，通过附加调制信号改变模型对已有知识的调用方式。两类路径分别从参数空间与表示空间出发，为大语言模型适配提供了有效的实现手段。
 
-因此，如何从模型内部结构出发，刻画不同层级与子结构在表征学习中的功能角色，并据此设计具有结构感知能力的适配机制，成为当前模型适配研究中的关键问题。
+然而，多数现有方法在设计上在不同层级、不同模块或不同参数子空间中施加形式一致的更新或调制机制。这种策略隐含地假设模型内部结构单元在适配过程中具有近似一致的作用，从而采用统一的适配形式作用于整个模型。尽管这一假设有助于简化方法设计并保证训练稳定性，但在复杂任务需求与有限适配预算并存的条件下，其对关键结构成分的刻画能力仍然有限。因此，参数高效适配研究逐渐从“如何减少参数更新量”进一步转向“如何在有限预算下更有针对性地组织更新”。
 
-\subsection{时空智能数据与评测体系研究现状}
+\subsection{大语言模型结构异质性研究现状}
-\label{subsec:status_benchmark}
+\label{subsec:status_structure}
 
-模型能力的有效评估依赖于系统化的数据资源与标准化的实验基准。在数据集方面，城市计算研究已构建了大量面向交通预测、轨迹分析及空间分布建模的公开数据资源，例如METR-LA、PEMS-BAY以及GeoLife等\cite{}。这些数据集通常围绕特定预测目标构建，能够在单一任务场景中较好地反映模型性能。
+在对大语言模型表示机制的进一步分析中，研究者逐渐发现模型内部存在显著的结构异质性特征，并尝试从不同层级对其进行刻画。这些研究为理解模型能力形成机制以及改进适配策略提供了重要线索。
 
-然而，随着城市智能应用逐步向推理与决策支持任务拓展，现有数据集在任务复杂度与评测维度方面的局限逐渐显现。一方面，传统数据资源主要侧重短期动态建模，对于跨时间尺度的逻辑推理与复杂情境理解支持不足；另一方面，现有问答类数据集在空间与时间信息的结合方面仍较为有限，难以系统评估模型对时空关系的理解与推理能力\cite{}。
+在模块层面，已有工作指出自注意力与前馈网络在功能上具有相对稳定的角色差异：前者主要承担上下文关系的组织与信息路由功能，后者则在特征变换与知识表达中发挥更重要作用\cite{geva2021transformer,dong2025attention}。这一现象表明，不同模块在表示形成中的贡献并不均衡，对其施加统一形式的适配策略未必能够充分发挥各自优势。
 
-在评测体系方面，已有工作提出了若干面向时空预测任务的统一评测框架，如LibCity、DL-Traff及TorchSpatial等\cite{}，通过规范化数据处理流程与评价指标实现模型间的公平比较。然而，这类框架普遍依赖人工维护，在可扩展性与持续性方面存在不足，难以跟进快速增长的研究工作；同时，不同框架之间在评估设置上的差异，也影响了实验结果的可比性与可复现性。
+在表示维度与位置结构层面，位置编码机制（如旋转位置编码）会在表示空间中引入具有频率结构的系统性偏置，使不同维度在位置信息建模中承担不同作用\cite{su2024roformer,barbero2024round}。同时，不同层、不同注意力头以及不同维度对子空间结构的敏感性存在差异，进一步体现出表示空间内部的细粒度结构分化。
 
-此外，城市时空任务在实际应用中往往具有持续演化与多阶段决策特征，仅依赖静态离线数据难以全面反映模型在动态环境中的表现。因此，构建能够支持复杂任务、多阶段验证及持续更新的评测基础设施，已成为推动时空智能研究向实际应用转化的重要方向。
+在参数空间层面，模型训练与微调过程中的参数更新通常呈现出非均匀分布与多尺度特征\cite{rahaman2019spectral}。% 注：需补充到ref.bib: rahaman2019spectral (Rahaman et al., On the Spectral Bias of Neural Networks, ICML 2019)
-\subsection{现有研究的主要挑战总结}
+部分参数子空间对模型整体行为具有更显著影响，而多任务场景中不同任务对共享与专用参数的依赖程度也存在差异。这些现象表明，参数组织方式本身也具有结构属性，并对适配效果产生重要影响。
 
-综合前述分析可以看出，尽管现有研究在时空数据建模、模型适配及评测体系等方面取得了一定进展，但在面向复杂城市时空智能任务的统一建模过程中，仍存在若干关键问题有待进一步解决，主要体现在以下三个方面。
+总体来看，现有研究已从模块、维度与参数等多个角度揭示了大语言模型内部的结构复杂性。然而，这些工作多围绕局部结构特征展开，其分析对象、建模方式及方法形式尚未形成统一描述框架，不同层级结构异质性之间的内在联系仍有待系统刻画。图~\ref{fig:ch1_research_landscape}~概括了上述研究现状及其与本文方法体系的关系。
 
-（1）\textbf{模型内部结构角色差异的刻画不足。}  
+\begin{figure}[htbp]
-复杂时空数据要求模型在统一表示空间中同时刻画多任务共享规律、位置依赖关系及多尺度动态变化。然而，现有方法多采用形式一致的建模或适配策略，隐含假设模型各层级与子结构作用相近，缺乏对不同模块、不同表示维度及不同参数子空间功能角色差异的刻画。这种均匀建模方式难以针对关键结构进行有效调控，从而限制了模型对复杂时空模式的表达能力\cite{}。
+\centering
+% \includegraphics[width=0.95\textwidth]{ch1_research_landscape.pdf}
+\caption{大语言模型表征适配研究现状与本文方法定位。左侧展示模型内部三个层面的结构异质性现象（模块级功能分化、维度级位置结构差异、参数空间多尺度与容量分配特征）；中间为现有参数高效适配方法的均匀适配假设与三类局限；右侧为本文构建的统一分析框架与五种方法的对应关系。}
+\label{fig:ch1_research_landscape}
+\end{figure}
 
-（2）\textbf{多任务场景下结构角色协同与容量分配机制不足。}  
+\subsection{现有研究的关键问题总结}
-在多任务时空建模中，不同任务之间既存在共享结构规律，又在表示需求上存在差异，对模型内部结构的协同与资源分配提出了更高要求。现有方法多从参数更新或任务权重角度进行设计，缺乏对不同结构单元功能分工的系统建模。在有限参数预算下，如何实现共享能力与任务特定能力的有效平衡仍有待进一步研究\cite{}。
+\label{subsec:status_summary}
 
-（3）\textbf{面向复杂时空任务的评测基础设施尚不完善。}  
+综合上述分析可以看出，大语言模型在表示学习机制、参数高效适配方法以及结构异质性分析方面均已取得一定进展，但在面向复杂任务的系统化适配建模方面仍存在若干关键问题。
-现有研究主要依赖静态离线数据集进行验证，其评测目标多集中于单一任务或短期预测指标，难以全面反映模型在复杂城市环境中的综合表现。在数据资源方面，现有时空数据集主要面向状态预测任务构建，缺乏同时包含空间位置与时间上下文、且对时空条件敏感的评测资源，难以系统评估模型的时空推理与情境理解能力。在评测平台方面，现有框架普遍依赖人工维护，在模型收录的可扩展性与评估流程的持续更新能力方面存在不足，难以支撑多任务、多阶段的系统化评估需求\cite{}。
 
+第一，\textbf{模型内部结构角色差异刻画不足。} 现有适配方法多基于统一形式的更新或调制机制，对模块级功能差异、维度级结构差异以及参数子空间的非均匀更新特征缺乏系统利用。在复杂任务需求下，这种均匀适配方式难以针对关键结构成分进行有效调控，从而限制模型能力迁移效率。
 
-综上，复杂时空数据所引入的结构异质性不仅体现在数据与任务层面，也体现在模型内部结构角色的功能分化上。如何在统一框架下刻画并利用这种结构角色差异，设计结构感知的适配机制，并构建支撑复杂任务验证的评测体系，构成了本文的核心研究问题。围绕上述问题，第~\ref{sec:unified_framework}~节将进一步提出面向时空数据的结构感知适配统一分析框架。
+第二，\textbf{多层级结构异质性缺乏统一分析框架。} 尽管已有研究从表示调制、低秩更新、路由机制及频谱分析等角度提出多种方法，但不同技术路径之间缺乏统一的结构描述与形式化表达，尚未形成具有内在一致性的结构感知建模体系。
 
-\section{面向时空数据的结构感知适配统一分析框架}
+第三，\textbf{从表示空间到参数空间的适配路径尚不完整。} 现有方法通常仅关注表示调制或参数更新结构中的单一层面，对于如何在统一框架下协同建模表示空间中的信息流调制与参数空间中的结构组织，以及如何在有限预算条件下平衡共享能力与任务特化能力，仍缺乏系统性方案。
+
+基于上述问题，本文将模型适配进一步理解为一种结构感知的非均匀调制过程，即在表示流传播与参数更新过程中，根据模型内部结构角色差异施加有针对性的调制机制。在此基础上，下一节将提出面向大语言模型的结构感知表征适配统一分析框架，并据此组织后续各层级方法设计。
+
+\section{面向大语言模型的结构感知适配统一分析框架}
 \label{sec:unified_framework}
 
-前述分析表明，城市时空数据在空间结构、时间演化及任务目标等方面均呈现出显著的异质性特征。这种异质性不仅体现在数据分布与任务定义层面，也进一步体现在模型表征过程中：不同类型的时空结构信息往往需要在模型内部由不同层级与不同子结构进行刻画。
+前述分析表明，大语言模型在不同模块、表示维度及参数子空间中普遍存在结构异质性。这种异质性不仅体现在模型架构层面，也反映在模型内部表示的形成过程中：不同类型的信息往往由不同层级与不同子结构进行建模，从而在表示空间中形成具有功能分化的组织方式。
 
-在此背景下，若在模型适配过程中对所有表示与参数施加形式一致的调整，则难以兼顾多任务共享规律与局部结构差异，容易导致关键结构信息表达不足。因此，从时空建模需求出发，模型适配过程需要具备\emph{结构敏感性}，即能够根据不同结构特征，对模型内部表示进行差异化调控。
+在此背景下，若在模型适配过程中对所有表示与参数施加形式一致的调整，则难以同时兼顾多任务共享规律与局部结构差异，容易导致关键结构成分表达不足。因此，从下游任务适配需求出发，模型适配过程需要具备\emph{结构敏感性}，即能够根据不同结构特征，对模型内部表示施加差异化调控。
 
-为进一步刻画这一过程，可以从模型前向计算的角度进行理解。对于输入样本 $\mathbf{X}$，模型在逐层计算过程中会产生一系列中间表示，并通过这些表示在不同层级之间逐步传递与变换。该过程可视为一种\emph{表示流}（representation flow），即信息在模型内部随层级推进而不断演化的动态过程。
+为刻画这一过程，可以从模型前向计算的角度进行分析。对于输入样本 $\mathbf{X}$，模型在逐层计算过程中产生一系列中间表示，并通过这些表示在层间逐步传递与变换。该过程可视为一种\emph{表示流}（representation flow），即信息在模型内部随层级推进而持续演化的过程。
-
-从表示学习的角度来看，结构敏感性可以统一理解为：在上述表示流的传播过程中，对中间表示施加依赖于输入与结构特征的非均匀变换。基于这一认识，本文将模型适配过程抽象为对表示流的\emph{结构感知调制}，并在此基础上构建统一分析框架，以刻画后续各章方法的核心机制。
 
+从这一视角出发，结构感知适配可以统一理解为：在表示流的传播过程中，对中间表示施加依赖于输入与结构特征的非均匀变换。基于此，本文将模型适配抽象为对表示流的\emph{结构感知调制}，并在此基础上构建统一分析框架，以刻画后续方法的共性机制。
 \subsection{结构感知调制的统一形式化}
 \label{subsec:unified_formulation}
 
-在上述直觉基础上，考虑预训练模型在适配过程中的表示变换形式。设预训练模型参数为 $\Theta_0$，适配参数为 $\Theta_a$。对于第 $\ell$ 层，给定输入时空样本 $\mathbf{X}$，该层产生的中间表示记为 $\mathbf{Z}^{(\ell)}$（例如注意力输出或前馈网络输出），其构成了表示流在该层的状态。
+在上述表示流视角下，考虑预训练模型在适配过程中的表示变换形式。设预训练模型参数为 $\Theta_0$，适配参数为 $\Theta_a$。对于第 $\ell$ 层，给定输入样本 $\mathbf{X}$，该层产生的中间表示记为 $\mathbf{Z}^{(\ell)}$（例如注意力输出或前馈网络输出），其构成表示流在该层的状态；在参数空间方法中，$\mathbf{Z}^{(\ell)}$ 也可对应由该层权重更新所刻画的适配对象。
 
 结构感知调制的统一形式可表示为：
 \begin{equation}
@@ -177,25 +174,25 @@
 \Big),
 \label{eq:ch1_unified_M}
 \end{equation}
-其中，$\mathcal{M}_{\theta}(\cdot)$ 为结构感知调制算子，$\tilde{\mathbf{Z}}^{(\ell)}$ 为调制后的表示，$\mathcal{R}$ 为结构角色描述符，用于刻画由时空数据结构特性所诱导的模型内部结构异质性类型，例如模块级、维度级及参数级等不同层级的结构差异。
+其中，$\mathcal{M}_{\theta}(\cdot)$ 表示结构感知调制算子，$\tilde{\mathbf{Z}}^{(\ell)}$ 为调制后的表示，$\mathcal{R}$ 为结构角色描述符，用于刻画模型内部的结构异质性类型，例如模块级、维度级及参数级等不同层级的结构差异。相应地，$\mathbf{Z}^{(\ell)}$ 在表示空间方法中表示中间表示流对象，在参数空间方法中表示结构化参数更新对象。
 
-该形式化表达了一个基本观点：模型适配的关键不在于对参数进行全面更新，而在于根据时空结构特征，对表示流中不同组成部分施加有针对性的调制。通过引入结构角色描述符 $\mathcal{R}$，可以在统一框架下区分不同类型的结构异质性，并据此设计差异化的调制策略。
+上述形式化将模型适配统一刻画为在结构约束下的表示变换过程。与对参数进行整体更新的视角相比，该表达更直接地反映了适配过程中不同结构单元在表示流中的作用差异。通过引入结构角色描述符 $\mathcal{R}$，可以在统一框架下区分不同类型的结构异质性，并据此构造相应的调制策略。
 
-\subsection{三种调制形式}
+\subsection{结构感知调制的形式类别划分}
 \label{subsec:modulation_forms}
 
-在上述统一形式下，不同适配方法的差异主要体现在调制算子的具体实现方式上。根据调制机制与建模需求的不同，本文将结构感知调制归纳为三类基本形式。
+在上述统一形式下，结构感知调制既可以作用于表示流，也可以作用于参数更新结构，但其核心差异主要体现在调制算子的具体实现方式上。根据调制作用的结构层级与建模目标的不同，可从调制机制的角度将结构感知调制归纳为三类基本形式。
 
-\textbf{乘性调制}适用于刻画表示流中不同成分的重要性差异。在多任务与多结构并存的场景下，不同表示维度或通道对任务目标的贡献程度存在差异，因而需要通过门控机制进行选择性增强或抑制。其形式为：
+\textbf{乘性调制}用于刻画表示流中不同成分的重要性差异。在多任务与多结构并存的场景下，不同表示维度或通道对任务目标的贡献程度存在差异，因此需要通过条件化门控机制对其进行选择性增强或抑制。其形式为：
 \begin{equation}
 \mathcal{M}_{\theta}(\mathbf{Z};\mathbf{X},\mathcal{R})
 =
 \mathbf{Z} \odot \mathbf{S}_{\theta}(\mathbf{X},\mathcal{R}),
 \label{eq:ch1_multiplicative}
 \end{equation}
-其中 $\mathbf{S}_{\theta}(\cdot)$ 为条件化调制信号。第三章的 HyCAM 方法以及第四章的 RoSA、DyPAM 方法均属于此类形式。
+其中 $\mathbf{S}_{\theta}(\cdot)$ 为依赖输入与结构信息的调制信号。第三章的 HyCAM 方法以及第四章的 RoSA 与第五章的 DyPAM 方法均属于此类形式。
 
-\textbf{组合式调制}适用于刻画多尺度结构特征。在城市时空数据中，不同时间尺度与空间尺度上的模式往往对应不同频率成分，需要在统一框架下进行分解与重组。其形式为：
+\textbf{组合式调制}用于刻画多尺度结构特征。在复杂数据与任务场景中，不同尺度模式往往对应不同频率成分，需要在统一框架下进行分解与重组。其形式为：
 \begin{equation}
 \mathcal{M}_{\theta}(\mathbf{Z};\mathbf{X},\mathcal{R})
 =
@@ -203,40 +200,61 @@
 \mathbf{Z}_{s} \cdot g_{\theta,s}(\mathbf{X},\mathcal{R}),
 \label{eq:ch1_compositional}
 \end{equation}
-其中 $\mathbf{Z}_s$ 表示第 $s$ 个频段的表示分量。第五章的 CASCADE 方法采用此类形式。
+其中 $\mathbf{Z}_s$ 表示第 $s$ 个频段的表示分量。第六章的 CASCADE 方法采用此类形式。
 
-\textbf{结构分解调制}适用于刻画多任务场景下的共享与专用结构。在有限参数预算下，不同任务对模型容量的需求存在差异，需要在共享表示与任务特有表示之间进行分配。其形式为：
+\textbf{结构分解调制}用于刻画多任务场景下的共享与专用结构。在有限参数预算条件下，不同任务对模型容量的需求存在差异，需要在共享表示与任务特有表示之间进行分配。其形式为：
 \begin{equation}
 \mathcal{M}_{\theta}(\mathbf{Z};\mathbf{X},\mathcal{R})
 =
 \mathbf{Z} \cdot \left(\Delta\Theta_{shared} + \mathbf{m} \odot \Delta\Theta_{specific}\right),
 \label{eq:ch1_structural}
 \end{equation}
-其中 $\Delta\Theta_{shared}$ 与 $\Delta\Theta_{specific}$ 分别对应共享与专用参数增量。第五章的 MESSA 方法采用此类形式。
+其中 $\Delta\Theta_{shared}$ 与 $\Delta\Theta_{specific}$ 分别对应共享与专用参数增量。第六章的 MESSA 方法采用此类形式。
+
+上述三类调制形式对应不同结构异质性条件下的建模方式，并与后续方法体系形成如下对应关系，如表~\ref{tab:ch1_method_overview} 所示。
+
+\begin{figure}[htbp]
+\centering
+% 占位：待替换为外部绘制的 modulation_forms.pdf
+% \includegraphics[width=0.9\textwidth]{modulation_forms.pdf}
+\caption{三种结构感知调制形式的示意图。该图采用三列并排布局，每列对应一种调制形式：
+\textbf{左列}（乘性调制）：输入表示$\mathbf{Z}^{(\ell)}$经过条件化信号生成模块$\mathbf{S}_\theta(\mathbf{X},\mathcal{R})$产生逐元素调制信号，通过Hadamard乘法$\odot$作用于原始表示，输出调制后表示$\tilde{\mathbf{Z}}^{(\ell)}$。下方标注"HyCAM / RoSA / DyPAM"及"表示空间"。
+\textbf{中列}（组合式调制）：输入通过多个异构频域变换分解为$S$个频段分量$\mathbf{Z}_1, \mathbf{Z}_2, \ldots, \mathbf{Z}_S$，每个分量经路由权重$g_{\theta,s}$加权后通过$\bigoplus$重组。下方标注"CASCADE"及"参数空间"。
+\textbf{右列}（结构分解调制）：参数更新被分解为共享增量$\Delta\Theta_{shared}$和经掩码$\mathbf{m}$选择的专用增量$\Delta\Theta_{specific}$，二者相加后与输入表示相乘。下方标注"MESSA"及"参数空间"。
+三列顶部统一标注公式$\tilde{\mathbf{Z}}^{(\ell)}=\mathcal{M}_{\theta}(\mathbf{Z}^{(\ell)};\mathbf{X},\mathcal{R})$作为统一母式。每列使用与方法体系表一致的配色（表示空间青色调、参数空间橙色调）。}
+\label{fig:ch1_modulation_forms}
+\end{figure}
 
 \begin{table}[h]
     \centering
     \caption{本文方法体系与结构异质性的对应关系。}
     \label{tab:ch1_method_overview}
     \resizebox{0.95\linewidth}{!}{
-    \begin{tabular}{llllc}
+    \begin{tabular}{lllclc}
         \toprule
-        结构异质性类型 & 结构角色描述符 & 调制形式 & 对应方法 & 章节 \\
+        结构异质性类型 & 结构角色描述符 & 调制形式 & 适配空间 & 对应方法 & 章节 \\
         \midrule
-        模块级功能异质性     & $\mathcal{R}_{mod}$   & 乘性调制     & HyCAM           & 第三章 \\
+        模块级功能异质性     & $\mathcal{R}_{mod}$   & 乘性调制     & 表示空间 & HyCAM           & 第三章 \\
-        维度级位置结构异质性  & $\mathcal{R}_{dim}$   & 乘性调制     & RoSA, DyPAM     & 第四章 \\
+        维度级位置结构异质性  & $\mathcal{R}_{dim}$   & 乘性调制     & 表示空间 & RoSA            & 第四章 \\
-        频谱级多尺度异质性   & $\mathcal{R}_{spec}$  & 组合式调制   & CASCADE         & 第五章 \\
+        维度级位置结构异质性  & $\mathcal{R}_{dim}$   & 乘性调制     & 表示空间 & DyPAM           & 第五章 \\
-        参数级容量分配异质性  & $\mathcal{R}_{param}$ & 结构分解调制 & MESSA           & 第五章 \\
+        频谱级多尺度异质性   & $\mathcal{R}_{spec}$  & 组合式调制   & 参数空间 & CASCADE         & 第六章 \\
+        参数级容量分配异质性  & $\mathcal{R}_{param}$ & 结构分解调制 & 参数空间 & MESSA           & 第六章 \\
         \bottomrule
     \end{tabular}
     }
 \end{table}
+
+
 \subsection{结构异质性类型与本文方法体系}
 \label{subsec:method_system}
 
-基于上述统一框架，本文从时空数据的结构特性出发，将模型适配过程中涉及的结构异质性划分为四类，并构建了相应的方法体系，如表~\ref{tab:ch1_method_overview} 所示。
+基于上述统一框架，本文从模型内部结构特征出发，将模型适配过程中涉及的结构异质性划分为四类，并构建了相应的方法体系，如表~\ref{tab:ch1_method_overview} 所示。
 
-第三章从模块级功能差异出发，研究多任务场景下的表示调制问题；第四章进一步从表示维度层面分析位置结构所引入的异质性；第五章则从参数空间角度，分别从多尺度结构与容量分配两个方面对适配机制进行扩展。尽管各方法关注的结构层级不同，但在本节提出的统一框架下，均可理解为对表示流施加结构感知调制的不同实例化，从而形成由粗到细、由表示空间到参数空间的递进式建模路径。
+从调制作用对象的角度看，上述调制形式可以进一步作用于不同层级的适配空间，即表示空间与参数空间。\textbf{表示空间}层面的适配方法直接作用于模型前向计算过程中的中间表示流，通过对注意力输出、维度通道等表示成分施加输入条件化的调制信号，改变信息在后续层中的传播与组合方式；\textbf{参数空间}层面的适配方法则作用于权重更新结构本身，通过在频谱分解或稀疏分配等参数组织层面引入结构感知机制，以提升有限参数预算下的更新效率。前者关注模型对已有知识的调用方式，后者关注参数更新的组织方式。尽管参数空间方法直接作用于权重更新结构，其目标仍然是改善表示形成与传播过程，因此本文将二者统一纳入结构感知表征适配的研究范畴。
+
+在此划分下，本文的方法体系沿着由表示空间到参数空间的路径递进展开：第三至第五章在表示空间中，从模块级功能差异出发，逐步深入到维度级位置结构的静态选择与动态调制；第六章则转向参数空间，从多尺度频谱结构与参数容量分配两个方面对适配机制进行建模。
+
+综上，本文在统一的结构感知调制框架下，将模型适配刻画为在不同结构角色约束下对表示流与参数更新的非均匀调制过程，并据此形成由表示空间到参数空间逐层展开的方法体系。该框架为后续各章方法的设计与分析提供了统一的建模基础。
 
 \section{研究内容与技术路线}
 \label{sec:research_content}
@@ -244,88 +262,170 @@
 \subsection{主要研究内容}
 \label{subsec:research_content_detail}
 
-针对上述挑战，本文以城市时空数据的结构特性为导向，在第~\ref{sec:unified_framework}~节建立的统一分析框架下，系统研究面向时空智能任务的大语言模型结构感知适配方法，并构建相应的评测基础设施，以形成方法设计与系统验证相结合的研究闭环。
+针对前述大语言模型适配过程中存在的结构异质性问题，本文在第~\ref{sec:unified_framework}~节提出的统一分析框架下，从模型内部结构角色差异出发，对表示流调制与参数更新组织进行系统建模，构建面向复杂任务场景的结构感知适配方法体系。
 
-总体而言，本文围绕模型内部结构角色差异，从不同层级展开研究，主要包括以下四个方面：
+在统一形式化视角下，本文将模型适配理解为在结构角色描述符 $\mathcal{R}$ 约束下，对表示流与参数更新施加非均匀调制的过程。围绕这一建模思路，本文针对不同层级的结构异质性，设计相应形式的调制算子，并在表示空间与参数空间中形成相应的建模路径。本文的方法体系可概括为如下递进路径：
 
-（1）针对多任务时空建模中不同模块承担差异化功能的问题，研究模块级结构异质性（$\mathcal{R}_{mod}$），构建基于乘性调制的表示适配方法；
+\begin{center}
+模块级功能结构 $\rightarrow$ 维度级位置结构（静态 $\rightarrow$ 动态） $\rightarrow$ 参数空间结构（频谱 $\rightarrow$ 容量分配）
+\end{center}
 
-（2）针对位置编码引入的维度级结构差异问题，研究维度级结构异质性（$\mathcal{R}_{dim}$），构建面向位置结构的细粒度调制机制；
+从适配作用对象的角度看，本文进一步将结构感知适配问题划分为表示空间与参数空间两个层面，并在不同结构层级上展开系统研究。其中：
 
-（3）针对参数更新过程中的多尺度结构与容量分配问题，研究频谱级与参数级结构异质性（$\mathcal{R}_{spec}, \mathcal{R}_{param}$），构建组合式与结构分解调制方法；
+（1）在表示空间层面，针对模块级与维度级结构异质性，研究表示流中的非均匀调制机制，分别围绕模块功能角色差异与位置结构差异构建相应的乘性调制方法；
 
-（4）针对复杂时空任务缺乏统一评测环境的问题，构建面向多任务与多阶段验证的评测数据与实验基础设施。
+（2）在参数空间层面，针对权重更新过程中的多尺度结构与容量分配问题，围绕频谱级与参数级结构异质性构建组合式调制与结构分解调制方法，以提升有限参数预算下的适配效率。
 
-在上述总体框架下，本文的具体研究内容如下。
+在上述统一结构下，本文进一步将结构感知调制机制具体展开为一组相互关联的方法，主要研究内容包括以下四个方面。
 
-\textbf{研究内容一：基于模块功能角色感知的多任务时空表征适配方法（第三章）}
+\textbf{（1）基于模块功能角色感知的表示调制方法（HyCAM）}
 
-针对城市多任务时空建模中Transformer不同功能模块承担差异化角色的问题，本文从模块级结构异质性（$\mathcal{R}_{mod}$）出发，研究基于乘性调制的表示适配机制，并提出混合上下文注意力调制方法（Hybrid Contextual Attention Modulation, HyCAM）。
+针对多任务建模中不同计算模块承担差异化功能的问题，本文基于模块级结构异质性（$\mathcal{R}_{mod}$），在表示空间中构建乘性调制机制，提出混合上下文注意力调制方法（Hybrid Contextual Attention Modulation, HyCAM）。
 
-该方法基于如下认识：自注意力模块主要负责上下文依赖关系的动态建模，而前馈网络更多承担参数化知识表达功能，因此在适配过程中应优先对注意力表示进行定向调制，而非对所有模块施加均匀更新。基于此，本文构建上下文注意力调制（Contextual Attention Modulation, CAM）模块，通过通道级门控机制对自注意力输出进行输入条件化的乘性调制，以实现对关键表示成分的选择性增强或抑制。
+该方法利用自注意力模块与前馈网络在功能上的差异，对注意力表示施加输入条件化的通道级调制，并通过“共享调制—专用调制—动态路由”结构，实现多任务场景下知识共享与任务特化之间的结构化协调，从而提升模型在复杂任务条件下的协同建模能力。
 
-在此基础上，进一步设计"共享CAM—专用CAM—动态路由"的混合结构，其中共享模块用于建模跨任务的通用调制模式，专用模块用于刻画任务特定结构，动态路由机制根据输入上下文自适应地融合两类调制信号，从而在统一模型中实现知识共享与任务特化之间的平衡。
+\textbf{（2）基于位置结构感知的静态选择性表示适配方法（RoSA）}
 
-\textbf{研究内容二：基于位置结构感知的维度级时空表征适配方法（第四章）}
+针对位置编码在表示维度中引入的结构非均匀性，本文基于维度级结构异质性（$\mathcal{R}_{dim}$），在表示空间中构建静态、粗粒度的乘性调制机制，提出 RoPE 感知的选择性适配方法（RoPE-aware Selective Adaptation, RoSA）。
 
-针对位置编码在表示维度上引入的结构差异问题，本文从维度级结构异质性（$\mathcal{R}_{dim}$）出发，研究面向位置结构的细粒度表示调制方法。
+该方法通过刻画不同维度在位置结构建模中的功能差异，对关键维度进行定向增强，并结合层级选择策略实现跨层资源分配，在保持参数高效性的前提下提升模型对位置结构信息的利用能力。
 
-以旋转位置编码（RoPE）为例，其频率结构使不同维度承担不同的位置信息表达功能，从而导致注意力表示在维度空间中呈现显著的非均匀性。现有适配方法通常忽略这种结构差异，对所有维度施加同质化更新，难以充分利用位置结构信息。
+\textbf{（3）基于位置结构感知的动态细粒度表示调制方法（DyPAM）}
 
-为此，本文提出两类递进式方法。首先，提出RoPE感知的选择性适配方法（RoPE-aware Selective Adaptation, RoSA），通过构建RoPE感知注意力增强模块（RoAE）对关键维度进行定向增强，并结合动态层选择策略实现跨层级的资源分配。进一步地，提出动态位置注意力调制方法（Dynamic Positional Attention Modulation, DyPAM），将维度级适配由静态选择扩展为输入条件化的动态调制，通过低秩投影与维度嵌入机制生成与位置结构对齐的调制信号，从而在不同输入条件下实现更精细的结构感知建模。
+在静态选择性适配基础上，进一步考虑输入条件对表示结构的影响，将维度级适配扩展为输入依赖的动态调制问题。基于同一结构描述符（$\mathcal{R}_{dim}$），在表示空间中构建细粒度乘性调制机制，提出动态位置注意力调制方法（Dynamic Positional Attention Modulation, DyPAM）。
 
-\textbf{研究内容三：基于多尺度频谱结构与参数容量分配的适配方法（第五章）}
+该方法通过构造与位置结构对齐的调制信号，使不同维度的重要性能够随输入变化自适应调整，从而实现由“静态结构选择”向“动态结构调制”的递进式建模，提升模型对复杂输入条件的结构感知能力。
 
-在上述表示空间建模的基础上，本文进一步将研究视角扩展至参数空间，针对多尺度结构与容量分配问题，分别从频谱级结构异质性（$\mathcal{R}_{spec}$）与参数级结构异质性（$\mathcal{R}_{param}$）出发，构建相应的适配方法。
+\textbf{（4）面向参数空间的多尺度与容量分配结构感知适配方法（CASCADE 与 MESSA）}
 
-首先，针对权重更新中的多尺度特征，提出基于频谱级联的多尺度参数适配方法（Coarse-to-Fine Spectral Cascading, CASCADE）。该方法通过构建由低频与高频专家组成的异构结构，并通过级联调制机制建立不同频段之间的依赖关系，从而实现对全局趋势与局部细节的协同建模。
+在表示空间方法基础上，本文进一步将结构感知适配扩展至参数空间，分别从频谱结构与参数容量分配两个角度建模参数级结构异质性（$\mathcal{R}_{spec}, \mathcal{R}_{param}$）。二者分别对应参数空间中多尺度结构建模与容量分配建模的两个互补方向。
 
-其次，针对多任务场景中的参数容量分配问题，提出基于共享-特有稀疏分解的多任务适配方法（Multi-task Efficient Shared-Specific Sparse Adaptation, MESSA）。该方法将参数更新分解为跨任务共享部分与任务特有部分，通过可学习的结构门控实现参数在不同任务之间的自适应分配，从而在有限参数预算下提升多任务建模能力。
+针对权重更新中的多尺度特征，基于组合式调制形式，提出频谱级联的多尺度参数适配方法（Coarse-to-Fine Spectral Cascading, CASCADE），通过构建异构频段专家与级联调制机制，实现从全局趋势到局部细节的多尺度协同建模。
 
-\textbf{研究内容四：面向时空智能的大模型评测体系与实验基础设施（第六章）}
+针对多任务场景中的参数容量分配问题，基于结构分解调制形式，提出共享—特有稀疏分解的多任务适配方法（Multi-task Efficient Shared-Specific Sparse Adaptation, MESSA），通过结构化参数分解与预算感知分配机制，在有限参数条件下实现共享能力与任务特化能力之间的平衡。
 
-为支撑上述方法在复杂时空任务中的系统验证，本文进一步构建面向多任务与多阶段评估的实验基础设施。
+\textbf{（5）方法体系总结}
 
-一方面，构建AI驱动的交通预测持续评测框架AgentCity，通过多智能体协同机制实现模型集成、任务组织与评估流程的自动化，从而提升评测体系的可扩展性与持续更新能力。另一方面，构建时空敏感的兴趣点问答数据集POI-QA，通过引入空间位置与时间上下文信息，构建能够反映时空推理能力的评测任务，从而弥补现有数据集在复杂时空理解方面的不足。
+综上，本文在统一的结构感知调制框架下，构建了覆盖表示空间与参数空间的多层级适配方法体系。表示空间方法围绕模块级与维度级结构逐步细化，体现由粗粒度到细粒度的调制过程；参数空间方法则从多尺度结构与容量分配角度对适配过程进行结构化建模。上述方法共同形成面向复杂任务场景的大语言模型结构感知适配路径。
-
-上述评测体系与数据资源，为结构感知适配方法在真实城市时空场景中的验证提供了统一环境。
-
-综上，本文四项研究内容在统一框架下形成递进关系：研究内容一与二从表示空间出发，分别在模块级与维度级刻画结构角色差异；研究内容三进一步扩展至参数空间，从多尺度结构与容量分配角度进行建模；研究内容四则从评测基础设施角度提供系统验证支撑，从而形成面向时空智能建模的方法—数据—系统闭环。
 
 \subsection{整体技术路线}
 \label{subsec:technical_route}
 
-为系统开展面向复杂时空任务的表征学习研究，本文围绕城市时空数据的结构特征构建统一的分层建模技术路线，其总体框架如图~\ref{fig:tech_route}所示。
+为系统开展面向复杂任务场景的大语言模型结构感知表征适配研究，本文以模型内部结构异质性为出发点，构建统一的分层建模技术路线，其总体框架如图~\ref{fig:tech_route}所示。
+
+% TikZ 源码保留供参考，最终版本使用外部绘制的 PDF
+% \begin{figure}[htbp]
+% \centering
+% \begin{tikzpicture}[
+%   node distance=0.4cm,
+%   >={Stealth[length=2.5mm, width=1.8mm]},
+%   topbox/.style={rectangle, rounded corners=3pt, draw=black!50, fill=black!4,
+%     text width=13.5cm, align=center, inner sep=7pt, font=\small},
+%   fwbox/.style={rectangle, rounded corners=3pt, draw=blue!35!black, fill=blue!4,
+%     text width=13.5cm, align=center, inner sep=7pt, font=\small},
+%   spcbox/.style={rectangle, rounded corners=3pt, draw=#1!45!black, fill=#1!10,
+%     text width=6.2cm, minimum height=0.7cm, align=center, inner sep=5pt,
+%     font=\small\bfseries},
+%   mtdbox/.style={rectangle, rounded corners=3pt, draw=#1!35!black, fill=#1!5,
+%     text width=5.8cm, align=left, inner sep=5pt, font=\footnotesize},
+%   btmbox/.style={rectangle, rounded corners=3pt, draw=black!50, fill=black!4,
+%     text width=13.5cm, align=center, inner sep=6pt, font=\small},
+%   arr/.style={->, line width=0.7pt, draw=black!50},
+%   tlab/.style={font=\scriptsize, text=black!55, fill=white, inner sep=1.5pt},
+% ]
+% %% Row 1: Problem
+% \node[topbox] (prob) {
+%   {\bfseries 大语言模型内部多层级结构异质性}\\[2pt]
+%   模块功能分化\quad\textbullet\quad 维度位置结构差异\quad\textbullet\quad
+%   参数更新多尺度模式\quad\textbullet\quad 容量分配需求不均匀};
+% %% Row 2: Unified Framework
+% \node[fwbox, below=0.5cm of prob] (fw) {
+%   {\bfseries 结构感知表征适配统一分析框架}\\[3pt]
+%   $\tilde{\mathbf{Z}}^{(\ell)}=\mathcal{M}_{\theta}(\mathbf{Z}^{(\ell)};\mathbf{X},\mathcal{R})$\\[4pt]
+%   {\footnotesize $\mathcal{R}_{\mathrm{mod}}$\,（模块级）\quad
+%     $\mathcal{R}_{\mathrm{dim}}$\,（维度级）\quad
+%     $\mathcal{R}_{\mathrm{spec}}$\,（频谱级）\quad
+%     $\mathcal{R}_{\mathrm{param}}$\,（参数级）}\\[2pt]
+%   {\footnotesize 乘性调制\quad\textbullet\quad 组合式调制\quad\textbullet\quad 结构分解调制}};
+% %% Row 3: Space Labels (left=teal, right=orange)
+% \node[spcbox=teal] (rsp) at ($(fw.south)+(-3.45,-1.0)$) {表示空间（第三$\sim$五章）};
+% \node[spcbox=orange] (psp) at ($(fw.south)+(3.45,-1.0)$) {参数空间（第六章）};
+% %% Representation Space Methods
+% \node[mtdbox=teal, below=0.3cm of rsp] (hycam) {
+%   {\small\bfseries 第三章\enspace HyCAM}\\[1pt]
+%   $\mathcal{R}_{\mathrm{mod}}$\enspace$\cdot$\enspace 乘性调制\\
+%   模块级功能异质性\\ 共享/专用 CAM + 动态路由};
+% \node[mtdbox=teal, below=0.3cm of hycam] (rosa) {
+%   {\small\bfseries 第四章\enspace RoSA}\\[1pt]
+%   $\mathcal{R}_{\mathrm{dim}}$\enspace$\cdot$\enspace 乘性调制\\
+%   维度级位置结构（静态$\cdot$粗粒度）\\ 低频维度增强 + 动态层选择};
+% \node[mtdbox=teal, below=0.3cm of rosa] (dypam) {
+%   {\small\bfseries 第五章\enspace DyPAM}\\[1pt]
+%   $\mathcal{R}_{\mathrm{dim}}$\enspace$\cdot$\enspace 乘性调制\\
+%   维度级位置结构（动态$\cdot$细粒度）\\ 输入条件化调制 + 头级/层级偏置};
+% %% Parameter Space Methods
+% \node[mtdbox=orange, below=0.3cm of psp] (cascade) {
+%   {\small\bfseries 第六章\enspace CASCADE}\\[1pt]
+%   $\mathcal{R}_{\mathrm{spec}}$\enspace$\cdot$\enspace 组合式调制\\
+%   频谱级多尺度异质性\\ 异构频域专家 + 级联频谱调制};
+% \node[mtdbox=orange, below=0.3cm of cascade] (messa) {
+%   {\small\bfseries 第六章\enspace MESSA}\\[1pt]
+%   $\mathcal{R}_{\mathrm{param}}$\enspace$\cdot$\enspace 结构分解调制\\
+%   参数级容量分配异质性\\ 共享-特有分解 + 预算感知优化};
+% %% Row Bottom: Validation
+% \node[btmbox, below=0.6cm of dypam, xshift=3.45cm] (valid) {
+%   {\bfseries 实验验证}\quad 常识推理\enspace$\cdot$\enspace 数学推理\enspace$\cdot$\enspace
+%   多任务联合适配\enspace|\enspace 多骨干模型\enspace$\cdot$\enspace 多参数规模};
+% %% Arrows
+% \draw[arr] (prob) -- (fw);
+% \coordinate (fk) at ($(fw.south)+(0,-0.3)$);
+% \draw[line width=0.7pt, draw=black!50] (fw.south) -- (fk);
+% \draw[arr] (fk) -| (rsp.north); \draw[arr] (fk) -| (psp.north);
+% \draw[arr] (rsp) -- (hycam); \draw[arr] (psp) -- (cascade);
+% \draw[arr] (hycam) -- node[tlab, right=2pt] {模块级\,$\to$\,维度级} (rosa);
+% \draw[arr] (rosa) -- node[tlab, right=2pt] {静态\,$\to$\,动态} (dypam);
+% \draw[arr] (cascade) -- node[tlab, right=2pt] {互补视角} (messa);
+% \draw[arr] (dypam.south) -- (dypam.south |- valid.north);
+% \draw[arr] (messa.south) -- (messa.south |- valid.north);
+% \end{tikzpicture}
+% \end{figure}
 
 \begin{figure}[htbp]
 \centering
+% 占位：待替换为外部绘制的 tech_route.pdf
 % \includegraphics[width=0.9\textwidth]{tech_route.pdf}
-\caption{本文整体技术路线示意图。该图从时空数据的结构复杂性出发，展示了结构角色感知表征学习方法体系的层级化建模思路，包括模块级表示流调制、维度级结构敏感建模、多尺度参数更新机制以及参数结构优化策略，并进一步给出统一实验验证与评测体系在整体研究框架中的支撑作用。}
+\caption{本文整体技术路线示意图。该图采用自上而下的层级流程结构，共分为五层，见注释：}
+
+% \textbf{第一层}（问题层）为全幅横条，标注"大语言模型内部多层级结构异质性"，列出四类异质性——模块功能分化、维度位置结构差异、参数更新多尺度模式、容量分配需求不均匀。
+% \textbf{第二层}（框架层）为全幅横条（蓝色调），标注"结构感知表征适配统一分析框架"，包含统一调制算子公式$\tilde{\mathbf{Z}}^{(\ell)}=\mathcal{M}_{\theta}(\mathbf{Z}^{(\ell)};\mathbf{X},\mathcal{R})$，列出四类描述符$\mathcal{R}_{\mathrm{mod}}$/$\mathcal{R}_{\mathrm{dim}}$/$\mathcal{R}_{\mathrm{spec}}$/$\mathcal{R}_{\mathrm{param}}$与三种调制形式。
+% \textbf{第三层}（空间层）分为左右两列：左列标注"表示空间（第三\textasciitilde 五章）"（青色调），右列标注"参数空间（第六章）"（橙色调）。
+% \textbf{第四层}（方法层）在左列纵向排列三个方法卡片——第三章HyCAM（$\mathcal{R}_{\mathrm{mod}}$，乘性调制）、第四章RoSA（$\mathcal{R}_{\mathrm{dim}}$，静态粗粒度）、第五章DyPAM（$\mathcal{R}_{\mathrm{dim}}$，动态细粒度），卡片间用箭头连接并标注"模块级$\to$维度级"和"静态$\to$动态"；右列纵向排列两个方法卡片——第六章CASCADE（$\mathcal{R}_{\mathrm{spec}}$，组合式调制）和MESSA（$\mathcal{R}_{\mathrm{param}}$，结构分解调制），卡片间标注"互补视角"。
+% \textbf{第五层}（验证层）为全幅横条，标注"实验验证"，列出常识推理、数学推理、多任务联合适配、多骨干模型、多参数规模。
+% 各层之间用向下箭头连接，框架层通过分叉箭头分别指向左右两列空间。}
 \label{fig:tech_route}
 \end{figure}
 
-该技术路线以时空结构异质性分析为起点，首先从城市系统中的多任务耦合关系、位置依赖特征以及多尺度动态模式等结构属性出发，对时空建模问题进行系统刻画；在此基础上，通过第~\ref{sec:unified_framework}~节提出的统一分析框架，将时空结构特性映射为模型内部不同层级的结构角色差异，并据此设计相应的表示调制与参数适配方法。
+该技术路线以模型内部结构异质性分析为起点，从模块功能分工、位置编码引入的维度结构差异以及参数更新过程中的多尺度特征等方面，对模型内部结构属性进行系统刻画；在此基础上，依托第~\ref{sec:unified_framework}~节提出的统一分析框架，将上述结构特性抽象为不同层级的结构角色描述符，并据此构建相应的结构感知调制算子，从而形成由结构刻画到调制建模的统一技术路径。
 
-具体而言，在模块层面，研究表示在不同计算单元中的组织方式，通过结构感知调制机制增强模型对任务相关信息的表达能力；在维度与位置结构层面，刻画表示空间中的非均匀性特征，提升模型对空间依赖与时间动态的建模能力；在参数层面，进一步分析多尺度结构与容量分配对模型适配行为的影响，构建兼顾全局与局部特征的结构化更新机制。
+在上述框架下，本文沿表示空间与参数空间两个层面展开具体方法设计。在表示空间中，从模块级与维度级结构异质性出发，研究表示流中的非均匀调制机制，通过结构感知调制增强模型对关键信息的表达能力，并由静态选择逐步过渡到输入条件化的动态调制；在参数空间中，进一步从多尺度频谱结构与参数容量分配角度出发，构建结构化的参数更新机制，以提升有限参数预算下的适配效率与建模能力。
 
-在上述方法体系基础上，本文通过统一的实验组织与评测流程，对不同层级结构适配策略进行系统验证，并分析其在复杂时空任务中的协同作用。整体技术路线体现出由时空结构问题出发，经统一框架抽象，逐层展开方法设计，并最终通过评测基础设施完成验证的递进式研究路径，从而形成完整的时空智能建模研究闭环。
+在上述方法体系基础上，本文通过统一的实验组织与评测流程，对不同层级结构感知适配方法进行系统验证，并分析其在复杂任务场景中的协同作用。整体技术路线体现为：以结构异质性分析为起点，经统一框架抽象与分层方法设计，最终通过实验验证形成完整的结构感知适配研究闭环。
 
-%======================================================================
 \section{论文组织结构}
 \label{sec:organization}
 
-本文围绕复杂城市时空数据的结构特性，系统研究基础模型在多任务时空智能建模中的表征适配机制，并构建相应的评测基础设施。全文按照”问题提出—统一分析—方法设计—系统验证”的逻辑展开，各章节内容安排如下。
+本文围绕大语言模型内部的结构异质性特征，研究结构感知表征适配问题。全文在统一分析框架下，按照从问题建模到方法设计再到实验验证的逻辑展开，各章节内容安排如下。
 
-第一章为绪论，介绍研究背景与研究意义，梳理时空表征学习与模型适配领域的研究现状与关键问题，在此基础上提出面向时空数据的结构感知适配统一分析框架，并给出本文的研究内容与整体技术路线。
+第一章为绪论，介绍研究背景与研究意义，梳理大语言模型表示机制与结构感知适配领域的研究现状与关键问题，在此基础上提出面向大语言模型的结构感知适配统一分析框架，并给出本文的研究内容与整体技术路线。
 
-第二章为国内外研究现状，系统综述与本文研究相关的四类工作，包括时空数据建模与表征学习方法、基础模型与大语言模型表示机制、参数高效适配与结构建模方法以及时空智能数据与评测体系，并对现有研究的主要挑战进行总结分析。
+第二章为相关理论与研究现状，围绕大语言模型表示学习机制、参数高效微调方法以及结构异质性感知与多层级适配方法展开综述，并对现有研究的主要挑战进行系统分析。
 
-第三章针对多任务时空建模中的模块级结构异质性问题，研究基于模块功能角色差异的表征适配方法，构建上下文注意力调制机制及其扩展框架，以提升模型在多任务场景中的协同建模能力。
+第三章针对多任务建模中的模块级功能异质性（$\mathcal{R}_{mod}$）问题，在乘性调制形式下研究基于模块功能角色感知的多任务表征适配方法，构建上下文注意力调制机制及其混合扩展框架，以提升模型在多任务场景中的协同建模能力。
 
-第四章针对位置编码引入的维度级结构差异问题，研究位置结构驱动的各向异性表征学习方法，从表示维度与层级结构出发设计结构感知调制机制，以增强模型对复杂时空依赖关系的刻画能力。
+第四章针对位置编码引入的维度级位置结构异质性（$\mathcal{R}_{dim}$），在乘性调制形式下研究基于位置结构感知的静态选择性表征适配方法，通过对不同维度的重要性进行结构化刻画，并结合层级选择机制实现跨层资源分配，从而实现静态、粗粒度的位置结构感知适配。
 
-第五章面向多尺度动态模式与多任务容量分配问题，从参数空间视角出发研究多尺度结构建模与参数结构自适应方法，分别从频谱结构与参数分解两个方面构建适配机制，以提升模型在复杂场景下的整体建模能力。
+第五章在第四章静态选择性适配的基础上，继续聚焦维度级位置结构异质性（$\mathcal{R}_{dim}$），将适配机制由静态维度选择扩展为输入条件化的动态调制，并引入头级与层级结构偏置以刻画注意力结构差异，实现从粗粒度到细粒度的位置结构感知递进。
 
-第六章围绕复杂时空任务的评测需求，构建面向多任务与多阶段验证的实验基础设施，包括交通预测持续评测框架与时空敏感问答数据集，并在统一评测环境下对相关方法进行系统验证与分析。
+第六章将视角从表示空间转向参数空间，分别针对频谱级多尺度异质性（$\mathcal{R}_{spec}$）与参数级容量分配异质性（$\mathcal{R}_{param}$），在组合式调制与结构分解调制两种形式下，构建多尺度结构建模与容量分配建模的统一适配方法体系，包括基于异构频域专家级联的多尺度适配方法以及基于共享-特有稀疏分解的多任务适配方法，以提升有限参数预算下的适配效率与多任务协同能力。
 
-第七章为总结与展望，总结本文的主要研究内容与创新点，并结合时空智能建模与基础模型的发展趋势，对未来研究方向进行讨论。
+第七章为总结与展望，总结本文的主要研究内容与创新点，并结合大语言模型与结构感知适配的发展趋势，对未来研究方向进行讨论。

chap02.tex

@@ -1,365 +1,341 @@
 % !TeX root = ../main.tex
-% 第二章 国内外研究现状
+% 第二章 大语言模型表征适配的相关理论与研究进展
-\chapter{国内外研究现状}
+\chapter{大语言模型表征适配的相关理论与研究进展}
 \label{chap:related_work}
 
-本章围绕时空数据建模、基础模型表征机制及参数高效适配方法三个维度，对相关领域的研究现状进行系统梳理。在此基础上，对现有评测体系与数据资源进行分析，揭示当前研究在结构异质性建模、适配机制设计及评测支撑方面的不足，从而为后续章节提出的结构角色感知适配方法提供文献基础与问题定位。
+本章围绕大语言模型的架构基础、参数高效适配方法、多任务学习机制以及结构异质性感知建模四个方面，对相关领域的研究进展进行系统梳理。第~\ref{sec:rw_llm_arch}~节介绍 Transformer 架构、旋转位置编码、预训练范式以及模型内部功能分化的研究基础；第~\ref{sec:rw_peft}~节综述参数高效微调方法的主要类别及其均匀适配局限；第~\ref{sec:rw_multitask}~节梳理多任务学习与模块级功能适配的相关工作；第~\ref{sec:rw_structure_aware}~节回顾围绕维度级异质性、频谱结构与参数容量分配的结构感知适配研究。上述梳理为第~\ref{sec:unified_framework}~节提出的统一分析框架以及后续各章方法设计提供文献基础与问题定位。
-
-
-\section{时空数据建模与表征学习研究}
-\label{sec:rw_st_modeling}
-
-城市时空数据是刻画现实物理世界动态演化过程的基础信息载体。随着城市物联传感网络、移动互联终端以及地球观测基础设施的持续发展，时空数据呈现出多源异构、高维动态与流式持续等特征，其建模方法也经历了由显式统计建模向数据驱动表征学习的范式演进。本节围绕时空建模问题的任务类型、方法发展路径及数据结构特征等方面，对相关研究进行系统梳理，并从表征学习视角分析当前研究范式的演进趋势与面临的结构挑战。
-
-\subsection{时空数据建模问题类型与应用场景}
-\label{subsec:rw_st_problems}
-
-% 注：需补充到ref.bib: zheng2014urban (Yu Zheng, Urban Computing, ACM TIST 2014)
-城市时空数据建模通常面向多种实际应用需求，其核心目标在于通过对时间与空间维度上动态变化过程的建模，实现对复杂系统状态的理解、预测与优化。从城市计算的视角来看，时空数据来源涵盖交通传感器网络、移动终端定位数据、车辆轨迹数据、遥感卫星影像、兴趣点（POI）信息以及社交媒体地理标签等多种类型\cite{}。% 注：需补充到ref.bib: zheng2014urban (Zheng et al., Urban Computing: Concepts, Methodologies, and Applications, ACM TIST 2014)
-根据建模目标与任务形式的不同，相关研究可划分为若干典型问题类型。
-
-首先，\textbf{时空预测类任务}是当前研究最为广泛的方向。该类任务通常关注在给定历史观测数据的条件下，对未来某一时间范围内的系统状态进行估计，例如交通速度与流量预测\cite{METR_LA/PEMS_BAY,PEMSD4/8}、出行需求预测\cite{NYCTaxi/Bike}以及环境质量变化趋势分析等。此类任务对模型在捕获空间传播模式与时间依赖关系方面提出了较高要求。
-
-其次，\textbf{行为建模与轨迹分析类任务}逐渐成为研究热点。随着位置感知技术的普及，城市个体活动轨迹及群体行为模式能够被更为精细地刻画。通过对出行路径、停留行为及兴趣点访问模式等信息进行建模，可以为城市规划与服务优化提供重要参考\cite{DeepMove,START}。这类任务通常涉及离散空间事件序列的语义理解与多主体交互分析，对模型在空间语义推理方面的能力提出更高要求。
-
-此外，\textbf{决策支持与推理分析类任务}在近年来受到越来越多关注。例如，面向应急响应的路径规划、城市运行风险评估及公共设施选址优化等问题，往往需要在不确定环境中进行多阶段推理与策略评估。相比传统预测任务，这类问题不仅依赖对历史数据的建模，还要求模型具备一定的情境理解与逻辑推理能力\cite{CityBench}。
-
-总体而言，不同类型的时空建模任务在目标形式与评价方式上存在差异，但其共同特征在于：均需要在统一建模框架下刻画复杂系统在时间与空间维度上的动态演化规律。更为重要的是，上述任务类型在城市系统中往往并行存在，表现为多目标共存与多任务耦合的特征。这种多任务并存关系为模型适配提出了差异化的结构要求——不同任务可能共享部分底层结构信息，同时又在建模目标与侧重点上具有各自的特殊需求。
-
-
-\subsection{传统时空建模方法}
-\label{subsec:rw_traditional_st}
-
-% 注：需补充到ref.bib: cressie2011statistics (Cressie & Wikle, Statistics for Spatio-Temporal Data, Wiley 2011)
-% 注：需补充到ref.bib: tobler1970computer (Tobler, A Computer Movie Simulating Urban Growth, Economic Geography 1970)
-在深度学习技术广泛应用之前，时空数据建模主要依赖统计分析与数学建模方法。在时间维度上，自回归移动平均模型（ARIMA）及其扩展形式被广泛用于刻画时间序列中的线性趋势与周期性变化规律\cite{}。% 注：需补充到ref.bib: box2015time (Box et al., Time Series Analysis, 2015)
-在空间维度上，地理学第一定律——"一切事物都与其他事物相关联，但近处的事物比远处的事物更为相关"——为空间依赖关系的建模提供了基本出发点\cite{}。% 注：需补充到ref.bib: tobler1970computer (Tobler, A Computer Movie Simulating Urban Growth in the Detroit Region, Economic Geography 1970)
-基于此，空间自相关分析与地统计学方法被广泛用于描述不同区域之间的关联结构，例如克里金插值方法通过空间协方差模型对未采样位置进行最优预测\cite{}。% 注：需补充到ref.bib: cressie2011statistics (Cressie \& Wikle, Statistics for Spatio-Temporal Data, Wiley 2011)
-
-在时空联合建模方面，Cressie与Wikle提出的层次动态时空模型（Hierarchical Dynamic Spatio-Temporal Models）通过将不确定性分解为数据层、过程层与参数层三个层级，为时空数据的概率建模提供了系统化的理论框架\cite{}。% 注：需补充到ref.bib: cressie2011statistics (Cressie \& Wikle, Statistics for Spatio-Temporal Data, Wiley 2011)
-此外，卡尔曼滤波及其非线性扩展在动态系统状态估计中发挥了重要作用，通过状态方程与观测方程的递推更新实现对系统状态的连续跟踪\cite{}。% 注：需补充到ref.bib: kalman1960new (Kalman, A New Approach to Linear Filtering and Prediction Problems, ASME J. Basic Eng. 1960)
-
-上述传统方法的重要价值在于其可解释性与不确定性建模能力。层次化建模框架能够显式表征不同来源的不确定性，空间统计方法则为理解空间异质性提供了严谨的概念工具。然而，当城市系统规模不断扩大且运行模式愈发复杂时，传统方法在表达非线性关系与高维交互模式方面的能力逐渐受到限制。特别是在多任务耦合或多源数据融合场景中，依赖人工特征设计与显式概率假设的建模策略难以充分挖掘数据中的潜在结构信息。
-
-值得注意的是，传统时空统计方法所建立的核心概念——空间依赖、时间非平稳性、多尺度过程以及层次化不确定性——为后续深度表征学习中"结构归纳偏置"的设计提供了重要的理论先导。
-% TODO: 补充中文文献。建议添加：王劲峰等, 地理学时空数据分析方法, 地理学报 2014；或李德仁, 空间数据挖掘理论与应用(第3版), 科学出版社 2019
-
-
-\subsection{深度学习驱动的时空表征学习方法}
-\label{subsec:rw_dl_st}
-
-% 注：需补充到ref.bib: shi2015convolutional (Shi et al., ConvLSTM, NeurIPS 2015)
-% 注：需补充到ref.bib: li2018dcrnn (Li et al., DCRNN, ICLR 2018)
-% 注：需补充到ref.bib: yu2018stgcn (Yu et al., STGCN, IJCAI 2018)
-% 注：需补充到ref.bib: wu2019graph (Wu et al., Graph WaveNet, IJCAI 2019)
-% 注：需补充到ref.bib: zhou2021informer (Zhou et al., Informer, AAAI 2021)
-% 注：需补充到ref.bib: wu2021autoformer (Wu et al., Autoformer, NeurIPS 2021)
-% TODO: 补充中文文献。建议添加：贾兴利等, 交通预测中的时空图神经网络研究综述, 交通运输工程学报 2026, DOI:10.19818/j.cnki.1671-1637.2026.01.003
-随着深度学习技术的发展，基于神经网络的时空建模方法在过去十余年间取得了显著进展，其核心贡献在于将时空依赖关系转化为可学习的结构归纳偏置（inductive bias），从而实现了从人工特征设计向端到端表征学习的范式转变。按照所采用的空间结构假设，深度时空建模方法可大致沿三条主线加以梳理。
-
-\textbf{第一条主线}是基于栅格与场的时空建模方法。早期工作将城市空间划分为规则网格，通过卷积结构提取空间邻域特征，并结合循环网络捕获时间依赖关系。ConvLSTM等工作将卷积操作嵌入LSTM的门控结构中，实现了空间感知能力与时间记忆能力的算子级融合\cite{}。% 注：需补充到ref.bib: shi2015convolutional (Shi et al., Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting, NeurIPS 2015)
-然而，城市路网与传感器分布通常呈现不规则的非欧几里得结构，将其强制映射为网格会丢失真实的拓扑关系信息。
-
-\textbf{第二条主线}是基于图结构的时空表征学习方法，这一方向在2018年至2023年间逐渐成为交通预测等任务的主流范式。时空图神经网络（Spatio-Temporal Graph Neural Networks, STGNNs）将传感器或地理区域建模为图的节点，将物理连接或属性相似性建模为图的边，从而在非欧几里得空间中进行信息传播与表征聚合。DCRNN将交通流动态建模为有向图上的扩散过程，并与序列编解码结构相结合\cite{DGCRN}；% 注：li2018dcrnn
-STGCN则在频域上定义图卷积算子，通过全卷积结构取代循环计算\cite{}；% 注：需补充到ref.bib: yu2018stgcn (Yu et al., Spatio-Temporal Graph Convolutional Networks, IJCAI 2018)
-Graph WaveNet引入自适应邻接矩阵学习机制，允许模型在训练过程中通过节点嵌入自动发现潜在的空间依赖关系\cite{}。% 注：需补充到ref.bib: wu2019graph (Wu et al., Graph WaveNet for Deep Spatial-Temporal Graph Modeling, IJCAI 2019)
-后续工作进一步在动态图建模\cite{DSTAGNN}、多图融合\cite{DGCRN}以及多尺度时空表示\cite{STWave}等方面进行了深入探索。在注意力机制的引入方面，部分研究通过空间注意力与时间注意力的联合设计，实现了对不同节点和不同时间步特征的动态权重分配\cite{STAEformer}。此外，STID等工作从简洁建模的角度出发，指出在附加适当的时空嵌入信息后，简单的多层感知机即可取得与复杂图模型相当的预测性能，这一发现促使研究者重新审视时空表征学习中归纳偏置的作用方式\cite{STID}。在模型规模与效率方面，BigST针对大规模传感器网络提出了高效的时空建模方案\cite{BigST}；LightST则通过轻量化设计探索精度与效率之间的平衡\cite{LightST}。
-
-在上述监督学习范式之外，时空预训练方法的探索代表了该领域的另一重要方向。UniST通过统一的掩码预训练策略在多种时空数据集上构建通用时空表示\cite{UniST}；FlashST利用提示学习机制实现跨数据集的快速适配\cite{FlashST}；EasyST则通过教师-学生蒸馏框架降低时空预训练的计算成本\cite{EasyST}。这些工作标志着时空表征学习正在由"任务特定模型"向"通用预训练—下游适配"的范式过渡。然而，现有时空预训练方法在跨城市迁移与多任务联合建模方面仍面临挑战，其学习到的通用表示能否有效支撑结构复杂的城市智能任务，仍有待进一步验证。
-
-\textbf{第三条主线}是面向长序列预测的Transformer类方法。随着预测时间跨度与序列长度的增加，传统循环结构面临效率瓶颈与长程依赖建模困难。Informer通过稀疏注意力机制与蒸馏策略提升长序列预测效率\cite{}；% 注：需补充到ref.bib: zhou2021informer (Zhou et al., Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting, AAAI 2021)
-Autoformer则引入序列分解机制与自相关注意力，将趋势与季节性成分分离建模\cite{}。% 注：需补充到ref.bib: wu2021autoformer (Wu et al., Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting, NeurIPS 2021)
-此外，PatchTST\cite{PatchTST}、TimeMixer++\cite{TimeMixer++}等工作进一步探索了多粒度与多通道时序建模策略。
-
-上述三条主线虽然在空间结构载体与建模机制上存在差异，但在问题层面共享同一核心目标：如何在统一表示框架下有效刻画空间依赖、时间动态与尺度变化之间的交互关系。深度时空表征学习的演进可被理解为对结构归纳偏置的逐步显式化——从局部时空卷积到图结构传播，再到长上下文注意力建模。然而，现有方法大多围绕特定任务进行设计，所学习的表示与任务目标紧密耦合，在多任务协同与跨场景迁移方面仍面临泛化能力不足的问题。
-
-
-\subsection{时空建模中的结构复杂性问题}
-\label{subsec:rw_st_complexity}
-
-尽管深度时空表征学习方法在各类基准测试中取得了显著进展，但真实的城市时空系统所呈现的结构复杂性仍对现有方法构成根本性挑战。城市时空数据并非均匀分布的数值流，而是在多个维度上呈现出系统性的结构分化。具体而言，可从以下四个层面加以概括。
-
-\textbf{（1）多任务功能异质性。}
-城市系统中往往存在多任务高度共存的场景。例如，交通流量预测、出行需求估计与事件风险评估等任务虽然共享底层空间结构信息，但在建模目标与特征需求上存在差异\cite{standley2020tasks}。传统多任务建模方法通常采用硬共享底层网络的方式，容易导致任务间的负迁移与知识干扰\cite{yu2020gradient,liu2021conflict}。在城市多目标预测场景中，同时预测交通速度与流量两个密切相关的指标时，模型内部不同功能模块（如注意力层与前馈网络层）对两个任务的贡献可能存在显著差异——注意力模块更多承担跨区域空间关联的建模，而前馈网络则更多负责数值量程的映射。这种模块级的功能分工在均匀的参数共享策略下难以被有效利用。
-
-\textbf{（2）位置结构依赖与表示非均匀性。}
-城市活动在空间分布上具有显著的非均匀性，不同区域在功能属性与交互模式上存在差异。时空事件的发生位置赋予了输入序列中不同元素截然不同的语义权重。例如，城市中心商业区与郊区居住区在出行模式、客流密度及时间分布上呈现出截然不同的规律，而位于交通枢纽的传感器节点往往比普通路段节点承载更为丰富的空间传播信息。然而，现有模型在表征聚合过程中往往缺乏对这种位置结构的显式感知，使得关键的空间位置信息在层层传递中被过度平滑\cite{DSTAGNN}。在大语言模型的位置编码机制下，这种非均匀性进一步体现为不同表示维度对空间位置信息的差异化编码能力。
-
-\textbf{（3）多尺度动态模式。}
-城市运行过程通常同时包含稳定的周期性变化与随机扰动事件。例如，日常出行模式体现为相对平稳的时间周期结构（早晚高峰、周末效应），而突发事件（如交通事故、极端天气、大型活动）又会在短时间尺度内引发显著波动\cite{STWave}。从频谱分析的角度来看，低频分量对应全局趋势与周期结构，高频分量对应局部扰动与事件驱动变化。单一时间感受野的建模方式难以兼顾跨尺度的频谱特征，而深度网络在训练中普遍存在的频谱偏置——优先拟合低频分量、对高频细节学习缓慢——进一步加剧了这一问题。
-
-\textbf{（4）多源差异与容量分配冲突。}
-跨模态的时空数据在信息密度与噪声分布上存在差异。例如，交通传感器提供的高频数值流与社交媒体地理标签提供的稀疏事件信号在数据特性上截然不同，而深度模型在参数容量分配上通常是静态的，无法根据数据源的异质性进行自适应调控。在多任务适配场景下，有限的可训练参数需要在不同任务间进行分配，如何确定哪些参数应当跨任务共享、哪些应当任务特有，成为影响适配效果的关键问题。
-
-上述结构复杂性表明，试图用均匀的网络结构同等对待所有时空输入特征的做法，不可避免地会导致关键结构信号的淹没或模型容量的低效利用。
-% TODO: 补充中文文献。建议添加：朱庆、傅晓, 多模态时空大数据可视分析方法综述, 测绘学报 2017；或 自然资源时空大数据挖掘与知识服务研究进展, 地球信息科学学报 2025, DOI:10.12082/dqxxkx.2025.240625
-这一问题不仅是传统深度时空模型的瓶颈，也为后续将大语言模型引入时空建模后，设计结构感知的适配机制提供了直接动机。从第~\ref{sec:unified_framework}~节所建立的分析框架来看，上述四类结构复杂性分别对应了模块级（$\mathcal{R}_{mod}$）、维度级（$\mathcal{R}_{dim}$）、频谱级（$\mathcal{R}_{spec}$）与参数级（$\mathcal{R}_{param}$）四个层面的结构异质性。
 
 
 %======================================================================
-\section{基础模型与大语言模型表征机制研究}
+\section{大语言模型架构基础与表示机制}
-\label{sec:rw_foundation_model}
+\label{sec:rw_llm_arch}
 
-近年来，以Transformer为代表的基础模型在自然语言处理与多模态学习领域取得了显著进展。其强大的表示能力与跨任务泛化性能为复杂系统建模提供了新的技术路径。本节从表示学习机制、预训练范式及复杂任务建模能力等方面，对基础模型与大语言模型的相关研究进行系统梳理，并探讨其在时空智能领域的初步应用与面临的适配挑战。
+本节从架构、位置编码、预训练范式与模型内部功能分化四个方面，介绍大语言模型的表示学习基础，为后续方法章节提供统一的技术背景。
 
-\subsection{Transformer表示学习机制}
+%----------------------------------------------------------------------
-\label{subsec:rw_transformer}
+\subsection{Transformer 架构与核心计算流程}
+\label{subsec:rw_transformer_arch}
 
-Transformer架构通过引入自注意力机制，摒弃了循环神经网络的序列递归计算范式，实现了对序列内部全局依赖关系的高效并行建模\cite{vaswani2017attention}。给定第$\ell$层的输入隐藏表示$\mathbf{H}^{(\ell-1)} \in \mathbb{R}^{T \times d}$，自注意力模块首先通过线性投影生成Query、Key和Value矩阵$\mathbf{Q}^{(\ell,h)}, \mathbf{K}^{(\ell,h)}, \mathbf{V}^{(\ell,h)}$（其中$h$为多头索引），随后通过缩放点积计算注意力权重，实现对上下文信息的加权聚合。
+Transformer 架构通过引入自注意力机制，实现了对序列内部全局依赖关系的并行建模，已成为当前大语言模型的基础架构\cite{vaswani2017attention}。现代大语言模型（如 LLaMA\cite{touvron2023llama}、Qwen\cite{bai2023qwen}）普遍采用仅解码器（decoder-only）架构，由 $L$ 层 Transformer 块堆叠而成。每一层包含多头自注意力（Multi-Head Self-Attention, MHSA）模块与前馈网络（Feed-Forward Network, FFN）模块，并采用预归一化（Pre-LN）结构与残差连接。为保证自回归生成的因果性，模型引入下三角因果掩码（causal mask），使每个 token 仅能观测到其前驱上下文。
 
-从模型内部的功能分工来看，近年来的机制可解释性研究揭示了Transformer架构中注意力模块与前馈网络之间存在系统性的角色分化。Geva等人的研究表明，前馈网络可被视为键值记忆存储结构，其参数矩阵中编码了训练语料中的知识模式\cite{geva2021transformer}。Dong等人进一步指出，注意力模块更侧重于执行上下文信息的检索与路由功能，而前馈网络则承担知识存储与模式匹配的作用\cite{dong2025attention}。此外，对多头注意力的分析表明，不同注意力头在功能上存在差异化分工，部分头侧重局部位置模式，部分头侧重全局语义依赖\cite{voita2019bottom,michel2019sixteen}。层级维度上，浅层表示更侧重局部模式建模，深层表示更倾向于捕获全局语义关系\cite{belinkov2018evaluating}。
+给定第 $\ell$ 层的输入隐藏表示 $\mathbf{H}^{(\ell-1)} \in \mathbb{R}^{T \times d}$（其中 $T$ 为序列长度，$d$ 为隐藏维度），该层的计算过程可概括为：
+\begin{equation}
+\bar{\mathbf{H}}^{(\ell)} = \mathrm{LayerNorm}(\mathbf{H}^{(\ell-1)}),
+\end{equation}
+\begin{equation}
+\mathbf{H}_{att}^{(\ell)} = \mathrm{MHSA}(\bar{\mathbf{H}}^{(\ell)}) + \mathbf{H}^{(\ell-1)},
+\end{equation}
+\begin{equation}
+\mathbf{H}^{(\ell)} = \mathrm{FFN}(\mathrm{LayerNorm}(\mathbf{H}_{att}^{(\ell)})) + \mathbf{H}_{att}^{(\ell)}.
+\end{equation}
 
-在位置信息编码方面，旋转位置编码（RoPE）通过将绝对位置映射为复平面上的旋转角度，使模型在注意力计算中能够内在地感知相对位置偏移\cite{su2024roformer}。不同维度对被赋予不同频率的旋转角度，这一机制导致表示在维度空间中呈现出系统性的频率结构。ALiBi则采用注意力偏移方式引入位置信息\cite{press2021train}。这些位置编码机制不仅影响模型的长序列外推能力，更在表示空间中引入了与频率结构相关的非均匀特性——不同维度承担不同频率范围的信息编码功能。
+在多头自注意力模块中，输入表示经线性投影生成 Query、Key、Value 矩阵，并按注意力头数 $H$ 分割为 $d_h = d/H$ 维的子空间。第 $h$ 个注意力头的计算为：
+\begin{equation}
+\mathrm{Attention}^{(h)}(\mathbf{Q}^{(h)}, \mathbf{K}^{(h)}, \mathbf{V}^{(h)}) = \mathrm{softmax}\!\left(\frac{\mathbf{Q}^{(h)} \mathbf{K}^{(h)\top}}{\sqrt{d_h}}\right) \mathbf{V}^{(h)}.
+\label{eq:ch2_attention}
+\end{equation}
+各头输出拼接后经线性投影得到 MHSA 最终输出。现代大语言模型还广泛采用分组查询注意力（Grouped Query Attention, GQA）以在保持模型容量的同时降低推理开销\cite{ainslie2023gqa}。
 
-从时空建模需求来看，Transformer的上述机制特征——模块功能分化、头与层的角色差异以及位置编码引入的维度级结构——构成了理解模型内部结构角色异质性的重要基础，也为后续设计结构感知的适配方法提供了机制层面的支撑。
+前馈网络模块通常采用门控线性单元（Gated Linear Unit）结构，以 SwiGLU 为典型代表：
+\begin{equation}
+\mathrm{FFN}(\mathbf{x}) = (\mathrm{SiLU}(\mathbf{x}\mathbf{W}_1) \odot \mathbf{x}\mathbf{W}_3) \mathbf{W}_2,
+\end{equation}
+其中 $\mathbf{W}_1, \mathbf{W}_2, \mathbf{W}_3$ 为可学习参数矩阵。FFN 在参数规模上通常占据 Transformer 块的三分之二以上，在模型表示能力中发挥重要作用。
 
+从信息流动角度看，残差连接不仅缓解了深层网络的梯度消失问题，更重要的是将 Transformer 的前向计算转化为对中心残差流（residual stream）的迭代细化过程——每一层的 MHSA 与 FFN 都可以被理解为对残差流中隐藏状态的加性更新。层归一化则负责在每次更新前后对特征分布进行重整，确保表示空间的统计稳定性。因此，Transformer 的表示形成过程由注意力、前馈、残差与归一化等多个功能组件协同完成，而非单一均匀结构，这为后续从模块、维度与参数空间分析适配问题提供了结构基础。
 
-\subsection{预训练基础模型与表示迁移学习}
+\begin{figure}[htbp]
-\label{subsec:rw_pretrain}
+\centering
+% 占位：待替换为外部绘制的 2_transformer_block.pdf
+% \includegraphics[width=0.75\textwidth]{assets/2_transformer_block.pdf}
+\caption{基于Pre-LN结构的Transformer解码器块示意图。该图展示单个Transformer层的完整计算流程：
+输入隐藏状态$\mathbf{H}^{(\ell-1)}$首先经LayerNorm归一化，进入多头自注意力（MHSA）模块，其中Query/Key经RoPE旋转后计算带因果掩码的缩放点积注意力，Value不经旋转直接参与加权聚合；MHSA输出经残差连接后再经LayerNorm，进入采用SwiGLU结构的前馈网络（FFN）模块，最终经残差连接输出$\mathbf{H}^{(\ell)}$。
+图中应标注以下结构异质性关注点：（1）MHSA与FFN之间的功能分工（上下文路由 vs 知识存储）标注为$\mathcal{R}_{mod}$；（2）MHSA内部不同维度对的RoPE频率差异标注为$\mathcal{R}_{dim}$；（3）权重矩阵$\mathbf{W}$上的参数更新结构标注为$\mathcal{R}_{spec}$/$\mathcal{R}_{param}$。}
+\label{fig:ch2_transformer_block}
+\end{figure}
 
-% 注：需补充到ref.bib: devlin2019bert (Devlin et al., BERT, NAACL 2019)
+%----------------------------------------------------------------------
-预训练—微调范式是基础模型取得成功的重要技术路径。通过在大规模通用数据上进行自监督学习，模型能够构建具有较强表达能力的通用表示空间。BERT通过掩码语言建模构建双向语境表示\cite{}，% 注：需补充到ref.bib: devlin2019bert (Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, NAACL 2019)
+\subsection{旋转位置编码与位置信息建模}
-GPT系列模型则通过自回归预训练获取生成式语言建模能力\cite{brown2020language}。这种大规模预训练策略使模型能够在下游任务中实现高效迁移，降低了任务特定模型设计的复杂度\cite{bommasani2021opportunities}。
+\label{subsec:rw_rope}
 
-随着这一范式的成功向其他数据模态扩展，时间序列与时空领域亦开始探索基础模型的构建路径。时间序列基础模型试图通过在海量时序数据上进行预训练，学习跨数据集可共享的通用时序表示\cite{hu2023llm}。% 注：需补充到ref.bib: liang2024foundation (Liang et al., Foundation Models for Time Series Analysis, KDD Tutorial 2024)
+自注意力机制本身具有置换不变性，不编码任何序列顺序信息，因此需要外部机制将位置信息注入注意力计算。早期工作采用绝对位置嵌入或基于正弦函数的固定编码\cite{vaswani2017attention}，但这些方法在长序列外推方面存在局限。旋转位置编码（Rotary Position Embedding, RoPE）通过对 Query 和 Key 向量施加位置相关的旋转变换来编码相对位置关系，已被 LLaMA、Qwen、Mistral 等主流大语言模型广泛采用\cite{su2024roformer}。
-% 注：需补充到ref.bib: ansari2024chronos (Ansari et al., Chronos, arXiv 2024)
-从技术路线来看，时序基础模型可分为两类：一类是从零开始在大规模时序数据上训练的专用模型，通过掩码重构或对比学习等自监督策略提取通用时序分布特征；另一类则是将已有的大语言模型"重编程"为时序预测器，通过输入对齐或嵌入映射使语言模型的表示空间适应数值时序数据。前者在领域适应性方面具有优势，后者则利用了语言模型已有的推理能力与世界知识。
 
-在时空领域，UniST等工作尝试构建统一的时空预训练框架，通过掩码预训练策略在多种城市数据集上学习通用时空表示\cite{UniST}；FlashST通过提示学习机制实现跨数据集的快速适配\cite{FlashST}。这些工作标志着时空基础模型的研究正在从"任务特定建模"向"通用表示构建"的方向发展。
+具体而言，RoPE 将每个注意力头向量 $\mathbf{z} \in \mathbb{R}^{d_h}$（$d_h$ 为偶数）的维度两两配对，将每对 $(z_{2i}, z_{2i+1})$ 视为复数分量，施加依赖于位置 $t$ 和维度索引 $i$ 的二维旋转：
+\begin{equation}
+\mathrm{RoPE}(z_{2i}, z_{2i+1}; t) =
+\begin{bmatrix}
+\cos \theta_i t & -\sin \theta_i t \\
+\sin \theta_i t & \cos \theta_i t
+\end{bmatrix}
+\begin{bmatrix}
+z_{2i} \\
+z_{2i+1}
+\end{bmatrix},
+\label{eq:ch2_rope}
+\end{equation}
+其中旋转频率 $\theta_i = \omega^{-2i/d_h}$，$\omega$ 为基础频率常数（通常取 $10000$，在支持长文本的模型中可扩展至更大值）。该设计使不同维度对的旋转频率按几何级数递减：低索引维度对对应高频旋转，编码局部位置差异；高索引维度对对应低频旋转，编码全局上下文依赖。
 
-然而，预训练迁移学习的核心假设——存在跨任务可共享的中间表征——在时空任务中面临特殊挑战。一方面，时空数据的结构性输入（坐标、拓扑关系、多模态属性等）与通用语料存在显著差异，简单的格式对齐难以保证结构信息的有效传递；另一方面，时空任务在评测目标上从数值预测扩展到推理一致性与决策可执行性，使得"迁移什么、如何迁移"成为需要重新审视的问题。因此，时空场景下的表示迁移不仅需要参数层面的适配，更需要考虑模型内部表示结构与时空数据结构特征之间的协调。
+RoPE 最显著的特性在于其呈现出一种频率分解结构（frequency decomposition structure）。经旋转后两个位置 $t_1$ 与 $t_2$ 之间的注意力得分仅依赖于它们的相对位置差 $t_1 - t_2$，且不同维度对在注意力得分中的贡献随相对距离呈现截然不同的衰减模式：低频维度对即使在较长距离上仍能维持较高的注意力得分，而高频维度对的注意力随距离迅速衰减\cite{barbero2024round}。近年的进一步分析还从频谱视角指出，RoPE 的位置—内容耦合实质上对应一种相位调制过程，使其不仅是"给序列加位置"，而是在表示空间中塑造了具有频率结构的几何变换。这种多尺度的位置响应特性使同一表示向量中不同维度对在位置信息编码中承担不同功能角色，构成了维度级位置结构异质性的直接来源。
 
+除 RoPE 之外，ALiBi\cite{press2021train} 通过在注意力分数上施加线性距离偏移实现位置建模，不直接修改表示向量，在长度外推方面具有特定优势。可学习绝对位置嵌入则依赖训练长度范围内的位置索引，通常在外推性上不如相对位置方法。由于 RoPE 在当前主流大语言模型中的广泛应用及其对模型内部表示结构的深刻影响，本文后续第四、五章的方法均以 RoPE 机制为基础展开设计。
 
-\subsection{大语言模型在复杂任务建模中的潜力}
+\begin{figure}[htbp]
-\label{subsec:rw_llm_potential}
+\centering
+% 占位：待替换为外部绘制的 2_rope_frequency.pdf
+% \includegraphics[width=0.85\textwidth]{assets/2_rope_frequency.pdf}
+\caption{RoPE旋转位置编码的频率分解结构示意图。该图分为三个子图：
+\textbf{（a）维度对旋转频率}：横轴为维度对索引$i$，纵轴为旋转频率$\theta_i = \omega^{-2i/d_h}$（对数刻度），展示频率随维度索引几何递减的趋势，标注低索引=高频（局部位置敏感）与高索引=低频（全局依赖）两个区域。
+\textbf{（b）位置响应衰减曲线}：横轴为相对位置距离$|t_1 - t_2|$，纵轴为注意力得分贡献，绘制3--4条代表性维度对的衰减曲线（高频对快速衰减、低频对缓慢衰减），直观展示不同维度对的多尺度位置感知特性。
+\textbf{（c）维度对旋转示意}：选取一个高频维度对和一个低频维度对，在复平面上展示位置$t$从$0$到$T$时向量旋转轨迹的差异——高频对旋转多圈、低频对仅旋转小角度。}
+\label{fig:ch2_rope_frequency}
+\end{figure}
 
-随着模型规模与训练数据量的持续扩大，大语言模型在复杂任务环境中展现出显著能力。GPT-4\cite{achiam2023gpt}、LLaMA系列\cite{touvron2023llama,dubey2024llama}以及Qwen系列\cite{bai2023qwen,team2024qwen2}等模型不仅在语言理解与生成任务中表现出色，还在多步推理、上下文学习以及跨任务知识迁移方面展现出良好潜力。
+%----------------------------------------------------------------------
+\subsection{预训练范式与大语言模型的表示能力}
+\label{subsec:rw_pretrain_paradigm}
 
-对于时空智能领域而言，大语言模型的潜在价值可从三个维度加以分析。\textbf{第一}，地理知识可提取性。研究表明，大语言模型在其参数空间中隐式编码了关于空间位置、区域属性及地理关系的知识\cite{feng2024citygpt}。% 注：需补充到ref.bib: manvi2024geollm (Manvi et al., GeoLLM: Extracting Geospatial Knowledge from Large Language Models, ICLR 2024)
+现代大语言模型遵循"海量预训练—任务适配/对齐"的基本范式。通过在包含数万亿词元的大规模语料上进行自回归下一词预测训练，模型在统一的参数体系中构建具有较强表达能力的通用表示空间。BERT 通过掩码语言建模构建双向语境表示\cite{devlin2019bert}；% 注：需补充到ref.bib: devlin2019bert (Devlin et al., BERT, NAACL 2019)
-% TODO: 建议补充 Gurnee & Tegmark, Language Models Represent Space and Time, arXiv:2310.02207, 2023 —— 该工作实证表明LLM内部自发形成了空间与时间的线性表征结构，是LLM空间认知能力的重要实证支撑
+GPT 系列模型展示了随模型规模扩展而出现的强 few-shot 与 in-context learning 能力\cite{brown2020language}。随着模型规模的持续扩展，以 LLaMA\cite{touvron2023llama}、Qwen\cite{bai2023qwen} 和 Gemma\cite{gemma_2025} 为代表的开源大语言模型在语言理解、知识表达、多步推理与代码生成方面展现出显著能力。
-通过适当的提示策略或微调，可以从模型中提取地理相关的语义信息。\textbf{第二}，长程依赖建模与推理能力。大语言模型在处理长上下文序列时所表现出的能力，使其在刻画跨区域关联与跨时间尺度动态关系方面具有潜在优势。\textbf{第三}，工具调用与工作流执行能力。结合代码生成与工具调用机制，大语言模型可用于构建面向空间分析任务的自动化工作流\cite{}。% 注：需补充到ref.bib: zhang2025geoanalystbench (Zhang et al., GeoAnalystBench: A GeoAI Benchmark for Assessing LLMs for Spatial Analysis Workflow and Code Generation, arXiv:2509.05881)
 
-然而，大语言模型的上述潜力并不等同于对时空任务的有效建模能力。模型原本为处理一维离散语言符号设计，当面对具有强时空周期性、复杂图拓扑以及跨尺度波动的多任务时空数据时，简单地将时空信息转化为文本序列进行处理，难以保证结构信息的准确传递与利用。因此，如何在保持预训练知识的基础上，使模型内部表示与时空数据的结构特征相协调，成为将大语言模型有效引入时空建模的关键问题。
+大规模预训练使模型在表示空间中形成了高度抽象的通用知识结构，各层中间表示不仅捕获了浅层的词法与句法信息，还蕴含了深层的语义共现、常识推理乃至高阶逻辑关系\cite{bommasani2021opportunities}。然而，预训练能力强并不意味着可以直接替代任务适配：预训练目标与下游任务目标并不完全一致，面向特定领域、特定格式或特定推理模式的能力往往需要通过监督信号或偏好信号进行再组织；更重要的是，当模型规模达到百亿级别时，全参数微调不仅面临极高的计算与存储开销，还极易破坏预训练阶段积累的通用知识结构，导致灾难性遗忘（catastrophic forgetting）与表征退化。
 
+因此，预训练模型提供的是强大的通用表示底座，而非自动完成任务特化的终点。真正决定这些预训练能力能否被有效调用的，仍然是适配机制如何作用于模型内部表示与参数结构。如何以极低的参数预算在保持通用知识的前提下实现高效任务特化，成为当前研究的核心课题。
 
-\subsection{大模型在时空智能领域的初步探索}
+%----------------------------------------------------------------------
-\label{subsec:rw_llm_st}
+\subsection{模型内部的功能分化与结构异质性}
+\label{subsec:rw_functional_differentiation}
 
-近年来，学术界已开始积极探索将大语言模型应用于城市计算与时空智能任务。从适配策略来看，现有工作可从以下几个方面加以归纳。
+越来越多的研究表明，Transformer 并非功能均匀的整体，其内部不同组件在信息处理中承担着差异化的角色。这些发现构成了理解模型结构异质性的重要基础。
 
-在\textbf{特征对齐与表示增强}方面，UrbanGPT将轻量级时空依赖编码器与大语言模型的指令微调范式相结合，通过构建时空指令集实现零样本跨城市预测\cite{}。% 注：需补充到ref.bib: li2024urbangpt (Li et al., UrbanGPT, KDD 2024)
+\textbf{模块间的功能分化。}Geva 等人的开创性工作将前馈网络的两层线性映射解构为键值记忆结构：第一层权重（keys）负责识别输入残差流中的局部概念模式，第二层权重（values）则负责提取并注入与该模式相关的特征\cite{geva2021transformer}。Dong 等人从注意力与前馈网络的协同角度出发，揭示了二者在上下文信息路由与知识存储方面的互补关系\cite{dong2025attention}。Bogoychev 等人的参数冻结与消融实验进一步证实，冻结不同网络结构单元（嵌入层、注意力层或 FFN 层）会对模型性能造成完全不同程度的影响，从侧面说明"并非所有参数对任务贡献均等"\cite{}。% 注：需补充到ref.bib: bogoychev2021not (Bogoychev, Not All Parameters Are Born Equal: Attention Is Mostly What You Need, BlackboxNLP 2021)
-该工作通过将时空编码器的输出对齐到语言模型的嵌入空间，使模型能够在不同城市与不同任务之间进行知识迁移。CityGPT将城市空间信息嵌入语言模型的认知框架中，增强模型对城市功能区的理解能力\cite{feng2024citygpt}。BigCity通过统一数据格式与提示设计，将多种时空任务纳入单一模型进行联合处理\cite{yu2025bigcity}。VecCity则从城市实体表示学习的角度出发，为不同粒度的空间单元构建统一的向量表示\cite{zhang2024veccity}。
+这些发现表明，自注意力模块主要承担上下文关系的动态组织与信息路由功能，而前馈网络更多承担参数化知识表达与非线性映射功能。
 
-在\textbf{提示工程与跨域适配}方面，部分研究尝试通过文本提示的设计将时空信息转化为语言模型可处理的格式。例如，STLLM等工作将时空图网络提取的结构特征转化为模型可处理的嵌入表示\cite{STLLM}。在轨迹与移动性建模方面，PLMTrajRec利用预训练语言模型的序列建模能力进行轨迹恢复\cite{PLMTrajRec}；POI-Enhancer等工作则探索将大语言模型的语义能力用于增强兴趣点表示学习\cite{cheng2025poi}。这些工作在不同程度上验证了语言模型所蕴含的世界知识对时空任务的潜在支撑作用。
+\textbf{层间的角色梯度。}Belinkov 等人通过探针（probing）实验表明，浅层表示更多编码词汇与句法层面的局部信息，深层表示则更多反映语义与推理层面的全局关系，呈现出类似传统 NLP 流水线的层级进展\cite{belinkov2018evaluating}。这种层级功能梯度意味着不同深度的层对参数更新的需求强度与方式可能存在系统性差异——浅层可能更多需要局部模式的校准，深层可能更多需要语义关系的重组。
 
-在\textbf{评测与基准构建}方面，CityBench通过覆盖多城市、多任务的评测框架，系统评估大语言模型在城市任务中的能力边界\cite{CityBench}。USTBench将时空推理能力分解为理解、预测、规划与反思四个维度进行细粒度评估\cite{USTBench}。STBench则侧重于空间与时间信息的联合理解能力测试\cite{STBench}。这些评测工作揭示出当前大语言模型在空间拓扑推理与时间周期性建模方面仍存在明显不足。
+\textbf{头间的功能差异。}在多头注意力层面，Voita 等人发现不同注意力头在功能上存在明确分工，包括位置敏感头、语法关系头与稀有词汇头等不同类型\cite{voita2019bottom}；Michel 等人的剪枝实验进一步表明，大量注意力头在推理阶段可被移除而不显著影响模型性能，暗示头之间存在功能冗余与角色差异\cite{michel2019sixteen}。在更深入的机制可解释性（mechanistic interpretability）研究中，Olsson 等人识别出与 in-context learning 能力增长密切相关的 induction heads，表明部分注意力头可被归纳为具有明确算法功能的"电路"（circuits）组件\cite{}。% 注：需补充到ref.bib: olsson2022context (Olsson et al., In-context Learning and Induction Heads, Anthropic 2022)
+这些发现强化了"模型内部存在可分解子结构与角色分工"的认识。
 
-上述工作的一个共同特征值得关注：无论是特征对齐、提示工程还是指令微调，现有方法在将时空信息输入大语言模型时，主要关注输入端的格式转换与表示对齐，而较少涉及模型内部表示结构在处理时空信息时的功能组织方式。具体而言，注意力模块与前馈网络在时空推理中是否承担不同角色、不同维度是否对空间位置与时间周期信息具有差异化的敏感性、参数更新在不同频谱成分上是否需要差异化策略——这些问题在现有文献中尚未得到系统研究。这一观察表明，从模型内部结构出发设计适配机制，构成了将大语言模型有效应用于时空建模的重要研究空间。
+\textbf{维度间的非均匀分布。}Jin 等人发现的"极端激活值"（Massive Activations）现象表明，少数特定维度在模型前向计算中产生远超其他维度的激活幅值，且这些维度承担着上下文信息编码的关键功能\cite{jin2025massive}。这些极端激活并非简单的数值异常，而是与注意力集中、量化稳定性乃至预测行为存在因果关联。结合第~\ref{subsec:rw_rope}~节所述 RoPE 位置编码引入的频率结构，模型表示在维度空间中呈现出系统性的结构分化。
+
+\textbf{参数更新的频谱结构。}从训练动态角度看，深度网络在训练过程中存在频谱偏置（spectral bias），即优先拟合低频分量，对高频细节的学习相对缓慢\cite{rahaman2019spectral}。% 注：需补充到ref.bib: rahaman2019spectral (Rahaman et al., On the Spectral Bias of Neural Networks, ICML 2019)
+这意味着权重更新矩阵在频域中具有非均匀的能量分布，不同频率分量承载着不同尺度的适配信息。
+
+上述发现从模块、层、头、维度与参数更新等多个角度揭示了大语言模型内部的结构复杂性。这些实证证据表明，模型自身并非均匀结构，因此下游适配也不宜默认所有结构位置具有近似一致的更新价值，而应考虑不同结构角色的差异化作用。这一认识为第~\ref{sec:unified_framework}~节构建的结构感知适配统一分析框架提供了实证依据。
 
 
 %======================================================================
-\section{参数高效适配与结构建模方法研究}
+\section{参数高效微调方法}
 \label{sec:rw_peft}
 
-基于第~\ref{sec:rw_st_modeling}~节的分析，城市时空数据具有多层级的结构异质性特征；而大语言模型在设计上通常假设输入信息具有相对均匀的结构，其适配方法亦多采用形式一致的更新策略。数据端的"结构异质"与模型端的"均匀适配"之间存在的张力，构成了将大语言模型有效应用于复杂时空任务的核心挑战。本节围绕参数高效微调方法、多任务学习机制、表示结构分析、多尺度频谱建模以及模型结构优化等方面，对相关研究进展进行系统梳理。
+随着大语言模型参数规模的持续增长，全参数微调所带来的计算与存储开销逐渐成为制约模型应用的瓶颈。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法通过引入少量可训练参数 $\Theta_a$，在保持预训练参数 $\Theta_0$ 基本不变的前提下实现任务特定适配，使适配后模型参数可表示为 $\Theta = \Theta_0 + \Delta\Theta(\Theta_a)$\cite{ding2023parameter,han2024parameter}。根据参数化方式的不同，现有 PEFT 方法大致可划分为低秩适配、附加式与提示类适配、选择式与稀疏微调三类。
 
-\subsection{参数高效微调方法}
+%----------------------------------------------------------------------
-\label{subsec:rw_peft_methods}
+\subsection{低秩适配方法}
+\label{subsec:rw_lora_family}
 
-当模型参数规模从数亿膨胀至千亿级别时，全参数微调在计算成本与存储开销方面变得不可接受，且在数据量有限时容易引发灾难性遗忘\cite{ding2023parameter}。参数高效微调（PEFT）方法的核心思想是：冻结预训练主干网络参数$\Theta_0$，仅引入少量可训练参数$\Theta_a$，使得最终模型参数可表示为$\Theta = \Theta_0 + \Delta\Theta$\cite{lialin2023scaling,han2024parameter}。
+低秩适配方法基于"权重更新矩阵具有低内在维度（intrinsic dimension）"的假设：尽管预训练模型的整体参数空间极其庞大，但模型在适应特定下游任务时，所需权重的实际更新往往位于一个低维流形之上。LoRA 在此基础上将目标权重矩阵 $\mathbf{W}_0 \in \mathbb{R}^{d_{out} \times d_{in}}$ 的更新分解为两个低秩矩阵的乘积\cite{hu2021lora}：
+\begin{equation}
+\Delta\mathbf{W} = \mathbf{B}\mathbf{A}, \quad \mathbf{A} \in \mathbb{R}^{r \times d_{in}},\, \mathbf{B} \in \mathbb{R}^{d_{out} \times r},\, r \ll \min(d_{in}, d_{out}),
+\label{eq:ch2_lora}
+\end{equation}
+其中 $\mathbf{A}$ 采用随机高斯初始化，$\mathbf{B}$ 采用零初始化以保证训练起始时不改变预训练行为。在推理阶段，低秩增量可以直接被重新参数化合并回原始权重矩阵，不引入任何额外推理延迟。
 
-目前主流的PEFT方法可划分为以下几类。\textbf{（1）附加式方法}：Adapter通过在Transformer层间插入小型瓶颈网络进行表示调整\cite{houlsby2019parameter}；前缀调制通过在输入序列前追加可学习的连续向量引导模型生成\cite{li2021prefix}；提示调制则通过嵌入层面的可训练向量激活模型能力\cite{lester2021power}。这些方法保持主干权重不变，通过附加结构引入任务信息。\textbf{（2）选择式方法}：BitFit仅更新网络中的偏置项参数\cite{zaken2021bitfit}；LISA则根据层重要性进行选择性更新\cite{pan2024lisa}。\textbf{（3）低秩分解方法}：LoRA基于权重更新矩阵具有低内在秩的假设，将$\Delta\mathbf{W}$分解为两个低秩矩阵的乘积$\Delta\mathbf{W} = \mathbf{B}\mathbf{A}$（其中$\mathbf{A} \in \mathbb{R}^{r \times d_{in}}, \mathbf{B} \in \mathbb{R}^{d_{out} \times r}, r \ll \min(d_{in}, d_{out})$），从而成百倍地减少可训练参数规模\cite{hu2021lora}。DoRA进一步将权重更新分解为方向与幅度两个分量\cite{liu2024dora}；AdaLoRA通过重要性评估实现动态秩分配\cite{zhang2023adalora}；VeRA利用共享随机矩阵进一步压缩参数开销\cite{kopiczko2023vera}。
+在 LoRA 基础上，后续工作沿多个方向展开改进。在参数化与训练特性改进方面，DoRA 将权重更新进一步分解为方向（direction）与幅度（magnitude）两个分量，分别进行优化，以更好地模拟全参数微调的学习行为\cite{liu2024dora}。在预算分配方面，AdaLoRA 引入基于奇异值分解的重要性评估机制，在训练过程中动态分配各权重矩阵的秩，使模型自动为重要层级分配更高秩预算\cite{zhang2023adalora}。在参数规模进一步压缩方面，VeRA 通过在不同模块间共享冻结的随机矩阵，仅学习逐层的缩放向量，将微调参数量压缩至极致\cite{kopiczko2023vera}；QLoRA 则通过4-bit量化底座权重并在其上训练 LoRA，使大模型在更低显存条件下可被高质量微调\cite{}。% 注：需补充到ref.bib: dettmers2023qlora (Dettmers et al., QLoRA, NeurIPS 2023)
 
-然而，从时空建模需求出发审视上述方法，可以发现一个共性局限：这些方法多对模型的不同层或投影矩阵施加形式一致的适配操作，隐含假设模型内部各组成部分在适配中的角色近似。以LoRA为例，其标准实践通常在所有选定层的Query与Value投影矩阵上插入相同秩的低秩分解，不区分不同层在特征建模中的功能贡献。然而，已有研究表明模型浅层与深层在信息处理中承担不同角色\cite{belinkov2018evaluating}——浅层侧重局部模式提取，深层侧重全局语义整合——因而对适配的需求强度与方式可能存在差异。类似地，注意力投影矩阵与前馈网络权重在知识存储与信息路由方面的功能分工\cite{geva2021transformer,dong2025attention}，也意味着对二者施加相同形式的更新策略未必是最优选择。
+低秩适配方法在参数效率方面表现优异，已成为当前最广泛使用的 PEFT 技术路径。然而，其标准实践通常在所有目标层的投影矩阵上施加相同秩约束，隐含假设模型不同层与不同模块在适配中的角色近似。即使 AdaLoRA 开始引入预算再分配，其建模对象也主要是矩阵重要性，而非更一般的结构角色异质性。因此，低秩适配在成本控制上极具优势，却仍保留了相对均匀的适配假设。
 
-进一步地，在多任务场景下，这种均匀性假设的局限更加突出。不同任务对模型不同部分的更新需求可能指向不同方向，如果适配机制无法区分这些差异，则难以在有限参数预算下同时满足多个任务的需求。Compacter\cite{karimi2021compacter}、UniAdapter\cite{lu2023uniadapter}等工作已从参数共享与分解的角度对上述问题进行了初步探索，但尚未从时空数据的结构特征出发建立系统性的设计准则。
+%----------------------------------------------------------------------
+\subsection{附加式与提示类适配方法}
+\label{subsec:rw_additive_prompt}
 
+附加式方法通过在模型内部插入轻量结构引入任务信息，而不修改原有权重。Adapter 在 Transformer 层间插入小型瓶颈网络，通过降维—非线性激活—升维结构实现表示调整\cite{houlsby2019parameter}。这种设计有效地阻断了误差梯度向预训练底座的传导，在多任务环境中按任务维护独立参数块。Compacter 进一步采用超复数乘法实现跨层参数共享，在降低参数量的同时保持表达能力\cite{karimi2021compacter}。
 
-\subsection{多任务学习与知识路由机制}
+提示类方法则通过在输入或中间表示层引入额外可学习信号，引导模型调用已有知识结构。前缀微调（Prefix-tuning）在每层注意力计算的 Key 和 Value 前追加可学习的连续向量，使其充当"虚拟历史上下文"，从而隐式地调制模型对后续序列的注意力分布\cite{li2021prefix}；提示微调（Prompt-tuning）在嵌入层面引入可训练软提示向量\cite{lester2021power}；P-Tuning v2 将可学习提示扩展到多层并系统改进优化策略，使提示类方法在更广泛的模型规模与任务类型上接近全参数微调效果\cite{}。% 注：需补充到ref.bib: liu2022ptuningv2 (Liu et al., P-Tuning v2, ACL 2022)
-\label{subsec:rw_multitask}
 
-% 注：需补充到ref.bib: caruana1997multitask (Caruana, Multitask Learning, Machine Learning 1997)
+此外，激活调制类方法提供了另一种视角。(IA)$^3$ 通过训练少量缩放向量对注意力与 FFN 内部的关键激活进行抑制或放大，以极低参数量实现多任务适配\cite{liu2022few}。这类方法在形式上已更接近"对表示流进行乘性调制"的思想，为后续结构角色驱动的调制式框架提供了研究线索。
-城市系统天然是一个多任务并行环境，不同时空任务之间既存在共享的底层物理规律，又存在互相冲突的特征需求。多任务学习通过在统一模型中同时优化多个相关目标，试图利用任务间的知识共享提升整体建模性能\cite{}。% 注：需补充到ref.bib: caruana1997multitask (Caruana, Multitask Learning, Machine Learning 1997)
-然而，多任务学习面临的核心困难在于梯度冲突与负迁移：不同任务的梯度在共享参数空间中可能指向相互对立的方向。PCGrad通过梯度投影缓解任务间冲突\cite{yu2020gradient}；CAGrad则从最坏情况优化角度设计多任务梯度聚合策略\cite{liu2021conflict}。
-% TODO: 建议补充 PLE (Progressive Layered Extraction, Tang et al., RecSys 2020) —— 工业界多任务学习的代表性工作，提出渐进式分层提取机制缓解跨任务干扰
 
-在模型结构层面，混合专家模型（MoE）通过将前馈网络替换为多个并行专家子网络，并利用门控路由机制动态选择激活专家，实现了模块级的功能分化\cite{shazeer2017outrageously}。Switch Transformer通过简化路由策略将这一机制扩展到大规模模型\cite{fedus2022switch}；DeepSeek-MoE等工作进一步优化了专家粒度与路由策略\cite{dai2024deepseekmoe,guo2025deepseek}。在参数高效适配框架下，MoE思想被引入LoRA结构，形成了MoELoRA\cite{liu2023moelora,luo2024moelora}与LoRAMoE\cite{dou2024loramoe}等方法，通过多组低秩适配模块与动态路由实现对多任务差异性的适应。
+无论是附加式模块、提示类方法还是激活调制，尽管在参数效率与任务适配上各有优势，但多数方法仍主要围绕统一插入位置或统一提示空间展开，对内部结构差异的显式建模较弱。
 
-从时空建模需求来看，多任务城市系统中的功能异质性——不同模块对不同任务的功能贡献存在系统性差异——构成了模块级结构角色异质性（$\mathcal{R}_{mod}$）的数据驱动来源。上述方法揭示了"动态路由"与"模块功能分化"在应对多任务异质性方面的有效性，但现有方法多从独立的路由策略出发进行设计，缺乏与时空数据结构特征的系统关联。
+%----------------------------------------------------------------------
+\subsection{选择式与稀疏微调方法}
+\label{subsec:rw_selective_sparse}
 
+相较于向模型注入新参数，选择式与稀疏微调方法遵循更直接的原则：在原有参数中寻找并仅更新对下游任务最敏感的参数子集。这类方法开始触及模型内部容量分配的本质。
 
-\subsection{表示各向异性与结构感知学习}
+选择式方法通过限定可更新参数的范围实现参数高效适配。BitFit 仅更新网络中的偏置项参数，证明在大模型中仅解除偏置冻结就能在诸多任务上达到竞争性能\cite{zaken2021bitfit}。LISA 根据层间权重范数的偏斜分布，在不同训练迭代中选择性地解除部分层的冻结状态，表明并非所有层都需要持续参与更新\cite{pan2024lisa}。
-\label{subsec:rw_anisotropy}
 
-% 注：需补充到ref.bib: godey2024anisotropy (Godey et al., Anisotropy Is Inherent to Self-Attention, EACL 2024)
+稀疏微调方法从更细粒度出发，在训练过程中学习参数更新的稀疏结构。运动剪枝（Movement Pruning）利用权重变化趋势而非静态幅值来决定参数保留方向——相较于传统按权重绝对值排序的幅度剪枝（magnitude pruning），运动剪枝更适应微调动力学，在迁移学习场景中表现更优\cite{sanh2020movement}。SHiRA 提出以高秩稀疏更新替代低秩稠密更新，指出在相同参数预算下，稀疏更新模式可能比低秩假设更好地匹配权重更新的真实结构\cite{shiracite}。稀疏缩放微调进一步将稀疏性与缩放策略相结合，实现面向特定任务的结构化稀疏\cite{ansell2024scaling}。
-随着对深度模型内部表示机制认识的深入，研究者发现基于Transformer的大语言模型普遍存在表示各向异性（Anisotropy）现象——模型隐藏层的激活值分布呈现显著的非均匀性，少数维度占据压倒性的方差比例，而大部分维度处于低方差状态\cite{jin2025massive}。进一步的研究表明，这种各向异性并非训练过程中的偶发伪影，而是自注意力机制的内生特性\cite{}。% 注：需补充到ref.bib: godey2024anisotropy (Godey et al., Anisotropy Is Inherent to Self-Attention in Transformers, EACL 2024)
 
-在位置编码层面，RoPE的频率结构为表示空间引入了额外的维度级异质性。不同维度对被赋予不同频率的旋转角度：低频维度旋转缓慢，其激活模式受位置变化的扰动较小，倾向于编码全局语义与长程依赖关系；高频维度旋转迅速，对位置偏移高度敏感，更适于刻画局部结构细节\cite{su2024roformer,barbero2024round}。Barbero等人的系统分析进一步揭示，RoPE对不同维度的影响呈现出明确的层次结构：在注意力计算中，低频维度对对应的键值对在长距离上仍保持较高的注意力得分，而高频维度的注意力则迅速随距离衰减\cite{barbero2024round}。这种由位置编码诱导的维度级功能分化，使得同一表示向量中的不同分量在信息编码功能上存在质的差异。
+选择式与稀疏微调方法已经明显触及"哪些参数值得更新"的问题，但多数方法仍将选择依据建立在局部重要性评分或简单统计指标之上，对更高层次的结构角色、跨任务共享关系以及全局预算如何在共享与专用子空间间联合分配，尚缺乏系统化刻画。
 
-与此相关的另一个重要发现是，大语言模型中普遍存在"极端激活值"（Massive Activations）现象\cite{jin2025massive}。少数特定维度在模型前向计算过程中产生远超其他维度的激活幅值，这些维度在表示空间中占据主导地位。研究表明，这些极端激活维度并非简单的数值异常，而是承担着上下文信息编码的关键功能。在多头注意力结构中，不同头在激活分布上亦呈现出系统性差异，部分头表现出更为集中的激活模式，部分头则呈现更均匀的分布特征\cite{voita2019bottom}。
+%----------------------------------------------------------------------
+\subsection{现有方法的均匀适配假设与局限}
+\label{subsec:rw_uniform_limitation}
 
-从时空适配的角度来看，上述发现具有重要启示。当时空任务要求模型准确处理空间相对位置关系与时间周期结构时，不同维度在建模中的功能贡献并非均匀的。如果适配过程不加区分地统一更新所有维度，可能导致重要低频结构的破坏或高频噪声的放大。这一认识为维度级结构异质性（$\mathcal{R}_{dim}$）的适配提供了机制层面的动机。
+综合上述三类方法，可以从适配机制、结构假设以及与后续章节的衔接关系等维度对现有适配方法进行系统比较，如表~\ref{tab:ch2_method_comparison}~所示。
 
-
+\begin{figure}[htbp]
-\subsection{多尺度学习与频谱建模方法}
+\centering
-\label{subsec:rw_spectral}
+% 占位：待替换为外部绘制的 2_peft_taxonomy.pdf
-
+% \includegraphics[width=0.88\textwidth]{assets/2_peft_taxonomy.pdf}
-% 注：需补充到ref.bib: zhou2022fedformer (Zhou et al., FEDformer, ICML 2022)
+\caption{参数高效适配方法的谱系结构与本文方法定位。该图采用树形或层级分类布局：
-城市时空数据的另一个核心结构特征是其动态模式的多尺度属性。全局趋势、周期性模式与局部突变分别对应信号的不同频率成分，这要求建模方法能够同时刻画多个尺度上的时空变化规律。
+\textbf{第一层}按适配对象分为三大类——"参数更新结构"（低秩、稀疏）、"附加模块"（Adapter、前缀/提示）、"表示调制"（激活缩放、门控调制）。
-
+\textbf{第二层}在每个大类下列出代表性方法：低秩类（LoRA、DoRA、AdaLoRA）、稀疏类（BitFit、SHiRA、运动剪枝）、附加类（Adapter、Prefix-Tuning、Prompt Tuning）、调制类（(IA)$^3$）。
-在时序预测领域，Autoformer引入的序列分解思想将信号分离为趋势与季节性分量\cite{}；% 注：需补充到ref.bib: wu2021autoformer (Wu et al., Autoformer, NeurIPS 2021)
+\textbf{第三层}用虚线框或高亮标注本文五个方法（HyCAM、RoSA、DyPAM、CASCADE、MESSA）的定位，并用箭头标注其相对于现有方法的创新方向——从"均匀适配"指向"结构感知适配"。
-FEDformer进一步将傅里叶变换与小波变换引入Transformer结构，通过频域稀疏表示实现多尺度特征的高效建模\cite{}。% 注：需补充到ref.bib: zhou2022fedformer (Zhou et al., FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting, ICML 2022)
+右侧用渐变色条标注"结构感知程度"从弱到强的演进趋势。}
-在时空图建模方面，STWave\cite{STWave}、DSTAGNN\cite{DSTAGNN}等工作将小波分析引入空间图信号处理，通过多尺度子带分解增强模型对不同频率成分的分辨能力。Fredformer\cite{Fredformer}等方法则探索了在频域空间进行注意力计算的替代策略。
+\label{fig:ch2_peft_taxonomy}
-
+\end{figure}
-从模型参数更新的角度来看，频谱视角同样具有重要意义。研究表明，深度网络在训练过程中存在频谱偏置——倾向于优先拟合低频分量，对高频细节的学习缓慢\cite{}。% 注：需补充到ref.bib: rahaman2019spectral (Rahaman et al., On the Spectral Bias of Neural Networks, ICML 2019)
-这意味着模型权重更新本身具有频谱级的结构特性：全局语义的对齐依赖低频更新，而特定局部行为的修正则需要高频更新。这一观察表明，参数更新的频谱结构与时空数据的多尺度特征之间存在内在对应关系，为频谱级结构异质性（$\mathcal{R}_{spec}$）的建模提供了理论动机。
-
-在参数高效微调领域，近年来开始出现将频域分析引入适配方法的探索。这一方向的核心动机在于：权重更新矩阵在频域中往往具有更为紧凑的表示，且不同频率分量承载的信息具有可分离的语义意义。SDCT方法通过选择性离散余弦变换对权重更新进行频域表示，在保持适配性能的同时进一步压缩参数开销\cite{shen2024parameter}。WaveletFT将离散小波变换应用于权重更新矩阵的分解，利用小波基的多分辨率特性同时捕获全局平滑结构与局部细节信息\cite{hu2025waveletft}。FourierFT等工作利用傅里叶基对适配参数进行紧凑表示\cite{gao2024parameter}。LoCA则通过逆离散余弦变换在频域谱图上动态定位信息密集的频率位置，实现选择性频段微调\cite{du2025loca}。此外，F-Adapter将频率自适应机制引入科学计算领域的模型微调\cite{zhang2025f}。
-
-上述方法共同表明，频谱视角为参数高效适配提供了一种有效的结构化建模语言。然而，现有频域PEFT方法多采用单一类型的变换基（纯DCT或纯小波），较少同时利用不同频域基函数在全局与局部表示上的互补特性。此外，不同频率分量之间的依赖关系在现有方法中通常被忽略——各频段的更新独立进行，缺乏跨频段的信息传递机制。这些不足为设计更为精细的频谱级适配方法留下了空间。
-
-
-\subsection{模型结构优化与容量分配方法}
-\label{subsec:rw_structure_opt}
-
-% 注：需补充到ref.bib: liu2019darts (Liu et al., DARTS, ICLR 2019)
-% 注：需补充到ref.bib: frankle2019lottery (Frankle & Carlin, Lottery Ticket Hypothesis, ICLR 2019)
-在更高层面上，当模型需要在多个异构任务间分配有限的可训练参数时，如何在容量约束下实现高效适配，本质上转化为一个结构学习问题。
-
-神经架构搜索（NAS）技术提供了一种自动化的结构设计路径。DARTS通过将离散的架构选择松弛为连续优化问题，实现了可微分的架构搜索\cite{}。% 注：需补充到ref.bib: liu2019darts (Liu et al., DARTS: Differentiable Architecture Search, ICLR 2019)
-在时空领域，AutoSTF\cite{AutoSTF}等工作将NAS引入时空预测模型的设计，通过搜索最优的时空操作组合以适配不同数据集的特性。这些工作表明，针对特定时空任务分布，不存在普适的静态最优结构，结构本身应当是任务相关且可学习的。
-
-在模型压缩方面，结构化剪枝与稀疏化学习旨在通过移除冗余参数或限制激活模式来提升计算效率。彩票假说指出，在密集网络中存在稀疏子网络能够达到甚至超越完整网络的性能\cite{}，% 注：需补充到ref.bib: frankle2019lottery (Frankle \& Carlin, The Lottery Ticket Hypothesis, ICLR 2019)
-这为参数结构的可选择性提供了理论支持。在大语言模型场景下，运动剪枝（Movement Pruning）\cite{sanh2020movement}等方法通过训练过程中的参数重要性评估实现结构化稀疏。
-
-从多任务适配的角度来看，容量分配问题的核心在于：哪些参数结构应当跨任务共享，哪些应当任务特有，以及如何在有限预算约束下实现这种共享—特有划分的自动发现。这一问题直接对应参数级结构异质性（$\mathcal{R}_{param}$）的建模需求。在参数高效适配框架下，稀疏微调与结构学习的结合尤为重要。SHiRA通过高秩稀疏更新替代低秩稠密更新，在相同参数预算下获得更强的表达能力\cite{shiracite}。MTLoRA等工作将多任务学习与LoRA结构相结合，在任务间共享低秩基础并学习任务特定的路由策略\cite{agiza2024mtlora}。运动剪枝\cite{sanh2020movement}与稀疏缩放微调\cite{ansell2024scaling}等方法则通过在训练过程中动态评估参数重要性，实现面向特定任务的结构化稀疏。
-
-然而，现有方法在多任务场景下的容量分配多依赖预先设定的共享规则或简单的任务标识路由，缺乏能够在统一预算约束下同时学习共享结构与特有结构的系统化机制。如何将结构发现从"给定结构下的参数学习"提升为"结构与参数的联合优化"，仍是当前多任务适配研究中的开放问题。
-
-
-\subsection{现有适配方法的对比分析与不足}
-\label{subsec:rw_peft_discussion}
-
-综合上述五个方面的文献梳理，可以从"调制对象"与"结构层级"两个维度对现有适配方法进行系统比较，如表~\ref{tab:ch2_method_comparison}~所示。
 
 \begin{table}[htbp]
 \centering
-\caption{现有适配方法的调制对象与结构层级对比分析}
+\caption{现有参数高效适配方法的谱系比较与后续章节衔接}
 \label{tab:ch2_method_comparison}
 \renewcommand{\arraystretch}{1.15}
 \small
-\begin{tabular}{llccc}
+\resizebox{\linewidth}{!}{
+\begin{tabular}{llcll}
 \toprule
-\textbf{方法类别} & \textbf{代表方法} & \textbf{调制对象} & \textbf{结构层级} & \textbf{结构感知} \\
+\textbf{方法谱系} & \textbf{代表方法} & \textbf{适配对象} & \textbf{均匀适配特征} & \textbf{后续衔接} \\
 \midrule
-附加式PEFT & Adapter, Prefix & 层内瓶颈/前缀向量 & 参数级（弱结构） & 无 \\
+低秩重参数化 & LoRA, DoRA, AdaLoRA & $\Delta\mathbf{W}$（低秩流形） & 跨层/模块采用一致插入与秩配置 & 对照基线 \\
-低秩分解 & LoRA, DoRA & 权重增量$\Delta\mathbf{W}$ & 参数级 & 无（均匀秩） \\
+附加式模块 & Adapter, LLaMA-Adapter & 层间瓶颈模块 & 插入位置与模块大小固定 & 模块级角色感知 \\
-动态秩分配 & AdaLoRA & 权重增量$\Delta\mathbf{W}$ & 参数级 & 层级差异 \\
+提示学习 & Prefix, Prompt, P-Tuning & 输入侧或层内软提示 & 统一提示空间假设 & 表示流调制 \\
-多任务路由 & MoELoRA, LoRAMoE & 专家选择与门控 & 模块级 & 任务级 \\
+激活调制 & (IA)$^3$ & 注意力/FFN关键激活 & 按层统一注入缩放向量 & 乘性调制扩展 \\
-梯度冲突处理 & PCGrad, CAGrad & 梯度方向 & 优化级 & 任务级 \\
+选择式/稀疏 & BitFit, LISA, SHiRA & 参数子集/稀疏掩码 & 经验性重要性准则 & 容量分配问题 \\
-频域分解 & FourierFT, WaveletFT & 频域系数 & 频谱级 & 频段级 \\
-结构稀疏 & SHiRA, 运动剪枝 & 稀疏掩码 & 参数结构级 & 元素级 \\
 \bottomrule
 \end{tabular}
+}
 \end{table}
 
-从表~\ref{tab:ch2_method_comparison}~可以看出，现有方法在适配机制上已覆盖了参数级、模块级、频谱级等不同层面，但存在以下三个方面的共性不足。
+从表~\ref{tab:ch2_method_comparison}~可以看出，现有方法虽然从不同角度降低了适配成本，但普遍隐含了一种均匀适配假设（uniform adaptation assumption）：无论是将低秩矩阵无差别地挂载到所有子模块的线性层上，还是为所有层分配等长的前缀向量，抑或是基于全局统一阈值进行稀疏筛选，现有框架大多将大语言模型简化为层级平齐、模块功能同质的系统。
 
-\textbf{第一，结构感知的粒度与深度有限。}多数方法仅在单一层级上引入结构差异化处理——例如AdaLoRA在层间分配不同秩、MoE方法在任务间路由不同专家——但缺乏在多个结构层级上同时进行协调的统一机制。从城市时空数据的结构复杂性来看，多任务功能异质性、位置结构依赖、多尺度动态模式以及多源容量差异可能同时存在且相互影响，单一层级的结构感知难以覆盖这种多维结构异质性。
+这种缺乏结构感知的均匀设计带来三类根本性局限。\textbf{第一，对模块功能差异关注不足。}如第~\ref{subsec:rw_functional_differentiation}~节所述，MHSA 和 FFN 在知识调用与上下文路由中扮演截然不同的角色，均匀分配适配预算容易导致冗余参数堆积于任务不敏感的模块，而关键瓶颈区域面临容量匮乏。\textbf{第二，对位置结构与维度异质性利用不足。}现有更新主要作用于表示变换的全局通道维度，忽视了由 RoPE 等频率结构引入的维度级异质性，在处理依赖位置关系的任务时难以实现精细化调控。\textbf{第三，对多尺度参数结构与容量分配建模不足。}面对复杂的异构任务集合，现有 PEFT 方法缺乏在全局频谱空间和多任务约束下的系统建模能力，无法区分哪些参数成分应当被提炼为跨任务共享知识，哪些必须被隔离以服务于任务特化。
-
-\textbf{第二，方法之间缺乏统一的理论视角。}上述方法分别从参数分解、梯度优化、路由选择、频域分析等不同角度出发，各自解决某一类结构问题。然而，这些方法之间缺乏共同的形式化框架，使得不同策略难以在统一视角下进行比较、组合或递进。从表征学习的角度来看，不同层级的适配方法实际上可以被理解为对模型表示流施加不同形式的条件化调制，但这一认识在现有文献中尚未得到系统阐述。
-
-\textbf{第三，与时空数据结构特征的关联不足。}现有适配方法多从通用的自然语言处理或多模态学习场景出发进行设计，其结构假设与城市时空数据的特殊结构特征之间缺乏直接关联。例如，LoRA的均匀低秩假设未考虑时空任务中不同维度承担不同频率信息编码功能的事实；MoE的路由策略未利用时空数据中多任务功能异质性的领域先验。这种"方法设计"与"数据结构"之间的脱节，限制了适配方法在复杂时空场景中的表现。
-
-上述分析表明，要有效解决时空建模中的适配问题，需要建立一个能够统一刻画不同结构层级适配机制的分析框架，并据此设计与时空数据结构特征系统关联的适配方法。这正是第~\ref{sec:unified_framework}~节所建立的结构感知调制统一框架的出发点。
 
 
 %======================================================================
-\section{时空智能数据集与评测基础设施研究}
+\section{多任务学习与模块级功能适配}
-\label{sec:rw_benchmark}
+\label{sec:rw_multitask}
 
-数据资源与实验评测体系是推动时空智能建模方法持续发展的重要基础。随着技术范式向基础模型转移，评测对象从传统的数值预测精度扩展到推理一致性、工具可执行性与跨源泛化能力。本节从数据集构建、评测范式及基础设施发展趋势等方面，对当前研究进展进行系统梳理。
+在实际应用中，大语言模型通常需要同时服务于多种类型的下游任务。多任务场景中的知识共享与任务干扰问题，以及模块级功能分化在适配中的作用，为理解和改进大语言模型适配方法提供了重要视角。
 
-\subsection{时空预测与分析数据集}
+%----------------------------------------------------------------------
-\label{subsec:rw_st_datasets}
+\subsection{多任务学习与梯度冲突问题}
+\label{subsec:rw_multitask_gradient}
 
-当前时空智能研究中，应用最为广泛的数据资源主要集中于交通预测领域。METR-LA与PEMS-BAY\cite{METR_LA/PEMS_BAY}提供了洛杉矶与旧金山湾区高速公路传感器网络的速度观测数据，已成为时空图神经网络研究的标准基准。PEMS系列数据集\cite{PEMSD3/7,PEMSD4/8}覆盖了加利福尼亚州不同区域与不同时段的交通流量数据。LargeST\cite{LargeST}进一步将数据规模扩展至覆盖数千个传感器的大规模场景。在轨迹与出行数据方面，纽约出租车与共享单车数据集\cite{NYCTaxi/Bike}、Foursquare签到数据\cite{Foursquare-NYC/TKY}以及Porto出租车GPS轨迹\cite{Porto}等被广泛用于出行需求预测与轨迹建模研究。
+多任务学习通过在统一模型中同时优化多个相关目标，利用任务间的知识共享提升整体建模性能\cite{caruana1997multitask}。% 注：需补充到ref.bib: caruana1997multitask (Caruana, Multitask Learning, Machine Learning 1997)
+然而，多任务学习面临的核心困难在于梯度冲突与负迁移：不同任务的梯度在共享参数空间中可能指向相互对立的方向，导致优化过程中一个任务的改进以另一个任务的退化为代价，形成所谓的"跷跷板"（seesaw）现象。
 
-这些数据集的重要贡献在于为时空模型提供了标准化的实验协议与可比较的评测基准。在实验设计上，相关研究通常采用固定时间窗口划分训练集与测试集，通过均方误差（MAE）、均方根误差（RMSE）等指标评估预测性能。以交通预测为例，标准实验设置通常以过去12个时间步（1小时）的历史观测预测未来12个时间步的状态变化，模型之间的比较在统一的数据划分与评价指标下进行。这种规范化的评测协议极大地促进了时空图神经网络领域的快速发展，使研究者能够在公平条件下对比不同方法的性能。
+针对梯度冲突问题，文献中涌现了一系列梯度干预方法。PCGrad 在检测到两个任务梯度向量夹角大于 $90^\circ$ 时，将冲突梯度投影到对方法平面上以消除破坏性分量\cite{yu2020gradient}；CAGrad 将多任务冲突消解转化为带约束的极小极大优化问题，在邻域搜索空间内寻找使所有任务平均损失严格下降的更新方向\cite{liu2021conflict}；GradNorm 通过动态调节各任务损失权重以平衡梯度幅度与训练速度\cite{}。% 注：需补充到ref.bib: chen2018gradnorm (Chen et al., GradNorm, ICML 2018)
+这些方法从优化层面缓解了任务间冲突，但并未从模型架构层面解决"哪些模块应当共享、哪些应当专用"的问题。
 
-在轨迹与移动性建模方面，研究者构建了包含多种任务目标的数据资源。例如，出行轨迹数据被用于轨迹恢复\cite{RNTrajRec}、下一兴趣点推荐\cite{GETNEXT}、行程时间估计\cite{TTPNet}以及地图匹配\cite{FMM}等多种任务。这些任务虽基于相似的底层数据，但在建模目标、评价方式与应用场景上存在显著差异，体现了城市时空数据"一数据多任务"的特点。
+从模型内部结构来看，不同任务在模型中的激活模式往往存在系统性差异。注意力模块更多承担跨位置的上下文关联建模，而前馈网络更多负责知识表达与非线性映射\cite{standley2020tasks}。这种模块级的功能分工在均匀的参数共享策略下难以被有效利用，容易导致负迁移与知识干扰。因此，多任务场景的关键矛盾并非简单的"共享越多越好"或"隔离越多越好"，而是在共享知识与任务特化之间需要结构层面的平衡机制。
 
-然而，由于任务目标集中于数值回归或序列预测，此类数据资源在评估模型的结构推理能力与复杂情境理解方面存在局限。具体而言：预测任务的评价仅关注输出数值与真实值之间的误差，无法反映模型是否真正理解了时空关系的内在逻辑；不同任务的数据集在格式规范、评价指标与实验设置上缺乏统一标准，导致跨任务的模型能力比较困难。随着大语言模型在时空领域的应用探索不断深入，需要构建能够覆盖推理、决策与工具调用等更广泛能力维度的评测资源。
+%----------------------------------------------------------------------
+\subsection{混合专家模型与动态路由机制}
+\label{subsec:rw_moe}
+
+混合专家模型（Mixture of Experts, MoE）通过将前馈网络替换为多个并行专家子网络，并利用门控路由机制动态选择激活专家，在模型结构层面实现了功能分化\cite{shazeer2017outrageously}。对于给定输入 $\mathbf{x}$，MoE 层的输出可表示为：
+\begin{equation}
+\mathbf{y} = \sum_{e=1}^{E} g_e(\mathbf{x}) \cdot \mathrm{Expert}_e(\mathbf{x}),
+\end{equation}
+其中 $g_e(\mathbf{x})$ 为门控网络对第 $e$ 个专家的路由权重，通常由 top-$k$ 稀疏选择机制生成（实际部署中 $k$ 常设为 $1$ 或 $2$）。这种稀疏激活机制使模型在成倍扩大参数容量的同时维持单个样本的计算量相对恒定。
+
+Switch Transformer 通过简化路由策略（每个输入仅激活一个专家）将 MoE 扩展到大规模模型，并改进了训练稳定性\cite{fedus2022switch}；DeepSeek-MoE 进一步强调专家细粒度分段与共享专家/路由专家的协同，以促进专家专门化并减少冗余\cite{dai2024deepseekmoe,guo2025deepseek}。为防止路由退化，MoE 训练中通常引入负载均衡辅助损失，约束各专家的使用频率保持均匀。
+
+MoE 架构揭示了"动态路由"与"模块功能分化"在应对输入异质性方面的有效性：不同输入可以激活不同的功能路径，不同专家网络在物理参数上的隔离也天然降低了处理不同分布数据时的特征污染。然而，现有 MoE 工作更多关注专家选择、负载均衡与训练效率，较少将路由机制与 Transformer 内部既有模块的功能角色差异显式关联。
+
+%----------------------------------------------------------------------
+\subsection{多任务参数高效适配方法}
+\label{subsec:rw_multitask_peft}
+
+在参数高效适配框架下，MoE 思想被引入 LoRA 结构，形成了多种多任务适配方法。MoELoRA 将多组 LoRA 适配模块作为专家，并引入对比学习鼓励专家分化，通过门控路由实现对多任务差异性的适应\cite{liu2023moelora,luo2024moelora}；LoRAMoE 在多个 LoRA 模块之间引入路由机制，旨在同时提升下游能力并缓解世界知识遗忘\cite{dou2024loramoe}。MTLoRA 引入任务无关（task-agnostic）与任务特定（task-specific）低秩模块，在共享与专用之间做结构化分解\cite{agiza2024mtlora}；MOELoRA 将混合专家路由与 LoRA 结构相结合以处理多任务适配\cite{liu2024moe}。
+
+从参数共享与分解角度，Compacter 通过超复数乘法实现跨任务的参数共享\cite{karimi2021compacter}；UniAdapter 在统一适配框架下设计了面向多任务与多模态的共享结构\cite{lu2023uniadapter}。AdapterFusion 通过注意力机制动态融合多个独立训练的 Adapter 模块\cite{pfeiffer2020adapterfusion}；UniPELT 联合训练多种轻量适配模块以实现更好的多任务泛化\cite{mao2022unipelt}。
+
+值得注意的是，部分研究已开始反思细粒度组件级适配在多任务中的潜在问题。例如，有研究指出如果将 LoRA 独立且无关联地分别应用于 $\mathbf{W}_Q$、$\mathbf{W}_K$、$\mathbf{W}_V$ 等细粒度组件，反而可能因缺乏更高层级的表征协同而加剧任务间梯度冲突，转而提倡在整个 Transformer 块或完整的 MHSA / FFN 宏观级别上设计统一的适配模块\cite{agiza2024mtlora}。这一发现从侧面说明，多任务适配需要将共享与专用结构的划分与模型内部的功能角色差异结合考量。
+
+上述方法在多任务适配效率方面取得了进展，但仍存在共性不足：现有方法的建模粒度主要停留在任务级或专家级，较少进一步区分适配应当优先作用于哪些模块、哪些层、哪些表示流节点。如何在利用模块级功能分化的基础上系统设计多任务适配机制，仍是值得进一步探索的问题。
 
 
-\subsection{面向推理与决策的时空任务数据}
+%======================================================================
-\label{subsec:rw_reasoning_data}
+\section{结构异质性感知与多层级适配方法}
+\label{sec:rw_structure_aware}
 
-% 注：需补充到ref.bib: han2025poiqa (Han et al., POI-QA, arXiv 2025)
+前述三节分别梳理了大语言模型的表示机制、参数高效适配方法以及多任务学习的相关工作。本节将进一步关注已有研究中对模型内部结构异质性的显式感知与利用，从维度级位置结构、频谱级多尺度分析与参数容量分配三个方面展开综述。
-% 注：需补充到ref.bib: dihan2025mapeval (Dihan et al., MapEval, arXiv 2025)
-随着时空智能研究向推理与决策支持方向拓展，一批面向结构推理能力评估的数据集相继出现。从推理要素与输入模态的角度，可将这些工作归纳为以下几类。
 
-\textbf{兴趣点与轨迹推理。}
+%----------------------------------------------------------------------
-POI-QA通过清洗真实车辆轨迹与地理POI数据，构建了需要同时理解空间位置与时间上下文的双语问答任务，系统评估模型对时空条件敏感问题的回答能力\cite{}。% 注：需补充到ref.bib: han2025poiqa (Han et al., A Dataset for Spatiotemporal-Sensitive POI Question Answering, arXiv:2505.10928)
+\subsection{位置编码结构与维度级表示异质性}
-% TODO: 可补充POI-QA具体规模（418K POI、540万QA对、四级难度），为第六章铺垫
+\label{subsec:rw_dim_heterogeneity}
-STBench从空间理解、时间推理与时空联合推理三个维度对大语言模型进行评测\cite{STBench}。
 
-\textbf{地图与空间关系推理。}
+第~\ref{subsec:rw_rope}~节从机制角度介绍了 RoPE 的频率结构，本节进一步讨论其对模型表示特性的影响以及对适配方法的启示。
-MapEval将地图推理分解为文本、API与视觉三种交互形态，评估基础模型在不同输入条件下的空间推理一致性\cite{}。% 注：需补充到ref.bib: dihan2025mapeval (Dihan et al., MapEval: A Map-Based Evaluation of Geo-Spatial Reasoning in Foundation Models, arXiv:2501.00316)
-% 注：需补充到ref.bib: bhat2026mapverse (Bhat et al., MapVerse, arXiv 2026)
-% 注：需补充到ref.bib: truong2026gpsbench (Truong et al., GPSBench, arXiv 2026)
-GPSBench将坐标推理能力拆分为几何计算与世界知识两个维度\cite{}。% 注：需补充到ref.bib: truong2026gpsbench (Truong et al., GPSBench: Do Large Language Models Understand GPS Coordinates?, arXiv:2602.16105)
 
-\textbf{时空推理与决策规划。}
+基于 Transformer 的大语言模型普遍存在表示各向异性（anisotropy）现象——隐藏层的激活值分布呈现显著的非均匀性，少数维度占据压倒性的方差比例\cite{jin2025massive}。进一步研究表明，这种各向异性并非训练偶发伪影，而是自注意力机制的内生特性\cite{godey2024anisotropy}。% 注：需补充到ref.bib: godey2024anisotropy (Godey et al., Anisotropy Is Inherent to Self-Attention, EACL 2024)
-USTBench构建了交互式城市仿真环境，将时空推理能力分解为理解、预测、规划与反思四个维度进行诊断性评估\cite{USTBench}。
-% 注：需补充到ref.bib: song2025stark (Song et al., STARK, arXiv 2025)
-STARK基准结合空间代数与时间逻辑框架，评估模型在复杂时空约束推理中的能力\cite{}。% 注：需补充到ref.bib: song2025stark (Song et al., Benchmarking Spatiotemporal Reasoning in LLMs and Reasoning Models, arXiv:2505.11618)
 
-上述推理型数据集的共同特点在于：输入包含隐式的几何、拓扑或时序约束，输出要求可解释的空间关系判断或可执行计划。这使得它们能够更充分地暴露模型在结构一致性方面的不足，为评估结构感知适配方法的有效性提供了更为严格的测试场景。
+RoPE 的频率结构为表示空间引入了额外的维度级异质性。由于不同维度对被赋予不同频率的旋转角度，系统中的低频（高索引）维度承担着跨越较大序列跨度的长程语义获取功能——这些维度旋转周期长、角度变化缓慢，在深层网络中往往产生更密集且幅值更高的激活；而高频（低索引）维度由于剧烈旋转，更敏感于局部近距离的词元交互\cite{su2024roformer,barbero2024round}。有研究通过干预实验发现，在推理阶段屏蔽部分极高频维度特征对模型困惑度几乎无负面影响，甚至在长序列外推上有所提升；但一旦破坏关键低频维度，则直接引发性能崩溃\cite{}。% 注：需补充到ref.bib: gu2025unpacking (Gu et al., Unpacking Positional Encoding in Transformers: A Spectral Perspective, arXiv 2025)
+这一不对称性有力地说明不同维度对在功能上的重要性存在质的差异。
 
+值得注意的是，这种维度级异质性在 Query/Key 表示中表现显著，而在 Value 表示中则弱得多——这与 RoPE 仅对 Query 和 Key 施加位置旋转的设计一致。同时，不同注意力头和不同层在激活分布上也呈现出差异化模式\cite{voita2019bottom}，且激活模式还表现出对输入内容的依赖性：同一频率的特征维度在面对不同类型指令、不同领域分布或不同语义角色的输入时，其激活波峰与频率响应会产生显著波动。
 
-\subsection{城市仿真环境与智能体平台}
+上述发现对适配方法的设计具有直接启示。当不同维度在功能上并非等价时，对所有维度施加均匀更新可能导致关键维度信息的破坏或冗余维度的过度调整。现有研究实际上已给出两条清晰线索：一条是静态的、由位置编码机制本身诱导的维度级频率不均匀性；另一条是动态的、受具体输入与上下文条件影响的头级/维度级激活差异。但这些结构特征在现有 PEFT 方法中大多仍停留在分析层面，尚未被系统转化为参数高效适配机制。
-\label{subsec:rw_simulation}
 
-% 注：需补充到ref.bib: krajzewicz2012sumo (Krajzewicz et al., SUMO, 2012)
+%----------------------------------------------------------------------
-% 注：需补充到ref.bib: zhang2019cityflow (Zhang et al., CityFlow, WWW 2019)
+\subsection{多尺度频谱分析与频域适配方法}
-% 注：需补充到ref.bib: yan2024opencity (Yan et al., OpenCity, arXiv 2024)
+\label{subsec:rw_spectral_peft}
-在真实城市运行环境中，系统状态持续演化并受多主体行为共同影响。仅依赖静态离线数据集难以全面评估模型在动态交互场景中的能力。
 
-在传统仿真领域，SUMO作为开源交通微观仿真平台，长期为交通系统研究提供基础实验设施\cite{}。% 注：需补充到ref.bib: krajzewicz2012sumo (Krajzewicz et al., SUMO - Simulation of Urban MObility, 2012)
+从参数更新的角度看，权重更新矩阵 $\Delta\mathbf{W}$ 可视为定义在参数索引上的二维信号，通过适当的线性变换（如傅里叶变换、小波变换）可将其分解为不同空间频率的成分。低频成分对应平滑缓变的全局模式，高频成分则捕获集中于特定区域的快速变化。
-CityFlow则面向大规模城市交通场景提供了支持强化学习接口的高性能仿真环境\cite{}。% 注：需补充到ref.bib: zhang2019cityflow (Zhang et al., CityFlow: A Multi-Agent Reinforcement Learning Environment for Large Scale City Traffic Scenario, WWW 2019)
-近年来，随着大语言模型智能体概念的兴起，面向城市场景的LLM智能体仿真平台开始出现。OpenCity通过系统优化与提示工程，实现了大规模LLM智能体的城市活动仿真\cite{}。% 注：需补充到ref.bib: yan2024opencity (Yan et al., OpenCity: A Scalable Platform to Simulate Urban Activities with Massive LLM Agents, arXiv:2410.21286)
-CityBench将交通预测、出行需求估计等多种城市任务纳入统一评测框架，支持对不同模型在多任务场景下的系统性能比较\cite{CityBench}。
 
-在面向模型开发的研究基础设施方面，LibCity\cite{Libcity}与DL-Traff\cite{Dl-traff}提供了标准化的数据处理流程与统一的模型评价接口，覆盖了包括交通速度预测、流量预测、轨迹恢复及行程时间估计在内的多类时空任务；TorchSpatial\cite{Torchspatial}则进一步将时空建模任务纳入模块化的实验框架，支持灵活的模型组合与实验配置。这些平台在促进实验可复现性与方法公平比较方面发挥了重要作用。然而，随着研究领域的快速发展，新模型与新数据集的持续涌现对平台的可扩展性提出了更高要求。现有平台在模型收录的持续性、评测流程的自动化程度以及跨平台实验结果的可比性方面仍存在提升空间。特别是，当评测对象从传统的预测模型扩展到大语言模型时，现有平台的任务组织方式与评测协议需要进行相应的适配与升级。
+在函数逼近论的框架下，深度网络在训练过程中存在频谱偏置（spectral bias），也被称为频率原则（F-Principle）——网络总是优先学习并快速逼近目标函数中频率较低的部分（对应全局拓扑与主导分类面），随后才逐渐且缓慢地适应高频部分（对应局部特异性与细粒度模式）\cite{rahaman2019spectral}。% 注：需补充到ref.bib: rahaman2019spectral (Rahaman et al., On the Spectral Bias of Neural Networks, ICML 2019)
+这意味着权重更新本身具有频谱级的结构特性。对全量微调下权重更新的频谱分析进一步揭示了一种能量与影响力的失配现象：高频成分在频谱能量上占主导地位但其影响范围局限于参数空间的有限子集；低频成分虽然能量较小，却影响着权重矩阵的大部分区域。这种从粗到细的适配模式表明，全局语义对齐依赖低频更新，而特定局部行为的修正则需要高频更新。
 
+受此启发，近年来开始出现将频域分析引入参数高效适配的探索。FourierFT 将权重更新视为空间域信号，在离散傅里叶域学习稀疏频谱系数，以少量频域参数表达空间域中的权重更新\cite{gao2024parameter}。由于离散傅里叶变换的复数开销，后续工作转向离散余弦变换（DCT）：SDCT 方法利用 DCT 的能量压缩特性进行选择性系数更新\cite{shen2024parameter}；LoCA 进一步基于逆 DCT 建模频域适配，不仅学习系数还学习哪些频率位置最有信息量，并给出频域近似与低秩近似表达力差异的理论比较\cite{du2025loca}。在多尺度结构方面，小波变换提供天然的多分辨率分解：WaveletFT 将离散小波变换引入权重更新建模，利用小波基的多分辨率特性同时捕获全局结构与局部细节\cite{hu2025waveletft}。
 
-\subsection{现有评测体系的局限性}
+上述方法共同表明，频谱视角为参数高效适配提供了有效的结构化建模语言。然而，现有频域 PEFT 方法多采用单一类型的变换基（纯 DCT、纯小波或纯傅里叶），较少同时利用不同频域基函数在全局与局部表示上的互补特性。此外，不同频率分量之间的依赖关系通常被忽略——各频段的更新独立进行，缺乏显式的跨频段信息传递与"从粗到细"的级联更新组织，这为面向多尺度频谱结构的参数级适配留下了空间。
-\label{subsec:rw_benchmark_limits}
 
-综合来看，当前时空智能评测体系虽在快速发展中，但仍存在若干不足，主要体现在以下方面。
+%----------------------------------------------------------------------
+\subsection{参数容量分配与结构学习}
+\label{subsec:rw_capacity_allocation}
 
-\textbf{（1）任务形态覆盖不足。}多数评测仍以离线数值预测为主要验证方式，对推理一致性、工具调用可执行性及多步决策能力的评估较少。CityBench\cite{CityBench}与MapEval等工作的出现表明社区已意识到这一缺口，但覆盖范围仍有限。
+当模型需要在多个异构任务间分配有限的可训练参数时，如何在容量约束下实现高效适配，本质上转化为一个结构学习问题。
 
-\textbf{（2）评测协议缺乏统一标准。}不同数据集与评测平台在数据划分方式、评价指标选择以及实验设置方面差异较大，导致实验结果难以形成统一的比较基准。现有评测框架多依赖人工维护，在可扩展性与持续更新能力方面存在不足。
+在更广泛的神经网络结构学习文献中，神经架构搜索（NAS）提供了自动化的结构设计路径。DARTS 通过将离散的架构选择松弛为连续优化问题，实现了可微分的架构搜索\cite{liu2019darts}，% 注：需补充到ref.bib: liu2019darts (Liu et al., DARTS, ICLR 2019)
+其核心思想——将离散结构决策转化为连续松弛后通过梯度优化求解——对后续参数高效适配中的结构学习具有方法论启示。
 
-\textbf{（3）时空敏感的推理评测资源不足。}现有问答类数据集在空间与时间信息的联合建模方面仍较为有限，缺乏同时包含精确空间位置信息与时间上下文、且对时空条件变化敏感的大规模评测语料。
+在模型压缩方面，彩票假说（Lottery Ticket Hypothesis）指出，在密集网络中存在稀疏子网络能够达到甚至超越完整网络的性能\cite{frankle2019lottery}。% 注：需补充到ref.bib: frankle2019lottery (Frankle & Carlin, Lottery Ticket Hypothesis, ICLR 2019)
+这一发现表明模型参数空间中存在结构化的功能分布，有效容量可能集中在某些子结构上。在大语言模型场景下，运动剪枝通过训练过程中的参数重要性评估实现结构化稀疏\cite{sanh2020movement}，SHiRA 则表明高秩稀疏更新在相同预算下可获得强于低秩稠密更新的表达能力\cite{shiracite}。
 
-\textbf{（4）方法评测与系统评测尚未形成闭环。}在方法层面提出的适配策略，往往缺乏在统一且具有持续性的评测框架下进行系统验证的条件。从方法设计到实验验证再到工程应用之间的链路尚不完整。
+从更一般的视角看，参数高效适配本身也是一种"预算约束下的结构化容量分配"。AdaLoRA 通过在层/矩阵间非均匀分配低秩预算，已将"容量分配"显式化\cite{zhang2023adalora}；LISA 通过层重要性采样与大量层冻结，在不增加额外模块的前提下实现"跨层容量重分布"\cite{pan2024lisa}。在多任务共享方面，任务向量（task vectors）与任务算术（task arithmetic）提出在权重空间用"微调差分向量"表征任务能力，并通过向量加减实现能力组合与编辑，为"共享—特有"的参数分解提供了另一类视角\cite{}。% 注：需补充到ref.bib: ilharco2023editing (Ilharco et al., Editing Models with Task Arithmetic, ICLR 2023)
 
-上述局限表明，构建能够支持多任务、多阶段验证以及持续更新的评测基础设施，对于推动时空智能建模方法的系统化研究具有重要意义。这也为本文第六章构建面向时空智能的评测体系提供了直接动机。
+然而，当问题推进到多任务条件下，复杂度进一步提升。此时不仅要回答"哪些参数值得更新"，还要回答"哪些更新应由所有任务共享，哪些应保留为任务特有"。现有方法多依赖预先设定的共享规则或简单的任务标识路由，缺乏能够在统一预算约束下同时学习共享结构与特有结构的系统化机制。如何将结构发现从"给定结构下的参数学习"提升为"结构与参数的联合优化"，仍是当前多任务适配研究中的开放问题。
+
+\begin{figure}[htbp]
+\centering
+% 占位：待替换为外部绘制的 2_heterogeneity_levels.pdf
+% \includegraphics[width=0.9\textwidth]{assets/2_heterogeneity_levels.pdf}
+\caption{大语言模型内部多层级结构异质性的表现与适配对应关系。该图采用左右两栏布局：
+\textbf{左栏}（结构异质性层级）自上而下展示四个层级的异质性现象，每层配一个小型示意：
+（1）模块级（$\mathcal{R}_{mod}$）：MHSA与FFN功能分工示意（上下文路由 vs 知识存储），用不同色块标注；
+（2）维度级（$\mathcal{R}_{dim}$）：RoPE不同维度对的激活强度热图（高频维度弱激活、低频维度强激活）；
+（3）频谱级（$\mathcal{R}_{spec}$）：权重更新矩阵的频谱分解示意（低频全局平滑 + 高频局部修正）；
+（4）参数级（$\mathcal{R}_{param}$）：多任务参数分配示意（冻结/共享/专用三种状态的参数组）。
+\textbf{右栏}（对应适配方法）与左栏四个层级一一对齐，标注本文对应的方法名、调制形式与章节：
+HyCAM（乘性，Ch3）、RoSA$\to$DyPAM（乘性，Ch4$\to$Ch5）、CASCADE（组合式，Ch6）、MESSA（结构分解，Ch6）。
+左右栏之间用虚线箭头连接，表示"结构异质性$\to$结构感知适配"的映射关系。}
+\label{fig:ch2_heterogeneity_levels}
+\end{figure}
 
 
 %======================================================================
 \section{本章小结}
 \label{sec:rw_summary}
 
-本章围绕城市时空数据建模与基础模型适配问题，对相关领域的研究现状进行了系统梳理。
+本章围绕大语言模型表征适配的相关理论与研究进展，从架构基础、参数高效微调方法、多任务学习机制以及结构异质性感知方法四个方面进行了系统综述。
 
-在时空建模方面，方法演进由传统统计建模经历深度时空表征学习，逐步走向以基础模型为代表的通用表示构建路径。传统时空统计方法在可解释性与不确定性建模方面具有学理优势，其建立的空间依赖、时间非平稳性与层次化不确定性等概念，为后续深度表征学习中归纳偏置的设计提供了理论先导。以图神经网络与Transformer为代表的深度方法通过端到端学习显著提升了复杂模式建模能力，形成了覆盖栅格建模、图结构建模与长序列建模的完整方法体系。然而，这些方法多围绕单一任务进行设计，在多任务协同与跨场景迁移方面仍面临泛化能力不足的问题。大语言模型的引入为统一建模提供了新路径，但现有探索多停留在输入对齐与格式转换层面，对模型内部表示结构与时空数据特征之间的协调关注不足。
+在架构基础方面，Transformer 内部不同组件在信息处理中承担差异化功能角色：自注意力模块负责上下文路由与依赖建模，前馈网络作为键值记忆结构承担知识存储与非线性映射。RoPE 位置编码通过维度对相关的旋转变换引入了系统性的频率分解结构，使不同维度对在位置信息编码中承担不同功能。此外，层间角色梯度、头间功能分工（包括具有明确算法功能的 induction heads 等可解释结构）、维度级极端激活现象以及参数更新的频谱偏置，共同揭示了模型内部多层次的结构异质性。
 
-在适配方法方面，参数高效微调技术在降低适配成本的同时保持了较好的任务性能，已成为主流技术路径。然而，如第~\ref{subsec:rw_peft_discussion}~节的对比分析所示，现有方法在结构感知的粒度与深度、理论统一性以及与时空数据结构的关联等方面仍存在系统性不足。具体而言：LoRA等方法默认在模型各层与各投影矩阵上施加均匀的低秩约束，未能利用模型内部的结构角色差异；多任务路由机制揭示了模块级功能分化的必要性，但缺乏与时空任务结构特征的系统关联；表示各向异性与位置编码分析揭示了维度级功能差异的存在，但尚未被有效转化为适配机制的设计依据；频谱偏置与多尺度建模方法表明参数更新本身具有频谱级结构特性，但现有频域PEFT方法多采用单一变换基，缺乏跨频段的信息传递机制。上述研究从不同角度为结构感知的非均匀适配提供了理论与实证基础，但各方法之间缺乏统一的形式化框架加以整合。
+在参数高效适配方面，低秩适配、附加式与提示类适配、选择式与稀疏微调三类方法从不同角度降低了适配成本，已成为主流技术路径。然而，多数方法在模型不同层和模块上施加形式一致的更新策略，对模型内部结构特征的利用仍然有限。即使 AdaLoRA 等改进工作已开始引入非均匀预算分配，其建模对象也主要是局部重要性而非系统性的结构角色差异。
 
-在评测体系方面，现有研究虽积累了丰富的数据资源与实验经验，但在任务形态覆盖、评测协议统一性以及方法-系统闭环等方面仍存在改进空间。特别是缺乏面向时空敏感推理的大规模评测资源，以及支持持续更新与多阶段评估的基础设施。这些不足限制了适配方法在接近实际应用环境的条件下得到系统验证。
+在多任务学习方面，梯度冲突处理与混合专家路由机制为应对多任务异质性提供了有效工具，多任务 PEFT 方法在此基础上引入共享与专用结构以及动态路由思想。但现有方法的建模粒度多停留在任务级或专家级，较少与模型内部的模块功能角色差异建立系统关联。
 
-综上所述，当前研究在以下三个方面存在进一步探索空间：（1）如何在统一框架下刻画并利用模型内部的结构角色差异；（2）如何从模块级、维度级、频谱级与参数级等多个层面设计结构感知的适配机制；（3）如何构建支撑复杂时空任务验证的评测基础设施，形成方法-数据-系统闭环。后续各章将分别从模块级（第三章）、维度级（第四章）、频谱级与参数级（第五章）以及评测基础设施（第六章）等层面，对第~\ref{sec:unified_framework}~节提出的统一分析框架进行逐层实例化与实验验证。
+在结构感知方面，维度级激活异质性研究揭示了静态的频率不均匀性与动态的输入依赖激活差异两条线索；频域适配方法初步证明了频谱视角对参数更新建模的价值，但在跨频段依赖与多尺度异构更新的联合建模上仍有不足；参数容量分配研究则从结构学习角度提出了问题，但在多任务条件下的"共享—特有"联合分配仍缺乏系统框架。
+
+综合以上分析，当前研究在三个方面仍有进一步探索空间：（1）如何在统一框架下刻画并利用模型内部多层级的结构角色差异；（2）如何从模块级、维度级到参数级系统设计结构感知的适配机制；（3）如何在多任务场景下实现共享能力与任务特化能力的有效协调。围绕上述问题，后续各章将分别对应模块级方法HyCAM、维度级静态方法RoSA、维度级动态方法DyPAM，以及参数空间中的CASCADE和MESSA，在第~\ref{sec:unified_framework}~节提出的统一分析框架下逐层展开方法设计与实验验证。

chap03.tex

@@ -1,49 +1,49 @@
-% 第三章 模块角色感知的多任务时空表征学习方法
+% 第三章 基于模块功能角色感知的多任务表征适配方法
-\chapter{模块角色感知的多任务时空表征学习方法}
+\chapter{基于模块功能角色感知的多任务表征适配方法}
 \label{chap:hycam}
 
 \section{本章概述}
 \label{sec:ch3_overview}
 
-第一章建立了基于结构感知调制的统一分析框架（式~\ref{eq:ch1_unified_M}），将时空数据在大语言模型不同层级所诱导的结构差异归纳为四类结构异质性，并统一刻画为乘性调制、组合式调制与结构分解调制三种基本形式。在该统一框架下，不同方法可理解为针对特定结构角色描述符$\mathcal{R}$的具体实例化。本章作为方法体系的第一部分，聚焦于\emph{模块级功能异质性}（$\mathcal{R}_{mod}$）。
+本章开始进入本文方法体系的\emph{表示空间}层，首先研究模块级功能异质性问题。第一章建立了基于结构感知调制的统一分析框架（式~\ref{eq:ch1_unified_M}），将大语言模型不同层级所呈现的结构差异归纳为四类结构异质性，并统一刻画为乘性调制、组合式调制与结构分解调制三种基本形式。在该统一框架下，不同方法可理解为针对特定结构角色描述符$\mathcal{R}$的具体实例化。本章作为方法体系的第一部分，聚焦于\emph{模块级功能异质性}（$\mathcal{R}_{mod}$）。
 
-在城市多任务时空建模场景中，模型需要在统一表示空间内同时刻画多任务共享规律与任务特有结构，这对模型内部不同计算模块的协同方式提出了更高要求。从表示机制来看，Transformer架构中的自注意力模块与前馈网络模块在功能上存在显著差异：自注意力模块主要负责输入上下文之间的依赖建模与信息整合，而前馈网络模块则更多承担参数化知识表达与非线性映射功能。这种功能分工使得不同模块在表征学习过程中承担不同的结构角色。
+在多任务适配场景中，模型需要在统一表示空间内同时刻画多任务共享规律与任务特有结构，这对模型内部不同计算模块的协同方式提出了更高要求。从表示机制来看，Transformer架构中的自注意力模块与前馈网络模块在功能上存在显著差异：自注意力模块主要负责输入上下文之间的依赖建模与信息整合，而前馈网络模块则更多承担参数化知识表达与非线性映射功能。这种功能分工使得不同模块在表征学习过程中承担不同的结构角色。
 
-然而，现有适配方法通常采用均匀式参数更新或统一形式的表示调制策略，将不同模块视为等价的可调对象。该类方法一方面可能对预训练模型中已形成的知识结构产生干扰，另一方面也难以针对承担关键表征功能的模块进行有效调控，从而限制模型在复杂多任务时空场景中的适配能力。
+然而，现有适配方法通常采用均匀式参数更新或统一形式的表示调制策略，将不同模块视为等价的可调对象。该类方法一方面可能对预训练模型中已形成的知识结构产生干扰，另一方面也难以针对承担关键表征功能的模块进行有效调控，从而限制模型在复杂多任务场景中的适配能力。
 
 针对上述问题，本章从模块级结构角色差异出发，研究基于表示流调制的结构感知适配方法。在统一框架下，该问题可表述为：在$\mathcal{R}_{mod}$约束下，构造依赖于输入与任务条件的调制算子$\mathcal{M}_\theta$，以对自注意力表示进行差异化调控。对应地，本章方法属于乘性调制形式（式~\ref{eq:ch1_multiplicative}），通过对注意力表示流施加输入条件化的门控信号，实现对关键信息通道的选择性增强与抑制。
 
 在具体实现上，本章首先构建上下文注意力调制（Contextual Attention Modulation, CAM）机制，通过通道级乘性调制对自注意力输出进行输入依赖的动态调整；在此基础上，进一步构建混合上下文注意力调制框架（Hybrid Contextual Attention Modulation, HyCAM），通过共享调制模块与任务特有调制模块的结构组合，并结合动态路由机制，在统一模型中实现跨任务知识共享与任务特定表达之间的协调。
 
-本章后续安排如下：第~\ref{sec:ch3_problem}~节分析城市多任务时空建模中的模块级结构异质性问题；第~\ref{sec:ch3_cam_mechanism}~节介绍基于模块角色感知的表示流调制机制；第~\ref{sec:ch3_hycam}~节给出混合上下文注意力调制框架；第~\ref{sec:ch3_routing}~节介绍动态路由与协同训练机制；第~\ref{sec:ch3_experiments}~节进行实验验证与结果分析；第~\ref{sec:ch3_summary}~节对本章内容进行总结。
+本章后续安排如下：第~\ref{sec:ch3_problem}~节分析多任务适配中的模块级结构异质性问题；第~\ref{sec:ch3_cam_mechanism}~节介绍基于模块角色感知的表示流调制机制；第~\ref{sec:ch3_hycam}~节给出混合上下文注意力调制框架；第~\ref{sec:ch3_routing}~节介绍动态路由与协同训练机制；第~\ref{sec:ch3_experiments}~节进行实验验证与结果分析；第~\ref{sec:ch3_summary}~节对本章内容进行总结。
 
-\section{多任务时空建模问题与结构分析}
+\section{多任务适配问题与结构分析}
 \label{sec:ch3_problem}
 
-\subsection{城市多任务时空建模的研究背景}
+\subsection{大语言模型多任务适配的研究背景}
 \label{subsec:ch3_background}
 
-城市系统本质上是由人、地、设施、交通、事件与服务等多类实体耦合形成的复杂开放系统，其运行过程伴随着持续产生的多源时空数据。随着城市数字化基础设施与智能感知体系的不断完善，围绕城市治理、公共服务、交通调度、空间规划与城市计算所形成的建模任务，正在从传统单任务分析逐步转向面向统一城市智能体的多任务协同建模范式。典型任务包括城市问答与知识检索、时空事件理解、地点语义识别、行为模式分析、城市功能分类、交通状态预测以及基于复杂上下文的决策支持等。
+随着大语言模型在实际应用中的不断推广，智能任务的形态正由单一目标优化逐步演进为面向多任务协同与多需求融合的综合建模问题。在真实应用环境中，不同任务在输入形式、推理模式与决策目标等方面往往存在显著差异，例如逻辑推理、专业领域问答、代码生成、信息检索以及通用指令跟随等任务在表示需求上具有不同侧重点。这种多维度任务需求使模型需要在统一表示框架下同时具备共享能力与任务特化能力。
 
-与一般文本任务不同，城市多任务时空建模具有更强的结构复杂性。首先，不同任务虽然在表面目标上存在差异，但往往共享同一城市系统中的实体知识、语义关系与行为规律。例如，地点问答任务依赖位置实体之间的关系理解，轨迹语义分析依赖区域功能与时段模式知识，而城市事件解释则需要同时融合空间邻近性、时间先后关系与社会语义背景。其次，不同任务对模型内部表示的需求并不一致：有些任务更强调局部语境对齐，有些任务更依赖长程依赖建模，还有些任务则更需要对少量关键上下文线索进行精细选择。这意味着，城市多任务时空建模不仅是多个目标函数的并列优化问题，更是一个关于\emph{如何在共享预训练知识基础上进行结构化上下文重组}的问题。
+从表示学习视角来看，多任务场景中的共享性与差异性并存。不同任务虽然在表面目标上存在差异，但往往共享预训练模型中积累的通用知识与语义表示能力。例如，逻辑推理任务依赖多步推理链的组织，代码生成依赖结构化符号的精确表达，而信息检索问答则需要从大量上下文中选择关键证据并进行整合。其次，不同任务对模型内部表示的需求并不一致：有些任务更强调局部语境对齐，有些任务更依赖长程依赖建模，还有些任务则更需要对少量关键上下文线索进行精细选择。这意味着，多任务适配不仅是多个目标函数的并列优化问题，更是一个关于\emph{如何在共享预训练知识基础上进行结构化上下文重组}的问题。
 
-大语言模型经过大规模语料预训练后，已经具备较强的通用知识记忆与上下文推理能力，因此为城市多任务时空建模提供了新的技术路径。相比传统时空模型，大语言模型能够在统一表示空间内处理异构任务，并通过指令化输入自然支持问答、推理、生成与解释等复杂目标。然而，这种能力并不意味着模型能够直接适配复杂城市任务。一方面，通用预训练知识与具体城市任务之间存在明显的语义与结构落差；另一方面，若直接采用传统全参数微调方式，这种数据知识偏差会使模型优化时容易破坏既有预训练结构，导致灾难性遗忘、任务干扰与适配不稳定等问题。因此，如何在保留预训练基础能力的同时，使模型对城市多任务时空上下文形成更细粒度、更具针对性的响应机制，成为本章关注的核心问题。
+大语言模型经过大规模语料预训练后，已经具备较强的通用知识记忆与上下文推理能力，因此为多任务协同建模提供了统一的技术路径。大语言模型能够在统一表示空间内处理异构任务，并通过指令化输入自然支持问答、推理、生成与解释等复杂目标。然而，这种通用能力并不意味着模型能够直接适配所有复杂多任务场景。一方面，通用预训练知识与具体下游任务之间存在明显的语义与结构落差；另一方面，若直接采用传统全参数微调方式，容易破坏既有预训练结构，导致灾难性遗忘、任务干扰与适配不稳定等问题。因此，如何在保留预训练基础能力的同时，使模型对复杂多任务上下文形成更细粒度、更具针对性的响应机制，成为本章关注的核心问题。
 
-\subsection{城市多任务时空建模中的模块级结构异质性}
+\subsection{多任务适配中的模块级结构异质性}
 \label{subsec:ch3_module_hetero}
 
-从第~\ref{sec:unified_framework} 节所提出的统一分析框架出发，本文认为，大语言模型在适配时空任务时面临的关键困难之一，在于其内部不同功能模块并非同质、等价地参与任务建模，而是具有显著的\emph{结构角色异质性}。具体到 Transformer 架构，不同子模块在表征生成过程中承担不同的功能角色：自注意力模块侧重于建模输入上下文之间的依赖关系，负责动态组织、选择与融合时序和语义线索；前馈网络（FFN）则更多承担参数化知识存储与非线性映射功能，形成模型的静态知识基础。
+从第~\ref{sec:unified_framework} 节所提出的统一分析框架出发，本文认为，大语言模型在适配下游任务时面临的关键困难之一，在于其内部不同功能模块并非同质、等价地参与任务建模，而是具有显著的\emph{结构角色异质性}。具体到 Transformer 架构，不同子模块在表征生成过程中承担不同的功能角色：自注意力模块侧重于建模输入上下文之间的依赖关系，负责动态组织、选择与融合时序和语义线索；前馈网络（FFN）则更多承担参数化知识存储与非线性映射功能，形成模型的静态知识基础。
 
-对于城市时空任务而言，这种差异尤为重要。城市多任务场景中的输入通常包含地点、时间、实体关系、事件描述、用户意图与背景语义等复合信息。模型能否正确完成任务，很大程度上并不只取决于其是否“记住”了某类知识，更取决于其能否在具体上下文中\emph{动态组织这些知识}，并将注意力聚焦于与当前任务目标最相关的时空线索之上。换言之，问题的关键不完全是“增加任务知识”，而更在于“重新组织知识与上下文之间的匹配方式”。
+对于复杂多任务场景而言，这种差异尤为重要。复杂多任务场景中的输入通常包含多种类型的实体关系、背景知识、推理链条、用户意图与上下文语义等复合信息。模型能否正确完成任务，很大程度上并不只取决于其是否”记住”了某类知识，更取决于其能否在具体上下文中\emph{动态组织这些知识}，并将注意力聚焦于与当前任务目标最相关的上下文线索之上。换言之，问题的关键不完全是“增加任务知识”，而更在于“重新组织知识与上下文之间的匹配方式”。
 
-从这一视角出发，若采用均匀式适配策略，将所有模块都视为等价可调对象，则可能带来两类问题。第一，过度更新 FFN 等参数规模较大的知识承载模块，会改变预训练阶段已形成的通用知识分布，增加灾难性遗忘风险。第二，若缺乏对自注意力上下文组织机制的定向调节，则模型即便保留了知识，也可能无法在复杂多任务场景中正确选择与整合这些知识，从而表现为任务间干扰、泛化能力不足与适配效率下降。因此，从模块级结构异质性的角度出发，面向城市多任务时空建模的高效适配，更合理的路径应当是：在尽量保持预训练知识主体结构稳定的前提下，重点对上下文组织路径进行有针对性的调制。
+从这一视角出发，若采用均匀式适配策略，将所有模块都视为等价可调对象，则可能带来两类问题。第一，过度更新 FFN 等参数规模较大的知识承载模块，会改变预训练阶段已形成的通用知识分布，增加灾难性遗忘风险。第二，若缺乏对自注意力上下文组织机制的定向调节，则模型即便保留了知识，也可能无法在复杂多任务场景中正确选择与整合这些知识，从而表现为任务间干扰、泛化能力不足与适配效率下降。因此，从模块级结构异质性的角度出发，面向多任务适配的高效适配，更合理的路径应当是：在尽量保持预训练知识主体结构稳定的前提下，重点对上下文组织路径进行有针对性的调制。
 
 \subsection{从均匀适配到结构感知调制}
 \label{subsec:ch3_uniform_to_aware}
 
-现有全参数微调与多数参数高效微调方法，本质上大多采用某种形式的均匀适配思想，即默认模型内部所有参数或所有目标层具有相近的适配地位，仅通过统一的增量更新方式来完成任务迁移。然而，在城市多任务时空场景中，不同任务之间既存在共享的城市常识、空间语义与时序规律，又存在对特定上下文结构的差异化偏好。例如，城市问答任务可能更依赖局部实体关系的精细选择，城市事件解释任务更强调长程上下文整合，而交通语义分析类任务则更关注周期性模式与条件依赖。这些任务需求并不是通过统一的低秩增量便可充分表达的。
+现有全参数微调与多数参数高效微调方法，本质上大多采用某种形式的均匀适配思想，即默认模型内部所有参数或所有目标层具有相近的适配地位，仅通过统一的增量更新方式来完成任务迁移。然而，在复杂多任务场景中，不同任务之间既存在共享的通用知识与语义规律，又存在对特定上下文结构的差异化偏好。例如，逻辑推理任务可能更依赖多步推理链的精细组织，代码生成任务更强调结构化依赖的长程追踪，而信息检索问答任务则更关注证据选择与上下文整合。这些任务需求并不是通过统一的低秩增量便可充分表达的。
 
-基于此，本章延续第~\ref{sec:unified_framework} 节建立的统一建模视角，认为更合理的适配方式应当是引入\emph{结构感知的非均匀调制}：不再对模型内部所有部分施加同质更新，而是根据不同模块的结构角色，对更适合承担时空任务适配职责的表示流进行定向调控。在本章中，所关注的结构角色记为
+基于此，本章延续第~\ref{sec:unified_framework} 节建立的统一建模视角，认为更合理的适配方式应当是引入\emph{结构感知的非均匀调制}：不再对模型内部所有部分施加同质更新，而是根据不同模块的结构角色，对更适合承担任务适配职责的表示流进行定向调控。在本章中，所关注的结构角色记为
 \begin{equation}
 \mathcal{R}_{mod},
 \label{eq:ch3_module_role}
@@ -62,27 +62,27 @@
 \Big),
 \label{eq:ch3_unified_modulation}
 \end{equation}
-其中，$\mathbf{X}$ 表示输入时空样本或时空指令序列，$\mathbf{H}_{att}^{(\ell)}$ 表示第 $\ell$ 层自注意力模块的输出表示，$\mathcal{M}_{\theta}^{mod}$ 表示面向模块角色异质性的结构感知调制算子，而 $\tilde{\mathbf{H}}_{att}^{(\ell)}$ 则是调制后的上下文表示。该公式表明，本章方法并不直接重写整个模型的参数空间，而是在保留骨干模型 $\Theta_0$ 主体稳定的前提下，对承担上下文组织功能的注意力表示流进行输入条件化调制。
+其中，$\mathbf{X}$ 表示输入样本或指令序列，$\mathbf{H}_{att}^{(\ell)}$ 表示第 $\ell$ 层自注意力模块的输出表示，$\mathcal{M}_{\theta}^{mod}$ 表示面向模块角色异质性的结构感知调制算子，而 $\tilde{\mathbf{H}}_{att}^{(\ell)}$ 则是调制后的上下文表示。该公式表明，本章方法并不直接重写整个模型的参数空间，而是在保留骨干模型 $\Theta_0$ 主体稳定的前提下，对承担上下文组织功能的注意力表示流进行输入条件化调制。
 
 在具体实现上，本章将这种模块级调制设计为一种乘性残差调制机制，即通过上下文驱动的调制信号，对自注意力输出表示中的关键维度进行增强或抑制，从而改变信息流在后续层中的传播方式。其核心思想是：若预训练模型已经具备较强的通用知识，则多任务适配的关键不一定是重写知识本身，而更在于改变\emph{知识被调用、组织与融合的方式}。这一思想构成了本章所提出方法 HyCAM 的理论出发点。
 
 \subsection{本章研究目标与技术路线}
 \label{subsec:ch3_goal}
 
-基于上述分析，本章聚焦于城市多任务时空建模中的模块级异质性问题，主要关注以下三个方面：
+基于上述分析，本章聚焦于多任务适配中的模块级异质性问题，主要关注以下三个方面：
 
-第一，在大语言模型适配城市多任务场景时，是否可以通过优先调制自注意力表示流而非大规模修改骨干参数，获得更优的知识保持与任务适配平衡？
+第一，在大语言模型适配多任务场景时，是否可以通过优先调制自注意力表示流而非大规模修改骨干参数，获得更优的知识保持与任务适配平衡？
 
 第二，在多任务建模中，如何同时兼顾跨任务共享知识与任务特有模式，使模型能够在统一框架中实现共享与专用能力的协同？
 
-第三，在面向多种城市任务的联合建模过程中，如何通过动态路由机制使不同适配分支获得更合理的使用，从而缓解任务冲突与专家塌缩问题？
+第三，在面向多种异质任务的联合建模过程中，如何通过动态路由机制使不同适配分支获得更合理的使用，从而缓解任务冲突与专家塌缩问题？
 
-围绕这些问题，本章提出一种模块角色感知的多任务时空表征学习方法，其总体技术路线如图~\ref{fig:ch3_framework} 所示（图为占位，后续可根据论文总图风格统一重绘）。该方法首先构造上下文注意力调制机制（Contextual Attention Modulation, CAM），对每层自注意力输出进行输入条件化调制；随后，在此基础上进一步提出混合式上下文注意力调制框架（Hybrid Contextual Attention Modulation, HyCAM），通过“共享 CAM + 专用 CAM + 动态路由”的结构实现多任务协同建模。整体上，本章的方法可统一理解为一种\emph{模块角色感知的表示流调制方法}，它为后续第四章从维度级进一步研究位置结构与表示各向异性问题提供了基础。
+围绕这些问题，本章提出一种基于模块功能角色感知的多任务表征适配方法，其总体技术路线如图~\ref{fig:ch3_framework} 所示。该方法首先构造上下文注意力调制机制（Contextual Attention Modulation, CAM），对每层自注意力输出进行输入条件化调制；随后，在此基础上进一步提出混合式上下文注意力调制框架（Hybrid Contextual Attention Modulation, HyCAM），通过“共享 CAM + 专用 CAM + 动态路由”的结构实现多任务协同建模。整体上，本章的方法可统一理解为一种\emph{模块角色感知的表示流调制方法}，它为后续第四章从维度级进一步研究位置结构与表示各向异性问题提供了基础。
 
 \begin{figure}[htp]
     \centering
     \includegraphics[width=0.82\linewidth]{assets/3_model.pdf}
-    \caption{模块角色感知的多任务时空表征学习总体框架示意图。}
+    \caption{基于模块功能角色感知的多任务表征适配总体框架示意图。}
     \label{fig:ch3_framework}
 \end{figure}
 
@@ -92,7 +92,7 @@
 \subsection{问题形式化}
 \label{subsec:ch3_formulation}
 
-在城市多任务时空建模场景下，设训练数据集为
+在多任务适配场景下，设训练数据集为
 \begin{equation}
 \mathcal{D}
 =
@@ -101,7 +101,7 @@
 \right\}_{i=1}^{N},
 \label{eq:ch3_dataset}
 \end{equation}
-其中，$\mathbf{X}_i$ 表示第 $i$ 个输入样本，可由地点序列、事件描述、时间提示、空间关系文本、指令模板及其他结构化时空上下文组成；$\mathbf{Y}_i$ 表示对应的目标输出；$\tau_i \in \mathcal{T}$ 表示该样本所属的任务类型，$\mathcal{T}$ 为任务集合。对于城市多任务场景，$\mathcal{T}$ 可对应于城市问答、时空推理、地点语义生成、事件解释、辅助决策等不同子任务。骨干大语言模型的预训练参数记为 $\Theta_0$，本章的适配参数记为 $\Theta_a$，则最终模型可统一写为
+其中，$\mathbf{X}_i$ 表示第 $i$ 个输入样本，可由自然语言指令、问题描述、上下文信息、结构化输入及其他任务相关上下文组成；$\mathbf{Y}_i$ 表示对应的目标输出；$\tau_i \in \mathcal{T}$ 表示该样本所属的任务类型，$\mathcal{T}$ 为任务集合。$\mathcal{T}$ 可对应于逻辑推理、专业领域问答、代码生成、信息检索、通用指令跟随等不同子任务。骨干大语言模型的预训练参数记为 $\Theta_0$，本章的适配参数记为 $\Theta_a$，则最终模型可统一写为
 \begin{equation}
 \Theta = \Theta_0 + \Delta \Theta(\Theta_a),
 \label{eq:ch3_theta_decompose}
@@ -148,7 +148,7 @@
 
 之所以选择自注意力模块作为核心调制对象，原因在于其在预训练语言模型中承担着比 FFN 更直接的上下文组织职责。FFN 虽然在参数规模上占据主导地位并承载预训练知识，但其作用更接近于位置独立的非线性变换。相比之下，自注意力模块通过 Query、Key、Value 之间的交互显式建模不同 token 间的依赖关系，是输入上下文信息聚合与任务相关证据选择的关键场所。
 
-在城市时空任务中，这一点尤为关键。例如，当输入涉及“某时间段内某区域附近设施与事件的关系”时，模型需要从多个地点、实体、时间表达中选择与任务最相关的线索，并依据任务意图动态调整不同上下文成分的重要性。若仍沿用均匀式参数更新，则模型往往只能通过低效的全局增量来“间接”修正上下文组织方式；而若直接在注意力输出处引入调制，则能够更直接地改变上下文信息的流向与组合方式。因此，从结构角色层面看，自注意力模块是实现任务专门化与知识保持平衡的更优切入点，提供了更直接、可控的上下文组织调节点。
+在复杂多任务场景中，这一点尤为关键。例如，当输入涉及需要从多种知识来源中选择关键线索的复杂推理问题时，模型需要从多个实体、概念、上下文片段中选择与任务最相关的线索，并依据任务意图动态调整不同上下文成分的重要性。若仍沿用均匀式参数更新，则模型往往只能通过低效的全局增量来“间接”修正上下文组织方式；而若直接在注意力输出处引入调制，则能够更直接地改变上下文信息的流向与组合方式。因此，从结构角色层面看，自注意力模块是实现任务专门化与知识保持平衡的更优切入点，提供了更直接、可控的上下文组织调节点。
 
 从表示学习角度进一步理解，$\mathbf{H}_{att}^{(\ell)}$ 并不是静态知识本体，而是\emph{在当前上下文条件下对知识进行组织后的中间结果}。因此，对 $\mathbf{H}_{att}^{(\ell)}$ 施加适度、输入驱动的调制，本质上是在改变模型对已有知识的调用模式，而非粗暴覆盖预训练知识本身。这一差异使得本章方法天然更适合用于多任务场景：不同任务可以通过不同调制模式，选择性地突出最有用的上下文特征，而共享的预训练知识底座则得以较好保留。
 
@@ -246,7 +246,7 @@
 \end{equation}
 这意味着 CAM 在训练初期近似保持恒等映射，不会改变预训练模型的原始行为，并在训练过程中逐步学习对表示流的有效调制，从而兼顾训练稳定性与知识保持能力。
 
-在城市多任务场景中，这一设计尤为重要。由于不同任务共享同一预训练骨干模型，若某一任务在训练早期对模型施加过强更新，往往会对其他任务可用的通用知识造成损害。零初始化策略在一定程度上抑制了这种早期干扰，使不同任务的影响更多体现在对上下文组织方式的渐进式修正上，而非对模型知识底座的立即重写。
+在多任务场景中，这一设计尤为重要。由于不同任务共享同一预训练骨干模型，若某一任务在训练早期对模型施加过强更新，往往会对其他任务可用的通用知识造成损害。零初始化策略在一定程度上抑制了这种早期干扰，使不同任务的影响更多体现在对上下文组织方式的渐进式修正上，而非对模型知识底座的立即重写。
 
 \subsection{共享与专用调制的协同设计}
 \label{subsec:ch3_cam_to_hycam}
@@ -258,7 +258,7 @@ HyCAM 的本质仍然遵循式~\eqref{eq:ch3_mod_residual} 的统一母式，只
 \subsection{共享调制模块}
 \label{subsec:ch3_shared_cam}
 
-共享 CAM 模块用于建模跨任务共享的上下文调制模式，例如一般性的实体对齐模式、语义匹配结构、时间条件约束的基础表达以及城市语义理解中常见的共性线索。设第 $\ell$ 层共享 CAM 的投影矩阵为
+共享 CAM 模块用于建模跨任务共享的上下文调制模式，例如一般性的实体对齐模式、语义匹配结构与通用上下文组织规律。设第 $\ell$ 层共享 CAM 的投影矩阵为
 \begin{equation}
 \mathbf{W}_{sh}^{(\ell)} \in \mathbb{R}^{d \times d},
 \label{eq:ch3_shared_proj}
@@ -279,7 +279,7 @@ HyCAM 的本质仍然遵循式~\eqref{eq:ch3_mod_residual} 的统一母式，只
 \subsection{专用调制模块}
 \label{subsec:ch3_spec_cam}
 
-与共享 CAM 相对，专用 CAM 模块旨在建模任务差异性更强的上下文调制模式。例如，不同城市任务可能对上下文依赖范围、关键线索类型与局部模式选择具有不同偏好：时空问答更注重实体关系和条件约束，城市事件生成更强调长程语义结构，代码或规则生成类任务则对符号化依赖更为敏感。因此，引入 $N_s$ 个专用调制模块以刻画不同潜在模式。
+与共享 CAM 相对，专用 CAM 模块旨在建模任务差异性更强的上下文调制模式。例如，不同任务可能对上下文依赖范围、关键线索类型与局部模式选择具有不同偏好：推理任务更注重多步逻辑链的组织，专业问答更强调领域知识的精确检索，代码生成类任务则对符号化依赖更为敏感。因此，引入 $N_s$ 个专用调制模块以刻画不同潜在模式。
 
 设专用 CAM 模块的个数为 $N_s$，第 $k$ 个专用模块在第 $\ell$ 层的调制信号定义为
 \begin{equation}
@@ -328,7 +328,7 @@ k = 1,\dots,N_s.
 
 在 HyCAM 中，共享 CAM 提供跨任务的公共调制基础，而多个专用 CAM 则提供潜在的任务特化能力。然而，仅有多个专用分支并不足以自动形成有效的多任务协同。其根本原因在于：不同输入样本所对应的任务结构、上下文模式和难点位置并不相同，因此各专用分支对不同样本的重要性也必然不同。若简单地平均融合所有专用 CAM，则模型难以形成明确的功能分工；若为每个任务静态绑定固定专家，又会削弱对任务内部异质性与输入级细粒度差异的适应能力。
 
-城市多任务时空场景尤其需要动态路由。即便同属于“城市问答”任务，不同样本也可能分别强调空间邻近关系、时间顺序关系、设施属性关系或常识推断关系。静态分配无法充分表达这种输入级差异。因此，HyCAM 引入基于输入上下文的软路由机制，对专用 CAM 的贡献进行逐 token 或逐样本的动态加权，从而实现更细粒度的知识调用。
+复杂多任务场景尤其需要动态路由。即便同属于某一特定任务类型，不同样本也可能分别强调逻辑推理关系、实体属性关系、因果关联或常识推断关系。静态分配无法充分表达这种输入级差异。因此，HyCAM 引入基于输入上下文的软路由机制，对专用 CAM 的贡献进行逐 token 或逐样本的动态加权，从而实现更细粒度的知识调用。
 
 \subsection{基于输入上下文的路由权重生成}
 \label{subsec:ch3_router_weight}
@@ -419,7 +419,7 @@ p_{b,k},
 \label{eq:ch3_balance}
 \end{equation}
 
-该损失鼓励不同专用模块都能够在训练中获得一定程度的激活，从而避免少数模块垄断路由结果。对于城市多任务时空建模，这一约束具有重要意义：由于不同任务及其内部子模式具有复杂异质性，若专用模块过早塌缩为少量活跃分支，则模型将难以真正学习到多样化的调制行为，进而削弱 HyCAM 在多任务场景下的特化能力。
+该损失鼓励不同专用模块都能够在训练中获得一定程度的激活，从而避免少数模块垄断路由结果。对于复杂多任务建模，这一约束具有重要意义：由于不同任务及其内部子模式具有复杂异质性，若专用模块过早塌缩为少量活跃分支，则模型将难以真正学习到多样化的调制行为，进而削弱 HyCAM 在多任务场景下的特化能力。
 
 \subsection{训练目标}
 \label{subsec:ch3_training_obj}
@@ -452,7 +452,7 @@ y_{i,t}
 \end{equation}
 其中 $\lambda_{balance}$ 为平衡系数。
 
-式~\eqref{eq:ch3_total_loss} 表明，本章方法优化的并不仅仅是任务性能本身，还包括多专用模块的合理协同使用。前者保证模型能够有效适配城市多任务目标，后者保证模型能够形成更稳定、更多样化的专门化上下文调制结构。二者共同构成 HyCAM 的训练基础。
+式~\eqref{eq:ch3_total_loss} 表明，本章方法优化的并不仅仅是任务性能本身，还包括多专用模块的合理协同使用。前者保证模型能够有效适配多任务目标，后者保证模型能够形成更稳定、更多样化的专门化上下文调制结构。二者共同构成 HyCAM 的训练基础。
 
 算法~\ref{alg:ch3_hycam} 给出了 HyCAM 的完整训练流程。
 
@@ -491,7 +491,7 @@ y_{i,t}
 \subsection{实验设置}
 \label{subsec:ch3_exp_setup}
 
-为验证本章提出的模块角色感知多任务时空表征学习方法的有效性，本节围绕以下几个研究问题展开实验分析：
+为验证本章提出的基于模块功能角色感知的多任务表征适配方法的有效性，本节围绕以下几个研究问题展开实验分析：
 
 \begin{enumerate}
     \item HyCAM 相比全参数微调和现有参数高效微调方法，是否能够在多任务联合适配中取得更好的整体性能？
@@ -501,11 +501,11 @@ y_{i,t}
     \item HyCAM 对注意力表示空间与训练过程带来了怎样的可解释变化？
 \end{enumerate}
 
-需要说明的是，由于 HyCAM 原始论文发表于通用多任务学习场景，其公开实验主要基于逻辑推理、医疗问答、通用指令跟随、代码生成与信息检索问答等任务构建的综合基准。因此，本节首先将这些实验作为\emph{通用多任务有效性验证}，用于说明模块角色感知调制在复杂多任务场景中的一般性作用。与此同时，考虑到本文整体主题为时空表征学习，本节最后补充面向城市多任务时空任务的小规模验证实验，以增强章节与全文主线的一致性。
+需要说明的是，由于 HyCAM 原始论文发表于通用多任务学习场景，其公开实验主要基于逻辑推理、医疗问答、通用指令跟随、代码生成与信息检索问答等任务构建的综合基准。因此，本节将这些实验作为\emph{通用多任务有效性验证}，用于说明模块角色感知调制在复杂多任务场景中的一般性作用。
 
 \subsubsection{数据集}
 
-原始实验构建了一个五任务综合基准，涵盖逻辑推理（Auto CoT）、医疗问答（iCliniq）、通用指令跟随（Dolly 2.0）、代码生成（CodeAlpaca）和信息检索问答（WebGPT）等任务。尽管这些任务并非时空任务本身，但它们在任务形式、输出长度、知识需求与推理模式上具有较强异质性，能够较好模拟城市多任务场景中“多目标并存、共享知识与任务特化并存”的一般挑战。因此，本文将其视为验证 HyCAM 模块级调制能力的通用多任务基准。
+原始实验构建了一个五任务综合基准，涵盖逻辑推理（Auto CoT）、医疗问答（iCliniq）、通用指令跟随（Dolly 2.0）、代码生成（CodeAlpaca）和信息检索问答（WebGPT）等任务。这些任务在任务形式、输出长度、知识需求与推理模式上具有较强异质性，具有”多目标并存、共享知识与任务特化并存”的典型多任务挑战。因此，本文将其视为验证 HyCAM 模块级调制能力的通用多任务基准。
 
 具体数据统计可整理如表~\ref{tab:ch3_dataset_stat} 所示。训练、验证与测试采用 $7:2:1$ 划分，并进行五折交叉验证以增强结果稳定性。实验骨干模型覆盖多个主流开源大语言模型系列，包括 Llama、Mistral 与 Qwen 家族，从而考察方法的跨模型泛化性。
 
@@ -632,7 +632,7 @@ HyCAM 特有的超参数设置如下：Gumbel-Softmax 温度系数 $\tau$ 设置
 
 这一结果可从三个层面理解。第一，相较于全参数微调，HyCAM 在仅引入少量适配参数的前提下取得了更优或相当的性能，表明其并不依赖对整个模型进行重写，而是通过更有效的上下文调制获得收益。第二，相较于 LoRA，HyCAM 的优势说明单纯依赖低秩参数增量并不足以充分应对复杂多任务场景中的结构差异，而围绕自注意力表示流构造输入条件化调制可以更直接地提升任务适配能力。第三，相较于 Multi-LoRA 与 RieMoE-LoRA，HyCAM 的优势说明“共享 + 专用 + 动态路由”的混合设计比单纯并行适配或一般专家融合更适合多任务协同建模。
 
-对于本文的城市多任务时空建模主题而言，这一结论具有直接启发意义：面对多种城市任务同时建模时，模型的关键改进方向未必是持续扩大参数更新规模，而更可能是增强其对时空上下文进行任务感知组织的能力。本章实验虽然基于通用多任务集合，但其所验证的正是这种\emph{模块级结构调制}的普适有效性。
+对于本文的多任务适配主题而言，这一结论具有直接启发意义：面对多种异质任务同时建模时，模型的关键改进方向未必是持续扩大参数更新规模，而更可能是增强其对上下文进行任务感知组织的能力。本章实验虽然基于通用多任务集合，但其所验证的正是这种\emph{模块级结构调制}的普适有效性。
 
 
 \begin{table}[ht]
@@ -720,7 +720,7 @@ HyCAM 特有的超参数设置如下：Gumbel-Softmax 温度系数 $\tau$ 设置
 
 在 Llama3.2 小规模系列中，值得注意的是全参数微调在 1B 模型上仍然是最强方法。这与小模型的知识容量有限、需要更大幅度的参数更新来适配新任务的特点有关。然而，即使在这一不利条件下，HyCAM 仍然取得了接近全参数微调的性能（PPL 4.227 vs 4.221），且显著优于所有其他 PEFT 基线。随着模型规模增加至 3B，HyCAM 即超越全参数微调（PPL 3.778 vs 3.747 稍有差距，但 BLEU 0.167 vs 0.159 显著领先）。这进一步支持了本章的核心假设：当模型具有足够的预训练知识储备时，结构感知的调制式适配比全面重写参数的方式更为有效。
 
-对于城市时空任务而言，这意味着随着未来更大规模城市基础模型的出现，类似 HyCAM 的模块级结构感知适配方式仍具有较强适用前景。
+对于复杂多任务场景而言，这意味着随着未来更大规模基础模型的出现，类似 HyCAM 的模块级结构感知适配方式仍具有较强适用前景。
 
 \subsubsection{跨任务性能分析}
 
@@ -774,11 +774,11 @@ HyCAM 特有的超参数设置如下：Gumbel-Softmax 温度系数 $\tau$ 设置
     }
 \end{table}
 
-需要指出的是，不同任务之间的性能水平本身存在显著差异。例如，医疗问答和部分开放式指令任务通常具有更高输出不确定性，因此其绝对指标可能整体较低。这一现象在城市多任务时空建模中同样会存在：例如，封闭式地点属性问答与开放式城市事件解释的难度本就不可简单等同。因此，更重要的不是要求所有任务在同一数值尺度上接近，而是观察方法能否在面对异质目标时保持相对稳定、均衡的适配能力。从这一意义上看，HyCAM 的结果具有较好的说服力。
+需要指出的是，不同任务之间的性能水平本身存在显著差异。例如，医疗问答和部分开放式指令任务通常具有更高输出不确定性，因此其绝对指标可能整体较低。这一现象在多任务建模中普遍存在：例如，封闭式事实判断与开放式推理解释的难度本就不可简单等同。因此，更重要的不是要求所有任务在同一数值尺度上接近，而是观察方法能否在面对异质目标时保持相对稳定、均衡的适配能力。从这一意义上看，HyCAM 的结果具有较好的说服力。
 
 具体到各任务的表现，可以从以下几个角度进行分析。在 Auto CoT 推理任务中，HyCAM 取得了最低的 PPL（1.777）和最高的 BLEU（0.283），这说明其调制机制对涉及多步推理的上下文组织尤其有效，能够在推理链的各步之间维持更一致的表示流。在 CodeAlpaca 代码生成任务中，HyCAM 同样取得了显著优势（BLEU 0.163 vs 基线最优 0.146），表明注意力调制有助于模型在需要长距离结构对齐（如代码块嵌套、函数调用关系）的任务中保持更精确的上下文追踪。在 WebGPT 信息检索问答任务中，HyCAM 在 PPL 上取得最优（1.845），说明其在需要从大量检索信息中选择关键证据并整合为连贯回答的场景中表现突出。
 
-相对而言，在 iCliniq 医疗问答任务中，全参数微调仍表现最佳（PPL 7.497），而 HyCAM 虽然次优但差距不大。这可能是因为医疗领域的专业术语和知识模式与预训练数据分布差异较大，需要更多的参数容量来学习领域特有知识。这一观察对于城市时空任务同样具有参考价值：对于需要大量领域专属知识注入的任务（如专业交通规则推理），可能需要在 HyCAM 框架内进一步增强知识学习容量。
+相对而言，在 iCliniq 医疗问答任务中，全参数微调仍表现最佳（PPL 7.497），而 HyCAM 虽然次优但差距不大。这可能是因为医疗领域的专业术语和知识模式与预训练数据分布差异较大，需要更多的参数容量来学习领域特有知识。这一观察具有一般性参考价值：对于需要大量领域专属知识注入的任务，可能需要在 HyCAM 框架内进一步增强知识学习容量。
 
 \subsection{消融实验与深入分析}
 \label{subsec:ch3_ablation}
@@ -817,9 +817,9 @@ HyCAM 特有的超参数设置如下：Gumbel-Softmax 温度系数 $\tau$ 设置
 
 从表~\ref{tab:ch3_ablation} 可以看出，完整 HyCAM 取得了最优表现，这说明共享与专用分支之间确实具有互补性。仅使用共享 CAM 时，模型虽能学习跨任务共性调制，但缺乏足够的任务特化能力；仅使用专用 CAM 时，则由于缺乏统一共享底座，容易导致跨任务知识无法有效复用，反而降低整体性能。将所有专用模块都替换为全参数结构虽然也能取得较好结果，但会显著增加参数成本，与本章追求高效适配的目标不符。反向分配参数预算同样说明：让共享分支保持较强表达能力、让专用分支采用轻量结构，是当前框架下更合理的设计。
 
-这一结论对于城市多任务时空建模同样具有启发性。城市任务之间通常既共享通用语义和城市常识，又存在具体任务差异，因此更适合采用”强共享底座 + 轻量专用分支”的结构，而非纯共享或纯专用策略。
+这一结论对于多任务适配同样具有启发性。不同任务之间通常既共享通用语义和知识，又存在具体任务差异，因此更适合采用”强共享底座 + 轻量专用分支”的结构，而非纯共享或纯专用策略。
 
-进一步地，对比 Shared-CAM-Only（PPL 3.129）与 LoRA（PPL 3.222）可以发现，即使不引入多分支结构，仅在注意力输出表示流上进行单分支 CAM 调制，也已经优于标准的低秩参数增量方法。这从实验层面印证了本章的核心假设：在多任务适配中，对上下文组织路径的定向调制比对所有权重的均匀低秩更新更为有效。HyCAM 在此基础上通过引入多分支混合结构进一步获得提升（PPL 3.129 $\to$ 3.081），证明了混合设计的附加价值。
+进一步地，对比 Shared-CAM-Only（PPL 3.129）与 LoRA（PPL 3.222）可以发现，即使不引入多分支结构，仅在注意力输出表示流上进行单分支 CAM 调制，也已经优于标准的低秩参数增量方法。这从实验层面印证了本章的核心假设：在多任务适配中，对上下文组织路径的定向调制比对所有权重的均匀低秩更新更为有效。HyCAM 在此基础上通过引入多分支混合结构进一步获得提升（PPL 3.129 $\to$ 3.081），验证了混合设计的附加价值。
 
 \subsubsection{超参数敏感性分析}
 
@@ -840,6 +840,7 @@ HyCAM 特有的超参数设置如下：Gumbel-Softmax 温度系数 $\tau$ 设置
 
 为了全面评估 HyCAM 在参数效率方面的优势，本节对各方法的可训练参数量进行了系统比较。以 Llama2-7B 为例，各方法的参数量统计如表~\ref{tab:ch3_param_count} 所示。
 
+% TODO: 此表中的参数量数值（如HyCAM 236.1M等）需要根据实际实现代码进行核实，原论文中未包含此表。
 \begin{table}[htp]
     \centering
     \caption{不同适配方法在 Llama2-7B 上的可训练参数量对比。}
@@ -907,7 +908,7 @@ HyCAM 特有的超参数设置如下：Gumbel-Softmax 温度系数 $\tau$ 设置
 
 具体而言，从训练损失曲线可以观察到：HyCAM 在训练初期即表现出较快的下降速度，且在整个训练过程中损失曲线更为平稳，波动较小。这一现象可以从两个方面理解。一方面，HyCAM 的零初始化策略保证了训练起点与预训练模型行为一致，避免了随机初始化可能带来的初始震荡。另一方面，由于 HyCAM 仅对注意力表示流进行调制，其有效适配参数空间相比全参数更新或作用于所有层的低秩更新更加紧凑和聚焦，使得优化过程能够更高效地找到有效的适配方向。相比之下，Multi-LoRA 和 RieMoE-LoRA 的训练曲线表现出更多的波动，这可能与其多分支结构在训练早期尚未充分分化、各分支之间存在竞争有关。
 
-需要指出的是，当前这些可视化结果主要来自通用多任务实验。若进一步面向城市时空任务开展补充实验，则可在后续工作中考察如下现象：不同城市任务下路由权重是否呈现稳定分工、空间关系类问题是否更依赖某类专用 CAM、事件解释类问题是否倾向激活更强长程上下文调制等。这些问题有助于将本章的方法分析进一步与城市时空结构建立直接联系。
+需要指出的是，当前这些可视化结果主要来自通用多任务实验。在后续工作中，可进一步考察如下现象：不同类型任务下路由权重是否呈现稳定分工、不同推理模式的问题是否更依赖某类专用 CAM、需要长程上下文整合的问题是否倾向激活更强调制等。这些问题有助于将本章的方法分析进一步与具体任务结构建立直接联系。
 
 % \subsubsection{计算复杂度分析}
 
@@ -921,100 +922,13 @@ HyCAM 的核心优势在于其对自注意力表示流的定向调制设计，
 
 然而，HyCAM 的调制粒度仍然停留在注意力输出的整体表示层面。具体而言，HyCAM 对 $\mathbf{H}_{att}^{(\ell)}$ 的每个元素施加独立调制，但并未显式区分不同维度在位置编码结构中的功能差异。例如，在采用 RoPE 位置编码的模型中，不同维度对承担不同频率的旋转，分别编码了不同尺度的位置信息。这种维度间的结构性差异在本章方法中尚未被感知与利用。此外，HyCAM 目前主要关注注意力模块的输出调制，对于 FFN 层内部可能存在的结构化适配机会也未加探索。这些方向构成了后续章节进一步深化的出发点。
 
-% \subsection{面向城市多任务时空场景的补充验证}
-% \label{subsec:ch3_st_validation}
-
-% 前述实验已在通用多任务基准上验证了 HyCAM 模块角色感知调制的有效性。为进一步考察该方法在城市多任务时空场景中的实际表现，本节设计了一组面向城市时空任务的补充验证实验。
-
-% \subsubsection{任务设置}
-% \label{subsubsec:ch3_st_tasks}
-
-% 基于第六章所构建的评测基础设施，本节从城市多任务时空建模的典型需求出发，构造了包含以下三类子任务的联合训练集：
-
-% \begin{itemize}
-%     \item \textbf{城市 POI 问答}：给定包含地点、时间、空间关系等结构化信息的问题，要求模型生成准确的地点属性回答或推荐结果。该任务主要考察模型对空间实体语义与上下文关系的理解能力。
-%     \item \textbf{区域功能识别}：给定某区域内的 POI 分布、出行模式或活动特征描述，要求模型判别该区域的主要功能类型（如商业区、居住区、交通枢纽等）。该任务侧重于空间语义聚合与分类推理。
-%     \item \textbf{城市事件解释}：给定城市运行过程中的异常事件描述（如交通拥堵、客流激增等），要求模型生成合理的成因分析与影响范围评估。该任务要求模型具备长程上下文整合与多因素推理能力。
-% \end{itemize}
-
-% 三类任务在输出形式、依赖的上下文类型以及推理模式上具有显著差异，能够有效考察 HyCAM 在城市异质任务间的协同适配能力。
-
-% \subsubsection{数据构造与实验设置}
-% \label{subsubsec:ch3_st_data}
-
-% % TODO: 补充具体数据构造方式与统计信息
-% 城市 POI 问答数据基于 POI-QA 数据集的子集进行构造，区域功能识别数据基于公开城市功能区数据集进行文本化处理，城市事件解释数据基于交通事件报告进行结构化采样。各任务数据统计如表~\ref{tab:ch3_st_dataset} 所示。
-
-% \begin{table}[htp]
-%     \centering
-%     \caption{城市多任务时空验证数据统计。}
-%     \label{tab:ch3_st_dataset}
-%     \resizebox{0.78\linewidth}{!}{
-%     \begin{tabular}{lccc}
-%         \toprule
-%         任务 & 训练样本数 & 测试样本数 & 平均输出长度 \\
-%         \midrule
-%         城市 POI 问答     & --   & --  & -- \\
-%         区域功能识别       & --   & --  & -- \\
-%         城市事件解释       & --   & --  & -- \\
-%         \bottomrule
-%     \end{tabular}
-%     }
-% \end{table}
-
-% 骨干模型采用 Qwen2.5-7B，实验超参数与通用基准实验保持一致。基线方法同样包括 Full Fine-Tuning、LoRA、Multi-LoRA 与 RieMoE-LoRA。
-
-% \subsubsection{实验结果}
-% \label{subsubsec:ch3_st_results}
-
-% % TODO: 补充实验结果数值
-
-% \begin{table}[htp]
-%     \centering
-%     \caption{城市多任务时空场景下各方法的性能对比。}
-%     \label{tab:ch3_st_results}
-%     \resizebox{0.88\linewidth}{!}{
-%     \begin{tabular}{l|cc|cc|cc|cc}
-%         \toprule
-%         & \multicolumn{2}{c|}{POI 问答} & \multicolumn{2}{c|}{功能识别} & \multicolumn{2}{c|}{事件解释} & \multicolumn{2}{c}{总体平均} \\
-%         \midrule
-%         方法 & PPL$\downarrow$ & ROUGE$\uparrow$ & PPL$\downarrow$ & Acc.$\uparrow$ & PPL$\downarrow$ & ROUGE$\uparrow$ & PPL$\downarrow$ & Avg.$\uparrow$ \\
-%         \midrule
-%         Full Finetune & --  & --  & --  & --  & --  & --  & --  & -- \\
-%         LoRA          & --  & --  & --  & --  & --  & --  & --  & -- \\
-%         Multi LoRA    & --  & --  & --  & --  & --  & --  & --  & -- \\
-%         RieMoE-LoRA   & --  & --  & --  & --  & --  & --  & --  & -- \\
-%         HyCAM         & --  & --  & --  & --  & --  & --  & --  & -- \\
-%         \bottomrule
-%     \end{tabular}
-%     }
-% \end{table}
-
-% TODO: 补充结果分析段落。预期分析方向包括：
-% (1) HyCAM 在时空多任务场景中是否仍然保持通用基准中观察到的优势；
-% (2) 不同城市任务之间的性能差异是否与第二节分析的模块角色假设一致；
-% (3) 共享 CAM 是否有效捕获了城市通用语义，专用 CAM 是否在不同任务间形成分化。
-
-% \subsubsection{路由行为分析}
-% \label{subsubsec:ch3_st_routing}
-
-% % TODO: 补充路由权重可视化分析。预期内容包括：
-% % (1) 不同城市任务下各专用 CAM 的平均路由权重分布；
-% % (2) 空间关系类问题 vs 时间推理类问题的路由偏好差异；
-% % (3) 与通用基准实验中路由行为的对比分析。
-
-% 为进一步理解 HyCAM 在城市时空任务中的内部行为，本节对不同任务样本下的路由权重分布进行了可视化分析。
-
-% % TODO: 补充路由权重可视化图
-
-% 初步分析表明，不同类型的城市任务倾向于激活不同的专用 CAM 组合。例如，POI 问答任务中涉及空间关系推理的样本更倾向于集中激活特定的专用模块，而城市事件解释任务中需要整合多种上下文信息的样本则倾向于更均匀地融合多个专用模块。这一观察与本章从模块角色感知出发的设计思想一致：不同任务对上下文组织方式的需求差异，可以通过动态路由机制自然地映射为不同的专用模块使用模式。
 
 \section{本章小结}
 \label{sec:ch3_summary}
 
-本章围绕城市多任务时空建模中的模块级结构异质性问题，提出了一种模块角色感知的多任务时空表征学习方法。本章的主要工作与贡献可概括为以下四个方面。
+本章围绕多任务适配中的模块级结构异质性问题，提出了一种基于模块功能角色感知的多任务表征适配方法。本章的主要工作与贡献可概括为以下四个方面。
 
-第一，本章从模块级结构角色差异出发，系统分析了 Transformer 架构中自注意力模块与前馈网络模块在时空任务适配中的不同功能定位，指出面向自注意力表示流的定向调制是兼顾知识保持与任务特化的更优路径，并在第一章统一分析框架下给出了模块级调制算子的形式化定义。
+第一，本章从模块级结构角色差异出发，系统分析了 Transformer 架构中自注意力模块与前馈网络模块在多任务适配中的不同功能定位，指出面向自注意力表示流的定向调制是兼顾知识保持与任务特化的更优路径，并在第一章统一分析框架下给出了模块级调制算子的形式化定义。
 
 第二，本章提出了上下文注意力调制机制 CAM，通过对自注意力输出表示流施加输入条件化的逐元素调制，实现对预训练知识调用方式的精细修正。CAM 的设计以零初始化保证训练稳定性，以乘性残差结构保证与预训练行为的平滑过渡，为后续多任务扩展提供了机制基础。
 
@@ -1022,4 +936,4 @@ HyCAM 的核心优势在于其对自注意力表示流的定向调制设计，
 
 第四，本章在涵盖五类异质任务的通用多任务基准上进行了系统验证，实验覆盖 Llama、Mistral 与 Qwen 三大模型家族及从 0.5B 到 14B 的多个规模区间。结果表明，HyCAM 在整体性能、跨任务均衡性、参数效率与训练稳定性等方面均表现出稳定优势。消融实验与可视化分析进一步验证了各组件设计的合理性。
 
-从全文的统一研究主线来看，本章主要解决的是统一分析框架中的\emph{模块级结构异质性}问题，即关注不同功能模块在表示流组织中的角色差异，并给出了相应的适配机制。然而，本章的方法仍然主要作用于注意力输出整体表示流，尚未进一步刻画注意力表示内部不同维度、不同位置编码成分之间可能存在的细粒度角色差异。特别是在城市时空任务中，空间相对位置、时间周期结构以及不同表示维度所承担的结构建模功能，往往呈现出显著的非均匀性与各向异性。因此，下一章将在本章工作的基础上，进一步转向\emph{维度级结构异质性}，研究位置结构驱动的各向异性时空表征学习方法，从更细粒度的表示几何层面对大模型时空适配机制进行深化。
+从全文的统一研究主线来看，本章主要解决的是统一分析框架中的\emph{模块级结构异质性}问题，即关注不同功能模块在表示流组织中的角色差异，并给出了相应的适配机制。然而，本章的方法仍然主要作用于注意力输出整体表示流，尚未进一步刻画注意力表示内部不同维度、不同位置编码成分之间可能存在的细粒度角色差异。在采用 RoPE 位置编码的模型中，不同维度对承担不同频率的旋转，分别编码了不同尺度的位置信息，这种维度间的结构性差异在本章方法中尚未被感知与利用。因此，下一章将在本章工作的基础上，进一步转向\emph{维度级结构异质性}，研究位置结构感知的选择性表征适配方法，从更细粒度的表示维度层面对适配机制进行深化。

chap04.tex

@@ -1,34 +1,28 @@
 % !TeX root = ../main.tex
-% 第四章 位置结构驱动的各向异性时空表征学习方法
+% 第四章 基于位置结构感知的选择性表征适配方法
-\chapter{位置结构驱动的各向异性时空表征学习方法}
+\chapter{基于位置结构感知的选择性表征适配方法}
-\label{chap:rosa_dypam}
+\label{chap:rosa}
 
 \section{本章概述}
 \label{sec:ch4_overview}
 
-第三章围绕模块级功能异质性（$\mathcal{R}_{mod}$），提出了基于上下文注意力调制的多任务时空表征学习方法HyCAM，实现了在注意力输出层面对不同功能模块的差异化适配。然而，在时空数据的表征学习中，除模块间的功能差异外，模型内部表示向量的\emph{维度级结构}同样蕴含着丰富的异质性信息。
+本章继续在\emph{表示空间}层面展开研究，转向维度级位置结构异质性的静态选择性建模。第三章围绕模块级功能异质性（$\mathcal{R}_{mod}$），提出了基于上下文注意力调制的适配方法HyCAM，实现了在注意力输出层面对不同功能模块的差异化适配。然而，除模块间的功能差异外，模型内部表示向量的\emph{维度级结构}同样蕴含着丰富的异质性信息。
 
 在基于Transformer架构的大语言模型中，旋转位置编码（Rotary Position Embedding, RoPE）是编码序列位置信息的核心机制。RoPE通过对注意力表示的Query与Key向量施加维度对相关的旋转变换，将相对位置关系融入注意力计算过程。由于不同维度对的旋转频率按几何级数递减，低索引维度对应高频旋转（编码局部位置差异），高索引维度对应低频旋转（编码全局上下文依赖）。这一频率结构导致注意力表示在不同维度上呈现出显著的激活强度差异与功能分化，即维度级位置结构异质性（$\mathcal{R}_{dim}$）。
 
-对于时空数据建模而言，这种维度级异质性具有直接的物理对应关系。时空序列中既包含短时局部波动（如分钟级交通流变化），也包含长程全局依赖（如跨区域的通勤模式与日周期规律）。RoPE的频率结构恰好为多尺度时空依赖的建模提供了天然的维度划分基础——不同频率的维度对可以分别承担不同时空尺度的位置感知功能。因此，在适配过程中充分感知并利用这种维度级位置结构，对于提升时空表征学习的质量具有重要意义。
+对于下游任务适配而言，这种维度级异质性具有重要意义。序列数据中既包含局部模式（如短程位置依赖），也包含长程全局依赖（如跨位置的语义关联与全局上下文结构）。RoPE的频率结构恰好为多尺度位置依赖的建模提供了天然的维度划分基础——不同频率的维度对可以分别承担不同尺度的位置感知功能。因此，在适配过程中充分感知并利用这种维度级位置结构，对于提升表征适配的质量具有重要意义。
 
-然而，现有参数高效微调方法普遍忽视了维度级位置结构异质性。以LoRA为代表的低秩适配方法将可训练矩阵均匀地插入各线性层，对所有维度施加同质化的更新；类似地，其他主流方法也缺乏对注意力表示内部频率结构的感知能力。这种"维度无关"的适配范式在面对时空数据的多尺度位置依赖时，难以实现精细化的参数分配与功能调制。
+然而，现有参数高效微调方法普遍忽视了维度级位置结构异质性。以LoRA为代表的低秩适配方法将可训练矩阵均匀地插入各线性层，对所有维度施加同质化的更新；类似地，其他主流方法也缺乏对注意力表示内部频率结构的感知能力。这种"维度无关"的适配范式在面对多尺度位置依赖时，难以实现精细化的参数分配与功能调制。
 
-针对上述问题，本章在第一章提出的结构感知调制统一框架（式~\ref{eq:ch1_unified_M}）下，聚焦维度级位置结构异质性（$\mathcal{R}_{dim}$），提出两种递进式方法：
+针对上述问题，本章在第一章提出的结构感知调制统一框架（式~\ref{eq:ch1_unified_M}）下，聚焦维度级位置结构异质性（$\mathcal{R}_{dim}$），提出RoPE感知的选择性适配方法（RoSA）。RoSA基于对RoPE诱导的维度级激活异质性的实证分析，提出RoPE感知注意力增强（RoAE）模块，选择性地增强Query/Key表示中功能关键的低频维度成分；同时引入动态层选择（DLS）策略，基于LayerNorm梯度范数自适应识别并更新最关键的Transformer层。RoSA实现了"维度内选择性增强＋层间动态选择"的双层级结构感知适配，属于统一框架中的乘性调制形式（式~\ref{eq:ch1_multiplicative}），通过结构角色描述符$\mathcal{R}_{dim}$实现对注意力表示流的精细化调制。
 
-\textbf{（1）RoPE感知的选择性适配方法（RoSA）}。RoSA基于对RoPE诱导的维度级激活异质性的实证分析，提出RoPE感知注意力增强（RoAE）模块，选择性地增强Query/Key表示中功能关键的低频维度成分；同时引入动态层选择（DLS）策略，基于LayerNorm梯度范数自适应识别并更新最关键的Transformer层。RoSA实现了"维度内选择性增强＋层间动态分配"的双层级结构感知适配。
+本章后续安排如下：第~\ref{sec:ch4_background}~节分析RoPE机制及其诱导的维度级异质性问题；第~\ref{sec:rosa}~节详述RoSA方法；第~\ref{sec:ch4_experiments}~节给出实验验证与结果分析；第~\ref{sec:ch4_summary}~节总结全章。下一章将进一步将维度级适配从静态选择推进至动态调制。
-
-\textbf{（2）动态位置注意力调制方法（DyPAM）}。DyPAM在RoSA的基础上进一步推进，提出输入条件化的维度级调制机制，使调制信号不再是静态的维度选择，而是根据输入上下文动态生成；同时引入头级与层级结构偏置，允许不同注意力头和不同层维持各自的位置偏好。DyPAM实现了"输入动态调制＋多粒度结构偏置"的全面位置感知适配。
-
-从RoSA到DyPAM的演进，体现了维度级位置结构适配从"静态选择"到"动态调制"的递进深化。两种方法均属于统一框架中的乘性调制形式（式~\ref{eq:ch1_multiplicative}），通过不同粒度的结构角色描述符$\mathcal{R}_{dim}$实现对注意力表示流的精细化调制。
-
-本章后续安排如下：第~\ref{sec:ch4_background}~节分析RoPE机制及其诱导的维度级异质性问题；第~\ref{sec:rosa}~节详述RoSA方法；第~\ref{sec:dypam}~节详述DyPAM方法；第~\ref{sec:ch4_unified_view}~节从统一视角对比分析两种方法；第~\ref{sec:ch4_experiments}~节给出实验验证与结果分析；第~\ref{sec:ch4_summary}~节总结全章。
 
 
-\section{维度级位置结构异质性的问题分析}
+\section{RoPE诱导的维度级位置结构异质性分析}
 \label{sec:ch4_background}
 
-本节首先回顾RoPE的数学原理，然后从实证角度分析其诱导的维度级异质性现象，最后阐述该现象对时空适配的启示。
+本节首先回顾RoPE的数学原理，然后从实证角度分析其诱导的维度级异质性现象，最后阐述该现象对适配方法的启示。
 
 \subsection{旋转位置编码机制}
 \label{subsec:ch4_rope}
@@ -91,27 +85,16 @@ RoPE的频率结构不仅是数学上的设计选择，更在实际模型中诱
 
 （2）\textbf{跨头异质性}。同一层内不同注意力头也展现出不同的激活模式，这与多头注意力机制的功能分工有关——不同头可能专注于不同类型的依赖关系建模。
 
-\subsubsection{输入依赖的激活异质性}
-
-\begin{figure}[htp]
-  \centering
-  \includegraphics[width=0.9\linewidth]{assets/4_token_heterogeneity.pdf}
-  \caption{不同语义角色的输入token诱导的激活模式差异。具有不同语义角色的token在维度激活分布上呈现系统性差异。}
-  \label{fig:ch4_token_hetero}
-\end{figure}
-
-除了模型结构层面的异质性外，激活模式还表现出对输入内容的依赖性。不同语义角色的token会诱导系统性不同的激活分布。例如，时空描述性token（如地点名称、时间表达）与功能性token（如连接词、标点）在同一层同一头的维度激活分布上存在明显差异。这一现象表明，理想的维度级适配不应仅是静态的维度选择，还应考虑输入上下文的动态影响。
-
 \subsubsection{不同位置编码机制的对比验证}
 
-为验证上述维度级异质性确实由RoPE机制诱导，可以对比采用不同位置编码方案的模型。对比分析表明：（1）基于RoPE的模型（如LLaMA、Qwen系列）表现出结构化的、维度依赖的激活模式；（2）采用ALiBi或可学习位置嵌入的模型（如BLOOM、OPT系列）在维度间的激活分布明显更加均匀。这一对比有力地证明了维度级激活异质性与RoPE的频率结构直接相关。
+为验证上述维度级异质性确实由RoPE机制诱导，可以对比采用不同位置编码方案的模型。对比分析表明：（1）基于RoPE的模型（如LLaMA、Qwen系列）表现出结构化的、维度依赖的激活模式；（2）采用ALiBi或可学习位置嵌入的模型（如BLOOM、OPT系列）在维度间的激活分布明显更加均匀。这一对比有力地表明了维度级激活异质性与RoPE的频率结构直接相关。
 
-进一步地，对比Query、Key和Value三种表示的激活模式发现：Query和Key表示展现出显著的结构化激活异质性，而Value表示的异质性则弱得多。这与RoPE的设计一致——RoPE仅对Query和Key施加位置旋转，不影响Value表示。这也为本章方法仅在Query和Key表示上进行调制提供了理论依据。
+进一步地，对比Query、Key和Value三种表示的激活模式发现：Query和Key表示展现出显著的结构化激活异质性，而Value表示的异质性则弱得多。这一差异与RoPE的作用方式一致：位置旋转直接施加于Query和Key，不进入Value分支。因此，本章将RoSA的调制作用点设定为Query和Key表示，依据的是RoPE诱导结构主要分布于Q/K状态这一机制特征。
 
-\subsection{维度级异质性对时空适配的启示}
+\subsection{维度级异质性对适配方法的启示}
 \label{subsec:ch4_implication}
 
-综合以上分析，RoPE诱导的维度级位置结构异质性对时空适配方法提出了以下启示：
+综合以上分析，RoPE诱导的维度级位置结构异质性对适配方法提出了以下启示：
 
 \textbf{（1）适配应具有维度感知能力。}不同维度在功能上的分化意味着均匀适配是次优的。有效的方法应当识别并优先增强功能关键的维度成分（如低频维度），实现"精准投放"式的参数分配。
 
@@ -121,7 +104,7 @@ RoPE的频率结构不仅是数学上的设计选择，更在实际模型中诱
 
 \textbf{（4）适配应对齐RoPE的维度对结构。}RoPE中每对维度共享相同的旋转频率，因此调制操作应当以维度对为基本单位，而非逐维度独立操作，以尊重并利用这一内在结构。
 
-上述四点启示构成了本章两种方法的设计原则：RoSA主要回应启示（1）和（2），通过静态的低频维度增强与动态层选择实现结构感知适配；DyPAM则进一步回应启示（3）和（4），通过输入条件化的维度对调制与多粒度结构偏置实现全面的位置感知适配。
+上述启示构成了本章RoSA方法的设计原则。RoSA主要回应启示（1）和（2），通过静态的低频维度增强与动态层选择实现结构感知适配。下一章的DyPAM方法将进一步回应启示（3）和（4），通过输入条件化的维度对调制与多粒度结构偏置实现全面的位置感知适配。
 
 
 \section{RoPE感知的选择性适配方法}
@@ -255,218 +238,10 @@ RoSA的主要超参数包括：低频维度比例$r_{\text{low}}$（默认0.25
 RoSA的设计具有良好的模块化特性：RoAE和DLS各自独立运作，可以灵活地与其他微调技术组合使用。RoAE的投影模块也可替换为其他PEFT方法的适配器设计，体现了框架的可扩展性。
 
 
-\section{动态位置注意力调制方法}
-\label{sec:dypam}
-
-RoSA通过低频维度选择性增强与动态层选择，初步实现了对维度级位置结构异质性的感知。然而，RoSA的维度增强机制仍然是"选择后增强"的模式——先静态地划定低频维度范围，再在该范围内生成适配信号。这种设计存在两个局限：第一，对低频维度的选择是固定的（由超参数$r_{\text{low}}$决定），无法根据不同输入的特性进行动态调整；第二，调制信号不区分不同注意力头的位置偏好差异。
-
-为进一步推进维度级位置感知适配的精细化程度，本节提出动态位置注意力调制方法（Dynamic Positional Attention Modulation, DyPAM）。DyPAM直接在RoPE的维度对结构上进行操作，实现\emph{输入条件化}的维度级调制与\emph{头级/层级}的结构偏置，从"静态选择"跃迁至"动态调制"。
-
-\begin{figure}[htp]
-  \centering
-  \includegraphics[width=0.85\linewidth]{assets/4_dypam_arch.pdf}
-  \caption{DyPAM方法框架图。DyPAM在RoPE之前，将输入条件化的维度级调制与头级和层级结构偏置共同施加于Query和Key表示，实现对位置注意力的细粒度动态适配。}
-  \label{fig:ch4_dypam_arch}
-\end{figure}
-
-\subsection{框架概述}
-\label{subsec:dypam_overview}
-
-DyPAM的核心设计原则是：针对注意力在维度、头、层和输入token四个层面的异质性行为，通过结构感知的乘性调制实现精细化的位置注意力适配。如图~\ref{fig:ch4_dypam_arch}所示，DyPAM直接在Query和Key表示上操作，联合建模两种互补的调制机制：
-
-（1）\textbf{输入条件化的维度级调制}：根据输入上下文动态生成逐维度对的调制因子，使不同维度的位置贡献能够随输入变化而自适应调整。
-
-（2）\textbf{头级与层级结构偏置}：引入与输入无关的静态偏置项，编码不同注意力头和不同层在位置维度上的持久性结构偏好。
-
-在统一分析框架下，DyPAM的调制操作可形式化为：
-\begin{equation}
-\mathcal{M}_{\theta}^{\text{DyPAM}}(\mathbf{Z}^{(\ell,h)}; \mathbf{X}, \mathcal{R}_{dim}) =
-\mathbf{s}^{(\ell,h)}(\mathbf{X}) \odot \mathbf{Z}^{(\ell,h)},
-\label{eq:ch4_dypam_unified}
-\end{equation}
-其中$\mathbf{s}^{(\ell,h)}(\mathbf{X})$为同时融合了输入条件化信号和结构偏置的调制因子，作用于第$\ell$层第$h$头的Query/Key表示$\mathbf{Z}^{(\ell,h)}$。
-
-\subsection{调制特征的构建}
-\label{subsec:dypam_feature}
-
-DyPAM在自注意力中的Query和Key表示上进行操作。在每个Transformer层$\ell$，这些表示由token级的隐藏状态$\mathbf{H}^{(\ell)} \in \mathbb{R}^{B \times T \times d}$通过式~\eqref{eq:ch4_qkv_proj}的线性投影获得，随后重塑为逐头表示$\mathbf{Q}^{(\ell,h)}, \mathbf{K}^{(\ell,h)} \in \mathbb{R}^{T \times d_h}$。
-
-为实现输入条件化的注意力适配，DyPAM直接从同一隐藏状态$\mathbf{H}^{(\ell)}$推导调制特征。由于隐藏状态编码了token特异性的上下文信息，由此产生的调制特征天然具有token依赖性，且因输入不同而各异，为输入条件化调制提供了基础。具体地，DyPAM对隐藏状态施加轻量级低秩投影以生成调制特征：
-\begin{equation}
-\mathbf{M}^{(\ell)} = \mathbf{H}^{(\ell)} \mathbf{A}^{(\ell)} \mathbf{B}^{(\ell)}, \quad
-\mathbf{M}^{(\ell)} \in \mathbb{R}^{B \times T \times (H \cdot d_e)},
-\label{eq:ch4_dypam_feature}
-\end{equation}
-其中$\mathbf{A}^{(\ell)} \in \mathbb{R}^{d \times r}$和$\mathbf{B}^{(\ell)} \in \mathbb{R}^{r \times (H \cdot d_e)}$为可学习矩阵，秩$r \ll d$，$d_e$为每头特征维度。
-
-投影后的特征被重塑为$H$个头特异性的成分，得到每个token位置$t$和注意力头$h$的调制特征$\mathbf{m}^{(\ell)}_{t,h} \in \mathbb{R}^{d_e}$。这些特征编码了每个token在不同头内的上下文表示信息，作为连接token级隐藏状态与后续维度级调制的中间桥梁。
-
-\subsection{输入条件化的维度级调制}
-\label{subsec:dypam_dim_modulation}
-
-基于调制特征，DyPAM将其映射为与注意力中Query和Key表示对齐的维度级调制值。该映射决定了每个注意力维度的贡献如何以输入条件化的方式被调制。
-
-对于每一层$\ell$，DyPAM引入可学习的维度嵌入矩阵，将调制特征投影到注意力维度空间。具体地，对Query和Key分别使用独立的嵌入矩阵：
-\begin{equation}
-\mathbf{E}^{(\ell)}_Q \in \mathbb{R}^{\frac{d_h}{2} \times d_e}, \quad
-\mathbf{E}^{(\ell)}_K \in \mathbb{R}^{\frac{d_h}{2} \times d_e},
-\label{eq:ch4_dypam_embedding}
-\end{equation}
-其中每一行对应一个注意力维度对。这一设计反映了RoPE诱导的结构：每个维度对共享相同的位置旋转，因此表现出相似的位置行为。通过为每个维度对分配单一调制值，DyPAM在尊重RoPE内在结构的同时降低了参数开销。该设计同时兼容分组查询注意力（GQA）：Key端的调制在共享同一Key表示的头之间共享，而Query端的调制保持头特异性。
-
-给定token位置$t$和注意力头$h$的调制特征$\mathbf{m}^{(\ell)}_{t,h} \in \mathbb{R}^{d_e}$，Query和Key的维度级调制分数分别计算为：
-\begin{equation}
-\mathbf{g}^{(\ell)}_{t,h,Q} = \mathbf{E}^{(\ell)}_Q \mathbf{m}^{(\ell)}_{t,h}, \quad
-\mathbf{g}^{(\ell)}_{t,h,K} = \mathbf{E}^{(\ell)}_K \mathbf{m}^{(\ell)}_{t,h},
-\label{eq:ch4_dypam_score}
-\end{equation}
-其中$\mathbf{g}^{(\ell)}_{t,h,Q}, \mathbf{g}^{(\ell)}_{t,h,K} \in \mathbb{R}^{d_h/2}$分别表示Query和Key维度对的调制分数。
-
-输入条件化的维度级调制使DyPAM能够根据输入上下文自适应调整各注意力维度的贡献。通过将调制与RoPE诱导的维度对结构对齐，DyPAM选择性地调整位置信息如何影响注意力计算，在保持参数效率的同时实现了对位置注意力的精细化控制。
-
-\subsection{头级与层级结构偏置}
-\label{subsec:dypam_structural}
-
-输入条件化的维度级调制捕获了token依赖的变化，但注意力行为在不同注意力头和不同网络层之间也表现出差异。为建模这种结构级的异质性，DyPAM引入与输入无关的头级和层级结构偏置。
-
-对于每一层$\ell$，DyPAM维护一个层级偏置向量：
-\begin{equation}
-\boldsymbol{\beta}^{(\ell)} \in \mathbb{R}^{d_h/2},
-\end{equation}
-捕获该层对注意力维度的特有偏好。此外，对于每个注意力头$h$，引入头级偏置向量：
-\begin{equation}
-\boldsymbol{\beta}^{(\ell)}_{h} \in \mathbb{R}^{d_h/2},
-\end{equation}
-允许同一层内不同头维持各自的结构偏好。
-
-这些偏置项叠加到维度级调制分数上。对于Query和Key，结构增强后的调制分数分别为：
-\begin{equation}
-\tilde{\mathbf{g}}^{(\ell)}_{t,h,Q} =
-\mathbf{g}^{(\ell)}_{t,h,Q} + \boldsymbol{\beta}^{(\ell)}_{h,Q} + \boldsymbol{\beta}^{(\ell)}_{Q},
-\label{eq:ch4_dypam_struct_q}
-\end{equation}
-\begin{equation}
-\tilde{\mathbf{g}}^{(\ell)}_{t,h,K} =
-\mathbf{g}^{(\ell)}_{t,h,K} + \boldsymbol{\beta}^{(\ell)}_{h,K} + \boldsymbol{\beta}^{(\ell)}_{K},
-\label{eq:ch4_dypam_struct_k}
-\end{equation}
-其中$\mathbf{g}^{(\ell)}_{t,h,Q}$和$\mathbf{g}^{(\ell)}_{t,h,K}$为输入条件化的维度级分数。偏置项在token位置间共享，编码跨输入持久存在的结构偏好。
-
-至此，调制分数同时融合了输入条件化的维度级调整与头级、层级的结构偏置，既捕获了token依赖的变化，又编码了持久性的结构偏好。
-
-\subsection{调制因子的归一化与应用}
-\label{subsec:dypam_application}
-
-组合后的调制分数编码了输入条件化和结构化的维度级调整。DyPAM通过归一化步骤将这些分数映射为有界的调制因子，确保稳定、受控的适配。
-
-对于每一层$\ell$、token位置$t$、注意力头$h$和维度对$i$，归一化调制因子计算为：
-\begin{equation}
-s^{(\ell)}_{t,h,i} = 1 + \alpha \cdot \big(\sigma(\tilde{g}^{(\ell)}_{t,h,i}) - 0.5\big),
-\label{eq:ch4_dypam_factor}
-\end{equation}
-其中$\sigma(\cdot)$为Sigmoid函数，$\alpha$控制调制强度。该归一化将调制因子映射到有界区间$[1 - \alpha/2, 1 + \alpha/2]$，使其围绕原始尺度居中，防止偏离预训练表示。
-
-调制因子在位置编码之前应用于Query和Key表示。设$\mathbf{q}^{(\ell,h)}_{t,i} \in \mathbb{R}^{2}$和$\mathbf{k}^{(\ell,h)}_{t,i} \in \mathbb{R}^{2}$分别为对应维度对$i$的Query和Key向量配对维度。同一对内的两个维度使用相同的调制因子：
-\begin{equation}
-\hat{\mathbf{q}}^{(\ell,h)}_{t,i} = s^{(\ell)}_{t,h,i} \cdot \mathbf{q}^{(\ell,h)}_{t,i}, \quad
-\hat{\mathbf{k}}^{(\ell,h)}_{t,i} = s^{(\ell)}_{t,h,i} \cdot \mathbf{k}^{(\ell,h)}_{t,i}.
-\label{eq:ch4_dypam_apply}
-\end{equation}
-
-调制后的Query和Key表示随后通过RoPE机制并用于标准注意力计算。通过在RoPE之前施加调制，DyPAM使适配与RoPE诱导的位置结构对齐——调制改变的是进入旋转的表示幅度，从而影响不同频率维度对在注意力计算中的相对重要性。
-
-\subsection{DyPAM整体算法}
-\label{subsec:dypam_algorithm}
-
-DyPAM使用标准的语言建模交叉熵损失进行端到端训练。给定输入序列$\mathbf{x} = (x_1, \dots, x_T)$和目标序列$\mathbf{y} = (y_1, \dots, y_T)$，训练损失定义为：
-\begin{equation}
-\mathcal{L} = -\sum_{t=1}^{T} \log p(y_t \mid x_{\leq t}).
-\label{eq:ch4_dypam_loss}
-\end{equation}
-
-整体前向计算与训练流程如算法~\ref{alg:ch4_dypam}所示。
-
-\RestyleAlgo{ruled}
-\begin{algorithm}[htp]
-\caption{动态位置注意力调制（DyPAM）训练算法}
-\label{alg:ch4_dypam}
-\KwIn{输入序列$\mathbf{x}$，预训练RoPE大语言模型，DyPAM参数}
-\KwOut{模型输出分布与训练损失$\mathcal{L}$}
-获取$\mathbf{x}$的token嵌入\;
-\For{每个Transformer层$\ell = 1, \dots, L$}{
-    计算隐藏状态$\mathbf{H}^{(\ell)}$\;
-    投影隐藏状态得到Query和Key表示$\mathbf{Q}^{(\ell)}, \mathbf{K}^{(\ell)}$（式~\ref{eq:ch4_qkv_proj}）\;
-    重塑为逐头表示$\mathbf{Q}^{(\ell,h)}, \mathbf{K}^{(\ell,h)}$\;
-    从隐藏状态构建调制特征$\mathbf{m}^{(\ell)}_{t,h}$（式~\ref{eq:ch4_dypam_feature}）\;
-    计算输入条件化的维度级调制分数（式~\ref{eq:ch4_dypam_score}）\;
-    叠加头级和层级结构偏置（式~\ref{eq:ch4_dypam_struct_q}、\ref{eq:ch4_dypam_struct_k}）\;
-    归一化得到调制因子（式~\ref{eq:ch4_dypam_factor}）\;
-    将调制因子应用于Query和Key表示（式~\ref{eq:ch4_dypam_apply}）\;
-    对调制后的Query和Key施加RoPE\;
-    使用调制后的表示计算注意力输出\;
-}
-计算模型输出与训练损失$\mathcal{L}$（式~\ref{eq:ch4_dypam_loss}）\;
-\end{algorithm}
-
-DyPAM的主要超参数包括：调制嵌入维度$d_e$（默认64）、低秩投影秩$r$（默认128）、调制强度$\alpha$（默认0.3）。与RoSA相比，DyPAM不需要显式指定低频维度比例或层选择参数，因为其调制信号覆盖\emph{所有}维度对并在\emph{所有}层上部署，通过学习到的调制因子自动实现差异化分配。
-
-
-\section{两种方法的统一视角与比较分析}
-\label{sec:ch4_unified_view}
-
-RoSA和DyPAM均针对维度级位置结构异质性（$\mathcal{R}_{dim}$），但在设计理念和技术实现上形成了从"选择性增强"到"全面调制"的递进关系。本节从统一框架的视角对两种方法进行系统比较。
-
-\subsection{统一框架下的形式化对比}
-
-在结构感知调制统一框架（式~\ref{eq:ch1_unified_M}）下，两种方法可以统一理解为乘性调制的不同实例化：
-
-\textbf{RoSA}采用"选择+增强"的调制策略。其调制操作仅作用于维度空间的一个子集（低频维度），调制信号为上下文感知的缩放因子，形式上对应式~\eqref{eq:ch4_rosa_unified}。同时，通过DLS在层空间上进行二值选择（活跃/非活跃），实现层级的稀疏化适配。
-
-\textbf{DyPAM}采用"全覆盖+精细化调制"的策略。其调制操作覆盖所有维度对，调制信号同时融合输入条件化成分和结构偏置成分，形式上对应式~\eqref{eq:ch4_dypam_unified}。调制因子被归一化到以1为中心的有界区间，通过学习实现差异化而非显式选择。
-
-\subsection{设计维度对比}
-
-表~\ref{tab:ch4_compare}从多个设计维度对两种方法进行了系统比较。
-
-\begin{table}[htp]
-\centering
-\caption{RoSA与DyPAM的设计维度对比}
-\label{tab:ch4_compare}
-\small
-\begin{tabular}{lcc}
-\toprule
-\textbf{设计维度} & \textbf{RoSA} & \textbf{DyPAM} \\
-\midrule
-维度选择 & 静态子集（$r_{\text{low}}$） & 全覆盖 \\
-调制粒度 & 逐维度 & 逐维度对 \\
-输入依赖性 & 适配信号输入依赖 & 调制因子输入依赖 \\
-头级差异化 & 共享信号 & 头级偏置 \\
-层级策略 & 二值选择（DLS） & 层级偏置 \\
-调制作用点 & RoPE之后 & RoPE之前 \\
-归一化机制 & 缩放因子$\alpha$ & Sigmoid有界区间 \\
-\bottomrule
-\end{tabular}
-\end{table}
-
-\subsection{互补性与递进关系}
-
-从设计演进的角度看，DyPAM可以理解为对RoSA的全面推进：
-
-（1）\textbf{从静态选择到动态调制}。RoSA通过$r_{\text{low}}$静态划定增强范围，DyPAM则让所有维度对都参与调制，通过学习自动决定每个维度对的调制幅度。
-
-（2）\textbf{从维度级到维度对级}。RoSA在逐维度粒度上操作，DyPAM则与RoPE的维度对结构严格对齐，以维度对为基本调制单位。
-
-（3）\textbf{从层选择到层偏置}。RoSA通过DLS对层进行二值选择，DyPAM则通过可学习的层级偏置实现柔性的层间差异化。
-
-（4）\textbf{引入头级感知}。RoSA在所有头之间共享适配信号，DyPAM则通过头级偏置允许不同头维持独立的位置偏好。
-
-两种方法共同验证了一个核心观点：在RoPE驱动的大语言模型中，维度级位置结构异质性是影响适配效果的关键因素。感知并利用这种异质性，无论是通过选择性增强还是全面精细化调制，都能够显著提升参数高效微调的效能。
-
-
 \section{实验验证与结果分析}
 \label{sec:ch4_experiments}
 
-本节通过大量实验系统评估RoSA和DyPAM的有效性。实验围绕以下核心问题展开：（1）两种方法相比现有PEFT基线方法的性能优势；（2）方法在不同骨干模型上的泛化能力；（3）跨模型规模的可扩展性；（4）各组件的贡献分析；（5）关键超参数的敏感性分析；（6）学习到的调制模式的可解释性分析。
+本节通过大量实验系统评估RoSA的有效性。实验围绕以下核心问题展开：（1）RoSA相比现有PEFT基线方法的性能优势；（2）方法在不同骨干模型上的泛化能力；（3）跨模型规模的可扩展性；（4）各组件的贡献分析；（5）关键超参数的敏感性分析；（6）学习到的层选择模式的可解释性分析。
 
 \subsection{实验设置}
 \label{subsec:ch4_exp_setup}
@@ -479,23 +254,19 @@ RoSA和DyPAM均针对维度级位置结构异质性（$\mathcal{R}_{dim}$），
 
 \textbf{数学推理任务}。在七个基准数据集上评估：MultiArith、GSM8K、AddSub、AQuA、SingleEq、SVAMP和MAWPS，使用Math10K作为训练数据。
 
-所有任务使用准确率作为评估指标，同时报告Micro-Avg（样本加权平均）和Macro-Avg（任务等权平均）。
+所有任务使用准确率作为评估指标，报告Micro-Avg（样本加权平均）。
 
 \subsubsection{骨干模型}
 
-\textbf{RoSA实验}采用三种广泛使用的大语言模型作为骨干：Qwen2.5-7B、Llama-3.1-8B和Gemma2-9B。在可扩展性实验中进一步使用Qwen2.5系列的0.5B、1.5B、3B和7B四个规模。
+本章实验采用三种广泛使用的大语言模型作为骨干：Qwen2.5-7B、Llama-3.1-8B和Gemma2-9B。在可扩展性实验中进一步使用Qwen2.5系列的0.5B、1.5B、3B和7B四个规模。
-
-\textbf{DyPAM实验}采用三种基于RoPE的大语言模型家族：LLaMA 3.2-3B、Qwen3-8B和Gemma3-4B。在可扩展性实验中使用Qwen3系列的0.6B、1.7B、4B和8B四个规模。
 
 \subsubsection{基线方法}
 
-两组实验均与多类主流PEFT方法进行比较，覆盖不同的适配策略：低秩方法（LoRA、DoRA、AdaLoRA）、结构化矩阵方法（BOFT/OFT、C3A、BONE）、轻量缩放方法（IA$^3$、LN Tuning/VeRA）、频域方法（FourierFT）、稀疏适配方法（SHiRA）。DyPAM的实验中还包含RoSA作为基线之一，以直接比较两种方法。
+实验与多类主流PEFT方法进行比较，覆盖不同的适配策略：低秩方法（LoRA、DoRA、AdaLoRA）、结构化矩阵方法（BOFT、C3A、BONE）、轻量缩放方法（VeRA、LN Tuning）。
 
 \subsubsection{实现细节}
 
-\textbf{RoSA实验}在NVIDIA RTX 3090上使用PyTorch和HuggingFace Transformers进行。采用AdamW优化器，学习率1e-3，余弦学习率调度。RoSA超参数：$r_{\text{low}} = 0.25$，$\alpha = 0.1$，低秩投影维度128，$k_{\text{ratio}} = 0.5$，$u = 40$步，$p_{\text{exploit}} = 0.8$。使用BF16混合精度与DeepSpeed ZeRO-1优化。
+实验在NVIDIA RTX 3090上使用PyTorch和HuggingFace Transformers进行。采用AdamW优化器，学习率1e-3，余弦学习率调度。RoSA超参数：$r_{\text{low}} = 0.25$，$\alpha = 0.1$，低秩投影维度128，$k_{\text{ratio}} = 0.5$，$u = 40$步，$p_{\text{exploit}} = 0.8$。使用BF16混合精度与DeepSpeed ZeRO-1优化。
-
-\textbf{DyPAM实验}在NVIDIA RTX 4090上使用DeepSpeed和BF16精度进行。DyPAM超参数：$d_e = 64$，$r = 128$，$\alpha = 0.3$。对基线方法在可比可训练参数规模下进行公平比较。
 
 \subsection{RoSA实验结果与分析}
 \label{subsec:ch4_rosa_results}
@@ -567,19 +338,19 @@ RoSA和DyPAM均针对维度级位置结构异质性（$\mathcal{R}_{dim}$），
     \small
     \resizebox{\linewidth}{!}{
         \renewcommand{\arraystretch}{0.95}
-        \begin{tabular}{lcccccccc}
+        \begin{tabular}{lccccccccc}
             \toprule
-            \textbf{方法} & \textbf{参数(\%)} & \textbf{MultiArith} & \textbf{GSM8K} & \textbf{AddSub} & \textbf{AQuA} & \textbf{SingleEq} & \textbf{SVAMP} & \textbf{MAWPS} \\
+            \textbf{方法} & \textbf{参数(\%)} & \textbf{MultiArith} & \textbf{GSM8K} & \textbf{AddSub} & \textbf{AQuA} & \textbf{SingleEq} & \textbf{SVAMP} & \textbf{MAWPS} & \textbf{Micro-Avg$\uparrow$} \\
             \midrule
-            LoRA       & 0.527 & 93.0 & 68.7 & 88.8 & 33.8 & \underline{88.9} & 79.2 & 88.2 \\
+            LoRA       & 0.527 & 93.0 & 68.7 & 88.8 & 33.8 & \underline{88.9} & 79.2 & 88.2 & 77.7 \\
-            DoRA       & 0.546 & 92.3 & \underline{70.0} & 88.6 & 34.6 & 88.5 & 79.6 & 87.3 \\
+            DoRA       & 0.546 & 92.3 & \underline{70.0} & 88.6 & 34.6 & 88.5 & 79.6 & 87.3 & 78.1 \\
-            AdaLoRA    & 0.396 & 90.0 & 68.8 & 85.3 & 33.8 & 85.6 & 78.9 & 84.0 \\
+            AdaLoRA    & 0.396 & 90.0 & 68.8 & 85.3 & 33.8 & 85.6 & 78.9 & 84.0 & 76.3 \\
-            BOFT       & 0.023 & 89.6 & 67.8 & 82.5 & 31.1 & 86.2 & 75.2 & 80.2 \\
+            BOFT       & 0.023 & 89.6 & 67.8 & 82.5 & 31.1 & 86.2 & 75.2 & 80.2 & 74.6 \\
-            VERA       & 0.018 & 72.5 & 63.7 & 80.7 & 31.1 & 80.3 & 74.2 & 83.1 \\
+            VERA       & 0.018 & 72.5 & 63.7 & 80.7 & 31.1 & 80.3 & 74.2 & 83.1 & 70.0 \\
-            C3A        & 0.665 & \textbf{95.3} & 67.1 & \underline{90.3} & \textbf{35.4} & \textbf{90.1} & \underline{82.1} & \underline{89.4} \\
+            C3A        & 0.665 & \textbf{95.3} & 67.1 & \underline{90.3} & \textbf{35.4} & \textbf{90.1} & \underline{82.1} & \underline{89.4} & \underline{78.7} \\
-            BONE       & 0.291 & 92.8 & 66.6 & 89.6 & 33.4 & 88.3 & \underline{82.1} & 89.0 \\
+            BONE       & 0.291 & 92.8 & 66.6 & 89.6 & 33.4 & 88.3 & \underline{82.1} & 89.0 & 77.8 \\
-            LN Tuning  & 0.001 & 79.6 & 63.6 & 72.1 & 34.2 & 75.3 & 68.1 & 70.1 \\
+            LN Tuning  & 0.001 & 79.6 & 63.6 & 72.1 & 34.2 & 75.3 & 68.1 & 70.1 & 67.7 \\
-            \textbf{RoSA} & 0.261 & \underline{94.3} & \textbf{71.3} & \textbf{92.1} & \underline{35.0} & \textbf{90.1} & \textbf{82.2} & \textbf{92.0} \\
+            \textbf{RoSA} & 0.261 & \underline{94.3} & \textbf{71.3} & \textbf{92.1} & \underline{35.0} & \textbf{90.1} & \textbf{82.2} & \textbf{92.0} & \textbf{80.1*} \\
             \bottomrule
         \end{tabular}
     }
@@ -609,149 +380,6 @@ RoSA和DyPAM均针对维度级位置结构异质性（$\mathcal{R}_{dim}$），
 
 结果显示，随着模型规模增大，所有方法的性能均有提升，但RoSA在各个规模上始终保持明显优势。这表明RoSA的结构感知适配策略具有良好的可扩展性和鲁棒性。
 
-\subsection{DyPAM实验结果与分析}
-\label{subsec:ch4_dypam_results}
-
-\subsubsection{数学推理性能}
-
-表~\ref{tab:ch4_dypam_math}展示了DyPAM在数学推理任务上的性能。
-
-\begin{table}[htp]
-    \centering
-    \caption{DyPAM与基线方法在数学推理任务上的性能比较。*表示统计显著提升。}
-    \label{tab:ch4_dypam_math}
-    \small
-    \resizebox{\linewidth}{!}{
-        \renewcommand{\arraystretch}{0.9}
-        \begin{tabular}{l|lcccccccccc}
-            \toprule
-            \textbf{骨干} & \textbf{方法} & \textbf{参数(\%)} & \textbf{MultiArith} & \textbf{GSM8K} & \textbf{AddSub} & \textbf{AQuA} & \textbf{SingleEq} & \textbf{SVAMP} & \textbf{MAWPS} & \textbf{Micro-Avg$\uparrow$} & \textbf{Macro-Avg$\uparrow$} \\
-            \midrule
-            \multirow{10}{*}{\rotatebox{90}{\textbf{LLaMA3.2-3B}}}
-                & LoRA      & 1.12 & 71.50 & 33.21 & 78.48 & 22.44 & 81.50 & 54.10 & 76.47 & 54.96 & 59.67 \\
-                & AdaLoRA   & 2.22 & 75.67 & 36.32 & 80.51 & 22.83 & 87.80 & 55.60 & 78.57 & 57.90 & 62.47 \\
-                & OFT       & 0.73 & 87.17 & \textbf{40.18} & \underline{85.82} & \underline{24.02} & 86.42 & 61.50 & \textbf{84.03} & \underline{62.75} & \underline{67.02} \\
-                & Bone      & 1.14 & \underline{87.50} & 39.73 & 85.57 & 23.62 & 86.61 & \textbf{63.70} & 81.93 & 63.03 & 66.95 \\
-                & IA$^3$    & 0.02 & 58.33 & 27.37 & 68.61 & 20.47 & 72.83 & 47.90 & 58.82 & 46.89 & 50.62 \\
-                & LN Tuning & 0.01 & 58.00 & 26.38 & 66.58 & 21.26 & 74.80 & 44.90 & 60.08 & 46.01 & 50.29 \\
-                & FourierFT & 0.73 & 78.67 & 33.21 & 82.03 & 20.47 & 85.43 & 54.30 & 77.31 & 56.72 & 61.63 \\
-                & SHiRA     & 1.12 & 82.50 & 38.82 & 84.81 & \underline{24.02} & \underline{87.99} & 56.90 & 81.93 & 60.59 & 65.28 \\
-                & RoSA      & 0.54 & 84.33 & 37.91 & 82.78 & 22.83 & 87.01 & 52.50 & 78.99 & 59.02 & 63.77 \\
-                & \textbf{DyPAM} & 0.92 & \textbf{88.50} & \underline{39.88} & \textbf{86.33} & \textbf{25.20} & \textbf{88.78} & \underline{63.00} & \textbf{84.03} & \textbf{63.58*} & \textbf{67.96*} \\
-            \midrule
-            \multirow{10}{*}{\rotatebox{90}{\textbf{Qwen3-8B}}}
-                & LoRA      & 0.79 & 97.67 & 74.91 & 89.87 & 35.83 & 90.55 & 84.70 & 89.08 & 82.04 & 80.37 \\
-                & AdaLoRA   & 1.57 & 95.17 & 73.01 & 90.63 & 37.01 & 92.32 & 84.80 & 91.60 & 81.62 & 80.65 \\
-                & OFT       & 0.51 & 95.67 & 73.46 & 90.38 & 33.07 & 94.09 & 84.90 & 91.60 & 81.80 & 80.45 \\
-                & Bone      & 0.81 & \underline{98.00} & 72.25 & \underline{91.65} & 33.46 & 93.90 & 83.80 & 90.34 & 81.55 & 80.49 \\
-                & IA$^3$    & 0.02 & 92.50 & 72.18 & 84.81 & 35.04 & 86.61 & 80.90 & 86.55 & 78.49 & 76.94 \\
-                & LN Tuning & 0.00 & 91.67 & 68.69 & 85.32 & \underline{39.76} & 87.40 & 78.00 & 85.71 & 77.01 & 76.65 \\
-                & FourierFT & 0.37 & 94.50 & 70.05 & 87.34 & 31.50 & 86.81 & 82.70 & 81.09 & 78.28 & 76.28 \\
-                & SHiRA     & 0.79 & 94.83 & \underline{75.36} & 90.13 & 37.01 & 93.90 & \textbf{85.70} & 90.34 & \underline{82.57} & \underline{81.04} \\
-                & RoSA      & 0.36 & 97.83 & 74.07 & 90.38 & 35.43 & \underline{94.49} & 84.80 & \underline{92.02} & 82.48 & 81.29 \\
-                & \textbf{DyPAM} & 0.61 & \textbf{99.17} & \textbf{76.72} & \textbf{91.90} & \textbf{40.94} & \textbf{95.28} & \underline{85.50} & \textbf{92.86} & \textbf{84.24*} & \textbf{83.20*} \\
-            \midrule
-            \multirow{10}{*}{\rotatebox{90}{\textbf{Gemma3-4B}}}
-                & LoRA      & 1.33 & 86.00 & 51.25 & 72.41 & 25.98 & 75.59 & 62.20 & 75.21 & 63.26 & 64.09 \\
-                & AdaLoRA   & 2.62 & 82.67 & 51.86 & 66.33 & 31.50 & 73.82 & 62.30 & 73.95 & 62.49 & 63.20 \\
-                & OFT       & 0.75 & 85.83 & \underline{54.28} & 72.91 & \underline{32.28} & 75.59 & \textbf{63.80} & \underline{76.47} & \underline{65.02} & \underline{65.88} \\
-                & Bone      & 1.41 & \underline{86.17} & 45.87 & 71.39 & 30.31 & 72.64 & 55.10 & 73.11 & 59.69 & 62.08 \\
-                & IA$^3$    & 0.03 & 42.67 & 38.89 & 40.51 & 27.17 & 40.75 & 37.20 & 37.39 & 38.62 & 37.80 \\
-                & LN Tuning & 0.01 & 32.67 & 30.63 & 45.06 & 23.62 & 56.69 & 40.80 & 37.82 & 37.64 & 38.18 \\
-                & FourierFT & 1.10 & 60.83 & 31.24 & 65.32 & 28.35 & 66.73 & 46.30 & 65.97 & 47.89 & 52.10 \\
-                & SHiRA     & 1.33 & 72.67 & 42.08 & \underline{73.16} & 31.50 & \textbf{76.57} & 61.30 & 75.63 & 58.92 & 61.84 \\
-                & RoSA      & 0.40 & 34.50 & 38.51 & 66.84 & 31.10 & 63.19 & 43.70 & 62.18 & 45.53 & 48.58 \\
-                & \textbf{DyPAM} & 0.62 & \textbf{86.33} & \textbf{55.19} & \textbf{73.42} & \textbf{32.68} & \underline{76.18} & \underline{62.70} & \textbf{76.89} & \textbf{65.28*} & \textbf{66.20*} \\
-            \bottomrule
-        \end{tabular}
-    }
-\end{table}
-
-DyPAM在所有三种骨干模型上均取得了最优的Macro-Avg和Micro-Avg性能，且改进在统计上显著。值得注意的是，在Qwen3-8B上，DyPAM的Macro-Avg达到83.20\%、Micro-Avg达到84.24\%，显著优于RoSA的81.29\%/82.48\%（同为维度级适配方法），验证了从"静态选择"到"动态调制"的设计改进的有效性。
-
-在Gemma3-4B上，RoSA的表现明显下降（Macro-Avg仅48.58\%），这可能源于其固定的低频维度选择比例在该架构上未能适配，而DyPAM的自适应调制机制成功避免了这一问题，取得66.20\%的Macro-Avg。
-
-\subsubsection{常识推理性能}
-
-表~\ref{tab:ch4_dypam_common}展示了DyPAM在常识推理任务上的性能。
-
-\begin{table}[htp]
-    \centering
-    \caption{DyPAM与基线方法在常识推理任务上的性能比较。*表示统计显著提升。}
-    \label{tab:ch4_dypam_common}
-    \small
-    \resizebox{\linewidth}{!}{
-        \renewcommand{\arraystretch}{0.9}
-        \begin{tabular}{l|lcccccccccc}
-            \toprule
-            \textbf{骨干} & \textbf{方法} & \textbf{参数(\%)} & \textbf{BoolQ} & \textbf{PIQA} & \textbf{SIQA} & \textbf{ARC-C} & \textbf{ARC-E} & \textbf{OBQA} & \textbf{HellaSwag} & \textbf{WinoGrande} & \textbf{Macro-Avg$\uparrow$} \\
-            \midrule
-            \multirow{10}{*}{\rotatebox{90}{\textbf{LLaMA3.2-3B}}}
-                & LoRA      & 1.12 & 63.61 & 79.71 & 66.94 & 69.45 & 84.05 & 67.00 & 73.94 & 55.56 & 70.03 \\
-                & AdaLoRA   & 2.22 & 63.52 & 78.94 & 67.09 & 68.94 & 85.14 & 70.20 & 78.11 & 56.35 & 71.04 \\
-                & OFT       & 0.73 & \underline{65.63} & 79.54 & 70.37 & 70.39 & 85.06 & 71.80 & \underline{83.15} & \underline{66.38} & \underline{74.04} \\
-                & Bone      & 1.14 & 64.56 & 75.68 & 69.34 & 64.42 & 79.76 & 70.20 & 75.92 & 65.75 & 70.70 \\
-                & IA$^3$    & 0.02 & 62.32 & 77.09 & 59.67 & 57.94 & 77.10 & 57.40 & 50.48 & 52.25 & 61.78 \\
-                & LN Tuning & 0.01 & 62.51 & 76.99 & 59.52 & 59.81 & 76.52 & 59.00 & 52.02 & 52.17 & 62.32 \\
-                & FourierFT & 0.73 & 62.14 & 79.49 & 61.98 & 61.86 & 80.93 & 62.40 & 73.21 & 49.09 & 66.39 \\
-                & SHiRA     & 1.12 & 65.23 & \underline{79.65} & 69.14 & \underline{71.16} & \underline{84.97} & \underline{71.20} & 83.18 & 65.67 & 73.78 \\
-                & RoSA      & 0.54 & 64.53 & \underline{79.65} & \underline{69.86} & 69.28 & 84.43 & 70.80 & 83.12 & 63.54 & 73.15 \\
-                & \textbf{DyPAM} & 0.92 & \textbf{65.93} & \textbf{79.76} & \textbf{70.88} & \textbf{70.39} & \textbf{85.19} & \textbf{71.80} & \textbf{83.71} & \textbf{65.35} & \textbf{74.13*} \\
-            \midrule
-            \multirow{10}{*}{\rotatebox{90}{\textbf{Qwen3-8B}}}
-                & LoRA      & 0.79 & 70.49 & 86.34 & 77.18 & 90.19 & 96.51 & 87.60 & 89.50 & 72.85 & 83.83 \\
-                & AdaLoRA   & 1.57 & 70.73 & 86.51 & 76.71 & 90.36 & 96.55 & 87.20 & 88.92 & 72.38 & 83.67 \\
-                & OFT       & 0.51 & 69.97 & 86.83 & 76.56 & 89.93 & 96.97 & 88.00 & 89.17 & \underline{76.48} & 84.24 \\
-                & Bone      & 0.81 & 69.02 & 85.31 & 75.64 & 88.91 & 95.58 & 87.60 & 89.30 & 76.56 & 83.49 \\
-                & IA$^3$    & 0.02 & 69.51 & 86.34 & 76.71 & 90.27 & 96.09 & 84.40 & 85.12 & 66.77 & 81.90 \\
-                & LN Tuning & 0.00 & 69.33 & 86.40 & 75.95 & 90.27 & 96.00 & 83.00 & 83.86 & 65.43 & 81.28 \\
-                & FourierFT & 0.37 & 69.54 & 84.49 & 73.13 & 85.92 & 95.29 & 77.80 & 80.48 & 62.27 & 78.62 \\
-                & SHiRA     & 0.79 & \underline{70.83} & \underline{87.05} & \underline{77.33} & \underline{90.36} & \underline{96.97} & \underline{88.20} & \underline{89.56} & 75.77 & \underline{84.51} \\
-                & RoSA      & 0.36 & 68.96 & 86.94 & 75.33 & 89.85 & 96.38 & \underline{88.20} & 89.43 & 76.16 & 83.91 \\
-                & \textbf{DyPAM} & 0.61 & \textbf{70.89} & \textbf{87.11} & \textbf{77.33} & \textbf{90.53} & \textbf{97.05} & \textbf{88.80} & \textbf{89.53} & \textbf{76.80} & \textbf{84.75*} \\
-            \midrule
-            \multirow{10}{*}{\rotatebox{90}{\textbf{Gemma3-4B}}}
-                & LoRA      & 1.33 & 65.72 & 79.71 & 69.40 & 74.49 & 87.08 & 71.00 & 74.53 & 55.01 & 72.12 \\
-                & AdaLoRA   & 2.62 & 66.09 & 79.49 & 68.73 & \underline{76.54} & \underline{89.02} & 74.00 & 73.20 & 58.09 & 73.14 \\
-                & OFT       & 0.75 & 65.69 & \underline{81.99} & \underline{74.51} & 76.71 & 88.47 & \underline{78.00} & \underline{83.86} & \underline{65.27} & \underline{76.81} \\
-                & Bone      & 1.41 & 64.68 & 75.35 & 71.24 & 70.39 & 82.83 & 75.80 & 78.33 & 64.48 & 72.89 \\
-                & IA$^3$    & 0.02 & 62.17 & 71.49 & 57.32 & 57.51 & 73.19 & 55.20 & 44.89 & 57.85 & 59.95 \\
-                & LN Tuning & 0.00 & 62.60 & 66.70 & 49.85 & 49.91 & 63.59 & 45.20 & 47.29 & 60.46 & 55.70 \\
-                & FourierFT & 0.37 & 63.94 & 75.57 & 67.14 & 67.32 & 76.05 & 57.80 & 71.81 & 59.35 & 67.37 \\
-                & SHiRA     & 0.79 & 65.57 & 82.25 & 74.53 & 76.19 & 89.71 & 78.20 & 83.19 & 64.48 & 76.77 \\
-                & RoSA      & 0.40 & 63.70 & 79.54 & 67.40 & 72.27 & 86.66 & 69.40 & 48.53 & 47.51 & 66.88 \\
-                & \textbf{DyPAM} & 0.62 & \textbf{66.21} & \textbf{82.59} & \textbf{74.82} & \textbf{77.13} & \textbf{89.23} & \textbf{79.20} & \textbf{84.09} & \textbf{65.35} & \textbf{77.33*} \\
-            \bottomrule
-        \end{tabular}
-    }
-\end{table}
-
-DyPAM在所有三种骨干模型的常识推理任务上均取得统计显著的最优Macro-Avg性能。在LLaMA 3.2-3B上达到74.13\%，在Qwen3-8B上达到84.75\%，在Gemma3-4B上达到77.33\%。常识推理与数学推理上的一致性提升表明，DyPAM的位置注意力调制机制具有跨任务域的普适性。值得注意的是，在Gemma3-4B上，RoSA的Macro-Avg仅为66.88\%，远低于DyPAM的77.33\%，进一步验证了动态调制相对于静态维度选择的优势。
-
-\subsubsection{跨模型规模的可扩展性}
-
-表~\ref{tab:ch4_dypam_scale}展示了DyPAM在Qwen3系列不同模型规模上的可扩展性分析。
-
-\begin{table}[htp]
-    \centering
-    \caption{DyPAM与主要基线方法在不同模型规模上的数学推理性能比较（Macro-Avg准确率\%）。}
-    \label{tab:ch4_dypam_scale}
-    \small
-    \begin{tabular}{lcccc}
-        \toprule
-        \textbf{方法} & \textbf{Qwen3-0.6B} & \textbf{Qwen3-1.7B} & \textbf{Qwen3-4B} & \textbf{Qwen3-8B} \\
-        \midrule
-        LoRA  & 64.06 & 66.64 & 75.60 & 80.37 \\
-        OFT   & \underline{65.96} & \underline{67.81} & 75.54 & 80.45 \\
-        SHiRA & 63.95 & 64.65 & 73.33 & \underline{81.04} \\
-        RoSA  & 63.99 & 67.38 & \underline{77.92} & 81.29 \\
-        \textbf{DyPAM} & \textbf{66.13} & \textbf{69.24} & \textbf{78.24} & \textbf{83.20} \\
-        \bottomrule
-    \end{tabular}
-\end{table}
-
-DyPAM在Qwen3系列四个规模（0.6B至8B）上均超越所有基线方法。随模型规模增大，DyPAM与基线之间的性能差距进一步扩大（0.6B上超过OFT 0.17个百分点，8B上超过RoSA 1.91个百分点），表明DyPAM能够更充分地利用大模型增加的表征容量来发挥位置感知调制的优势。
-
 \subsection{消融实验与深入分析}
 \label{subsec:ch4_ablation}
 
@@ -779,17 +407,6 @@ DyPAM在Qwen3系列四个规模（0.6B至8B）上均超越所有基线方法。
 
 消融分析揭示：（1）移除DLS导致1.1\%的下降（85.9→84.8），证明动态层选择的贡献显著；（2）将$r_{\text{low}}$从0.25增至0.5（即扩大增强范围到一半维度）导致0.3\%下降（85.9→85.6），表明更集中地增强低频子空间更为有效；（3）用标准LoRA替代RoAE后性能大幅下降（85.9→83.9/80.7），说明RoPE感知的频率定向增强优于通用低秩适配。
 
-\subsubsection{DyPAM组件消融}
-
-\begin{figure}[htp]
-  \centering
-  \includegraphics[width=0.9\linewidth]{assets/4_dypam_ablation.pdf}
-  \caption{DyPAM消融与超参数敏感性分析。（a）移除各组件后的性能变化；（b）调制强度$\alpha$的影响。}
-  \label{fig:ch4_dypam_ablation}
-\end{figure}
-
-DyPAM的消融实验表明，每个核心组件在整体性能中发挥互补作用：移除任何单一组件均导致一致性的性能下降，表明DyPAM的性能提升源自各组件的联合设计而非孤立的架构选择。
-
 \subsubsection{DLS层选择比例的敏感性}
 
 \begin{figure}[htp]
@@ -801,10 +418,6 @@ DyPAM的消融实验表明，每个核心组件在整体性能中发挥互补作
 
 对RoSA的DLS模块进行层选择比例$k_{\text{ratio}}$的敏感性分析。结果表明，$k_{\text{ratio}} \approx 0.5$时性能最佳。增大该比例反而略微降低性能，说明选择性地更新约一半的层比更新所有层更有效，这与层间异质性的假设一致。
 
-\subsubsection{DyPAM调制强度的敏感性}
-
-对DyPAM的调制强度$\alpha$进行敏感性分析。适当的调制幅度显著优于过弱或过强的调制：$\alpha=0.3$附近取得最优性能。过小的$\alpha$限制了调制的表达能力，而过大的$\alpha$可能过度偏离预训练表示，破坏已学知识。
-
 \subsection{可解释性分析}
 \label{subsec:ch4_interpretability}
 
@@ -819,40 +432,12 @@ DyPAM的消融实验表明，每个核心组件在整体性能中发挥互补作
 
 对RoSA训练过程中DLS的层选择频率进行可视化分析。结果清晰地展现了层间的显著异质性：某些层被一致地识别为更重要并更频繁地被选择进行适配，而另一些层则很少被选中。这一观察从实证角度验证了层间异质性假设，也说明了DLS策略中利用-探索平衡机制的必要性——避免忽视那些选择频率较低但潜在有价值的层。
 
-\subsubsection{DyPAM学习到的调制模式}
-
-\begin{figure}[htp]
-  \centering
-  \includegraphics[width=0.9\linewidth]{assets/4_bias_modulation.pdf}
-  \caption{DyPAM学习到的位置调制模式。（a）层级偏置在Query维度上的分布，展示异构且结构化的偏置变化；（b）层级调制范围，显示稳定受控的缩放行为。}
-  \label{fig:ch4_modulation_pattern}
-\end{figure}
-
-对DyPAM学习到的层级偏置和调制范围进行可视化分析，揭示了两个关键发现：
-
-（1）\textbf{异构的结构偏置}。层级偏置在不同层和不同维度上展现出非均匀的变化模式，而非均匀的偏移。这种结构化的非均匀性表明，不同注意力维度在不同深度发展出了各自独特的位置偏好，与位置信息在各层被差异化利用的直觉一致。
-
-（2）\textbf{受控的调制范围}。调制因子围绕1保持适度的方差，表明DyPAM进行的是精细化的微调而非大幅度的重塑。这种克制的调制行为在保留预训练注意力结构的同时提供了必要的适配灵活性。
-
-
-
-
-
-
-
 
 \section{本章小结}
 \label{sec:ch4_summary}
 
-本章围绕维度级位置结构异质性（$\mathcal{R}_{dim}$），在统一分析框架下提出了两种递进式的结构感知适配方法。
+本章围绕维度级位置结构异质性（$\mathcal{R}_{dim}$），在统一分析框架下提出了RoPE感知的选择性适配方法（RoSA）。
-
-RoSA通过RoPE感知注意力增强模块（RoAE）选择性地增强Query/Key表示中功能关键的低频维度成分，并通过动态层选择策略（DLS）自适应地分配层间适配资源，实现了"维度内精准增强＋层间动态选择"的双层级结构感知适配。在15个常识与数学推理基准上，RoSA在三种骨干模型上均取得了最优性能，同时保持了较低的参数开销。
-
-DyPAM进一步将维度级适配从"静态选择"推进至"动态调制"，引入输入条件化的维度级调制机制，使调制信号根据输入上下文动态生成；同时引入头级和层级结构偏置，实现多粒度的位置感知。DyPAM通过与RoPE维度对结构的严格对齐和有界调制因子的设计，在保留预训练知识的前提下实现了更精细化的适配。在三种新一代骨干模型和15个基准数据集上，DyPAM进一步超越了包括RoSA在内的所有基线方法。
-
-从RoSA到DyPAM的递进演化验证了维度级位置结构异质性作为影响适配效果关键因素的假设，也展示了在统一框架下通过逐步深化结构感知能力来提升适配性能的方法论路径。
-
-第三章和第四章分别从模块级功能异质性和维度级位置结构异质性出发，提出了乘性调制范式的结构感知适配方法。下一章将转向频谱级多尺度异质性和参数级容量分配异质性，探索组合式调制和结构分解调制两种新的调制形式，进一步丰富结构感知适配的方法体系。
-
 
+RoSA通过RoPE感知注意力增强模块（RoAE）选择性地增强Query/Key表示中功能关键的低频维度成分，并通过动态层选择策略（DLS）自适应地分配层间适配资源，实现了"维度内精准增强＋层间动态选择"的双层级结构感知适配。在15个常识与数学推理基准上，RoSA在三种骨干模型（Qwen2.5-7B、Llama3.1-8B、Gemma2-9B）上均取得了最优性能，同时保持了较低的参数开销（0.26\%--0.36\%可训练参数）。消融实验验证了RoAE与DLS两个组件的各自贡献，可解释性分析揭示了DLS学习到的层选择模式与层间功能分化的一致性。
 
+然而，RoSA的维度增强仍是静态选择模式——低频维度的选择范围由超参数固定，调制信号不区分不同注意力头的位置偏好，也无法根据输入内容进行动态调整。下一章将提出DyPAM方法，将维度级适配从静态选择推进至输入条件化的动态调制，进一步深化位置结构感知适配的精细化程度。

chap07.tex

@@ -1,36 +1,51 @@
-\chapter*{总结与展望}
+% \chapter*{总结与展望}
+\summary
 
-\subsubsection{本文工作总结}
+\section*{本文工作总结}
 
-城市时空系统在空间组织形式、动态演化规律以及任务功能需求等方面呈现出显著的结构复杂性特征。这种复杂性不仅体现在观测数据的多尺度变化与多源耦合关系之中，也进一步映射为模型在统一表征学习过程中所面临的多层级结构适配问题。围绕这一科学问题，本文以时空数据的结构特性为研究出发点，对模型适配过程中所涉及的关键结构差异进行了系统归纳，构建了结构感知调制的统一分析框架，从模块功能组织、表示维度结构、多尺度动态模式以及参数容量分布等不同层级刻画时空数据诱导的结构异质性，并据此形成具有一致形式的结构化建模思路。
+大语言模型在多任务适配过程中，其内部不同模块、不同表示维度以及不同参数子空间在信息建模中承担着差异化的功能角色。这种模型内部的结构异质性特征，不仅影响适配效果，也对参数高效微调方法的设计提出了新的要求。围绕这一科学问题，本文以大语言模型内部的结构角色差异为研究出发点，对模型适配过程中所涉及的关键结构异质性进行了系统归纳，构建了结构感知调制的统一分析框架，从模块功能组织、表示维度结构、多尺度动态模式以及参数容量分布等不同层级刻画模型内部的结构异质性，并据此形成具有一致形式的结构化适配思路。
 
-在方法研究方面，本文围绕多层级结构异质性逐步展开，形成了由表示空间到参数空间递进发展的适配策略体系。在模块级层面，通过上下文条件化的注意力调制机制，引导模型在多任务场景下实现知识共享与任务特化表达之间的协调；在维度级层面，通过位置结构感知的表示调制方法增强模型对空间依赖关系与时空位置编码的利用效率；在参数组织层面，结合多尺度频谱建模与容量分配机制，使模型能够在有限参数预算下同时捕获全局演化趋势与局部细粒度模式。上述方法从不同侧面探索了结构角色驱动的模型适配路径，体现了由数据结构特性引导模型能力发挥的建模思路。
+在方法研究方面，本文围绕多层级结构异质性逐步展开，形成了由表示空间到参数空间递进发展的适配策略体系。在模块级层面，通过上下文条件化的注意力调制机制，引导模型在多任务场景下实现知识共享与任务特化表达之间的协调；在维度级层面，通过位置结构感知的表示调制方法，从静态选择性增强到动态输入条件化调制的递进设计，增强模型对RoPE位置编码结构的利用效率；在参数组织层面，结合多尺度频谱建模与容量分配机制，使模型能够在有限参数预算下同时捕获全局适配结构与局部精细修正。上述方法从不同侧面探索了结构角色驱动的模型适配路径，体现了由模型内部结构特性引导适配能力发挥的建模思路。
 
-在评测与验证层面，本文进一步构建了面向时空智能研究的实验基础设施体系。通过设计基于多智能体协同的交通预测持续评测框架，实现了交通预测模型从文献发现到统一评估的自动化工作流，为相关方法提供了可复现且可扩展的验证环境。同时，基于真实轨迹行为与地理兴趣点信息构建了大规模时空敏感问答数据集，对当前模型在复杂城市场景中的时空推理能力进行了系统评测。实验结果表明，尽管现有基础模型在通用任务中已展现出较强能力，但在细粒度时空推理问题上仍存在明显性能瓶颈，而结构感知的适配策略在提升模型表现方面具有一定潜力。
+在实验验证层面，本文在常识推理、数学推理和多任务联合适配等多类基准任务上，对所提出的五种方法进行了系统评估。实验覆盖LLaMA、Qwen、Gemma等多个主流大语言模型家族及从0.5B到14B的多个参数规模，与LoRA、DoRA、AdaLoRA等主流参数高效微调方法进行了全面对比。实验结果表明，结构感知的适配策略在多种任务和多种骨干模型上均能取得一致性的性能提升，验证了显式感知并利用模型内部结构异质性对于提升适配效能的重要价值。
 
-总体而言，本文围绕城市时空系统的结构复杂性这一核心问题，从统一分析框架构建、多层级适配方法设计到评测体系支撑三个层面开展研究，形成了较为完整的技术路径与研究闭环。相关工作为基础模型在复杂时空智能任务中的高效应用提供了系统性的理论参考与方法探索，也为后续城市智能建模研究奠定了进一步发展的基础。
+总体而言，本文围绕大语言模型内部结构异质性这一核心问题，从统一分析框架构建到多层级适配方法设计两个层面开展研究，形成了较为完整的技术路径与研究体系。相关工作为大语言模型在复杂任务中的参数高效适配提供了系统性的理论参考与方法探索，也为后续结构感知适配研究奠定了进一步发展的基础。
-\subsection{主要创新点}
+\section*{主要创新点}
 
-围绕城市时空数据表征学习与基础模型高效适配这一核心问题，本文从结构特性分析、方法体系构建以及评测基础设施设计等方面开展了系统研究，主要创新性工作体现在以下三个方面。
+围绕大语言模型结构感知表征适配这一核心问题，本文从结构特性分析与方法体系构建两个方面开展了系统研究，主要创新性工作体现在以下三个方面。
 
-\textbf{创新点一：提出了面向时空数据结构复杂性的统一分析框架。}
+\textbf{创新点一：提出了面向大语言模型内部结构异质性的结构感知适配统一分析框架。}
 
-针对复杂城市时空任务中模型适配困难来源缺乏系统性认识的问题，本文从表示学习过程出发，对时空数据在模型内部诱导的结构差异进行了层级化归纳与形式化刻画。通过从模块功能组织、表示维度结构、多尺度动态模式以及参数容量分布等多个层面分析结构异质性对模型建模过程的影响，本文构建了一个具有统一视角的结构感知分析框架。该框架将以往分散于具体任务或模型设计中的经验性现象上升为结构层面的机制性认识，有助于更清晰地理解复杂时空任务中模型适配难点的来源，并为后续结构感知建模方法的设计提供了具有指导意义的理论分析基础。
+针对大语言模型适配过程中不同结构单元功能角色差异缺乏系统性认识的问题，本文从表示学习过程出发，对模型内部不同层级的结构异质性进行了系统归纳与形式化刻画。通过从模块功能组织、表示维度结构、多尺度动态模式以及参数容量分布等多个层面分析结构异质性对适配过程的影响，本文构建了一个具有统一视角的结构感知分析框架。该框架将以往分散于具体方法设计中的经验性观察上升为结构层面的机制性认识，有助于更清晰地理解模型适配中关键因素的来源，并为后续结构感知适配方法的设计提供了具有指导意义的理论分析基础。
 
-\textbf{创新点二：构建了面向城市多任务时空建模的多层级结构感知参数高效适配方法体系。}
+\textbf{创新点二：构建了面向表示空间的多层级结构感知表征适配方法体系。}
 
-围绕结构异质性对模型表征能力的影响，本文从表示空间到参数空间逐层展开研究，形成了具有内在一致性的结构角色驱动适配策略。在模块级层面，通过上下文条件化的注意力调制机制协调跨任务知识共享与任务特化表达；在维度级层面，通过位置结构感知的动态表示调制增强模型对空间依赖关系的建模能力；在更高层级的参数组织层面，结合多尺度频谱建模与容量分配机制，使模型能够在有限参数预算下同时刻画全局演化趋势与局部细粒度模式。该方法体系体现了由时空数据结构特性引导模型能力发挥的建模范式，为基础模型在复杂城市任务中的高效适配提供了系统性技术路径。
+围绕模型内部模块级与维度级结构异质性，本文从表示空间层面构建了由模块级到维度级、由静态粗粒度到动态细粒度的递进式方法体系。在模块级层面，通过上下文条件化的注意力调制机制（HyCAM）协调跨任务知识共享与任务特化表达；在维度级层面，通过静态选择性增强（RoSA）与动态输入条件化调制（DyPAM）两种方法，增强模型对RoPE位置编码维度结构的感知与利用能力。该体系体现了表示空间适配从粗粒度表示流调制到细粒度位置结构调制的逐层深化过程。
 
-\textbf{创新点三：构建了面向时空智能研究的持续评测基础设施与细粒度时空推理数据资源。}
+\textbf{创新点三：提出了面向参数空间的多尺度与容量分配结构感知适配方法。}
 
-为解决交通预测基准难以持续更新以及大语言模型缺乏时空推理评测数据的问题，本文提出了AI驱动的交通预测持续评测框架AgentCity，实现了模型发现、复现与统一评估的自动化工作流；同时构建了大规模时空敏感问答数据集POI-QA，从真实轨迹行为出发系统评测模型在复杂城市场景中的时空推理能力。上述工作在方法研究与实验验证之间建立了稳定的评测支撑环境，为后续相关研究提供了可复现、可扩展的实验基础。
+围绕参数空间中的频谱级多尺度异质性与参数级容量分配异质性，本文提出了CASCADE与MESSA两种方法。CASCADE围绕参数更新的表示方式问题，通过异构频域专家级联实现多尺度适配模式的协同建模；MESSA围绕参数更新的分配方式问题，通过共享-特有稀疏分解与预算感知优化实现多任务参数容量的高效配置。两种方法分别丰富了统一框架中的组合式调制与结构分解调制形式，在有限参数预算下显著提升了适配效率与多任务协同能力。
 
-\subsection{未来工作展望}
+\section*{局限性分析}
 
-尽管本文围绕时空数据结构特性驱动的表征学习建模开展了系统研究，但面向更复杂的城市智能场景，相关理论与方法仍具有进一步拓展空间。未来研究可从模型范式层面对时空基础模型的构建展开探索。在现有通用预训练模型基础上的结构感知适配策略之外，有必要进一步研究原生面向时空数据的统一预训练框架，通过在大规模轨迹数据、路网结构数据及城市运行观测数据上的联合学习，增强模型对时空动态规律的内在表征能力，从而为多类型城市任务提供更加稳健的基础模型支撑。
+尽管本文围绕大语言模型结构感知适配开展了较为系统的研究，但在理论深度与方法适用范围方面仍存在一定局限。
 
-随着城市运行环境中多源数据的持续积累，多模态时空信息融合将成为重要研究方向。真实场景下的时空行为往往同时受到地理结构、语义事件及环境因素的综合影响，例如文本信息、遥感影像与感知数据等均可能对时空模式产生显著作用。如何在统一表示空间中实现多模态信息的协同建模，并在保持模型计算效率的前提下提升其对复杂城市现象的理解能力，是未来值得深入探索的问题。
+第一，在统一分析框架层面，本文将模型内部结构异质性划分为模块级、维度级、频谱级与参数级四类，并分别设计了相应的适配方法。然而，当前框架主要以经验观察为基础对结构异质性进行归纳，尚缺乏从信息论或优化理论角度对不同层级异质性的严格量化分析。此外，不同层级结构异质性之间的交互关系（如维度级位置结构与频谱级多尺度模式之间的耦合效应）尚未被显式建模。
 
-从应用角度看，开放环境中的时空推理与决策能力仍有较大提升空间。相关实验结果表明，当前模型在面对自然语言表达、复杂约束条件及细粒度空间推理任务时仍存在明显性能差距。未来可进一步研究面向长期行为预测与动态交互决策的建模机制，使模型能够在不断变化的城市环境中实现更稳定的推理与自适应调整，从而推动时空智能技术向真实应用场景的深入发展。
+第二，在表示空间方法方面，HyCAM的模块级调制聚焦于自注意力输出表示流，对前馈网络内部可能存在的细粒度结构适配机会尚未深入探索。RoSA与DyPAM均针对基于RoPE位置编码的模型设计，对于采用其他位置编码方案（如ALiBi、可学习位置嵌入）的模型架构，其适用性尚需进一步验证。此外，DyPAM的输入条件化调制虽然提升了适配的动态性，但也引入了额外的推理时延，在对延迟敏感的部署场景中需要权衡。
 
-此外，评测体系与实际系统运行之间的持续联动也具有重要研究价值。随着AI驱动评测框架的逐步成熟，未来可探索将离线基准评测、在线数据更新与真实系统反馈相结合，构建具有持续演化能力的评测生态，从而更加全面地刻画模型在复杂城市系统中的长期性能表现与泛化能力。通过在模型设计、数据资源建设与评测机制完善等方面的协同推进，有望逐步形成更加系统化和可落地的城市时空智能研究范式。
+第三，在参数空间方法方面，CASCADE的频谱级联机制依赖于预定义的频域变换基（DCT与小波），对于不同任务和模型架构是否存在更优的频率分解方式尚未系统探索。MESSA的共享-特有稀疏分配在任务数量较少时表现良好，但当任务规模显著增大时，其预算分配的可扩展性有待进一步验证。
+
+第四，在实验验证层面，本文的方法主要在语言理解与推理类任务上进行了评估，尚未在多模态、长上下文生成、持续学习等更广泛的应用场景中进行系统验证。此外，各方法的实验均在独立设置下进行，不同层级适配方法的组合使用效果尚未被充分探索。
+
+\section*{未来工作展望}
+
+尽管本文围绕大语言模型结构感知表征适配开展了系统研究，但面向更复杂的应用场景与更大规模的模型架构，相关理论与方法仍具有进一步拓展空间。
+
+未来研究可从更深层次的结构异质性建模方向展开探索。本文关注的四类结构异质性（模块级、维度级、频谱级、参数级）之间可能存在更深层的交互关系。例如，维度级位置结构异质性与频谱级多尺度异质性可能在某些层和模块中呈现协同效应。如何建立跨层级结构异质性的联合建模框架，实现不同层级适配机制的协调优化，是值得进一步研究的问题。
+
+随着模型架构的持续演化，新型注意力机制（如线性注意力、状态空间模型等）正在逐步拓展Transformer的设计空间。这些新架构可能引入不同形式的内部结构异质性。如何将结构感知适配的核心思想推广至更广泛的模型架构，使其适应不同的位置编码方式、注意力计算机制和参数组织形式，是推动结构感知适配走向通用化的重要方向。
+
+从应用角度看，本文的方法体系目前主要在语言理解与推理任务上进行验证。将结构感知适配策略扩展至多模态场景（如视觉-语言、语音-语言等跨模态适配），以及持续学习与增量适配场景，有望进一步验证并拓展其应用价值。在多模态适配中，不同模态可能诱导模型内部产生更为复杂的结构异质性模式，为结构感知适配方法的设计提供新的研究空间。
+
+此外，本文提出的结构感知适配框架目前主要关注训练阶段的方法设计。如何将结构异质性的分析与感知能力引入推理阶段，实现自适应的动态适配与高效推理的结合，也是值得探索的方向。通过在方法设计、理论分析与系统实践等方面的协同推进，有望逐步形成更加系统化的大语言模型结构感知适配研究范式。

deepresearch/Gemini-deep-research-1.txt

@@ -1,204 +0,0 @@
-第二章 时空表征学习与大模型建模方法研究现状
-2.1 时空数据建模与表征学习研究
-2.1.1 时空数据建模问题类型与应用场景
-城市时空数据是刻画现实物理世界动态演化过程的基础信息载体，其本质是人类活动、自然物理环境以及人造基础设施在时间和空间维度上的映射。随着城市物联传感网络（IoT）、移动互联网终端以及地球观测卫星的普及，时空数据呈现出多源异构、高维动态以及海量流式的特征。在应用场景层面，时空数据建模问题主要涵盖交通流量与需求预测、城市气象与环境监测、人类活动轨迹追踪、公共安全与流行病预警，以及城市资源调度等核心领域 1。这些问题在底层逻辑上，均要求模型能够敏锐捕捉地理空间拓扑（如路网连接、区域邻接、功能区分布）与时间序列动态（如周期性、趋势性、突发性）之间的复杂耦合关系。
-不同场景下的时空数据可以进一步抽象为若干类核心的表征对象。第一类是具有显式图结构的传感网时空序列，例如交通传感器采集的速度、流量和占有率数据，或是气象站点记录的温度与降水序列 4。这类数据的物理意义明确，时空结构表现为固定传感器节点在时间轴上的连续观测。第二类则是蕴含丰富语义信息的离散时空事件序列或语义轨迹，例如用户的兴趣点（POI）访问记录、共享单车的起讫点（OD）流、以及带有地理标签的社交媒体签到数据 1。第三类为连续的栅格或视觉图像数据，如遥感卫星影像和街景图像，主要用于宏观的土地利用分类与微观的城市形态识别 6。
-在这些复杂的城市计算场景中，时空系统的演化呈现出高度的非线性与不确定性。一个区域的状态不仅受到其局部历史状态的自回归影响，还受到全局空间拓扑的约束、跨区域空间溢出效应的波及，以及外部环境因素（如天气、节假日、大型活动）的共同驱动。这种复杂的时空依赖关系，对时空智能建模的表征提取能力、多源信息融合能力以及泛化推演能力提出了极高的要求。
-2.1.2 传统时空建模方法
-早期的时空建模研究主要依赖于经典的统计学理论与传统机器学习方法。在时间维度的时间序列分析中，自回归移动平均模型（ARIMA）及其变体（如包含季节性因素的 SARIMAX）被广泛应用于捕获时间序列的线性依赖与周期性演变规律 7。这类模型基于平稳性假设，通过差分操作提取数据的固有趋势，在短期交通流预测或简单的气象指标外推中取得了初步成效。
-在空间维度的建模中，考虑到地理学第一定律所揭示的“空间自相关性”，以及地理学第二定律所强调的“空间异质性”，地理加权回归（Geographically Weighted Regression, GWR）作为一种经典的局部回归技术被广泛采用。GWR 通过在回归方程中引入空间坐标位置作为权重函数，放宽了传统普通最小二乘法（OLS）全局回归对空间平稳性的严苛假设，从而能够有效建模空间变异关系 8。为了进一步融合时空维度的动态特征，研究者提出了时空地理神经网络加权回归（GTNNWR）模型，利用人工神经网络（ANN）来非线性地估计时空非平稳性，有效提升了复杂地理过程（如空气质量分布、海洋硅酸盐浓度变化）的拟合精度与解释性 10。
-此外，在涉及动态系统状态追踪的应用中，卡尔曼滤波（Kalman Filter）及其非线性扩展算法（如无迹卡尔曼滤波 Unscented Kalman Filter、集合卡尔曼滤波 Ensemble Kalman Filter）在时空动力学系统的状态估计与数据同化中发挥了不可替代的作用 11。这类状态空间方法能够通过观测方程与状态转移方程，在存在不确定性噪声的环境下持续更新系统的最优估计。
-尽管上述传统方法在特定的平稳或弱非平稳假设下具备严谨的数学可解释性，但它们在面对高维、非线性且包含海量噪声的现代城市时空大数据时，逐渐暴露出表征能力不足、特征工程极其繁琐、难以自动提取深层抽象特征，以及难以向超大规模路网规模化扩展的严重瓶颈。
-2.1.3 深度学习驱动的时空表征学习方法
-为克服传统统计模型的局限性，深度表示学习（Deep Representation Learning）逐渐取代手工特征工程，成为时空计算领域的核心范式。早期的深度学习探索多采用卷积神经网络（CNN）与循环神经网络（RNN/LSTM/GRU）的串联或并联组合。研究者通常将城市空间划分为均匀的欧几里得网格（如图像像素），利用 CNN 提取空间邻域特征，随后送入 RNN 捕获时间依赖 13。然而，城市路网及传感器分布通常呈现不规则的非欧几里得图结构，强行将其映射为网格会破坏真实的地理拓扑关系。
-近年来，时空图神经网络（STGNN）的兴起为非欧时空数据的表征学习带来了突破性进展。STGNN 将传感器或地理区域建模为图的节点，将物理连接或属性相似性建模为图的边。代表性工作 DCRNN（Diffusion Convolutional Recurrent Neural Network）创造性地将交通流的动态传播建模为有向图上的随机游走扩散过程，并与序列到序列（Seq2Seq）的编码器-解码器架构结合，有效捕获了复杂的非对称时空相关性 4。与此同时，STGCN（Spatio-Temporal Graph Convolutional Networks）则在频域上定义了图卷积算子，通过完全的卷积结构（1D Temporal CNN + Graph GCN）替代了耗时的 RNN 循环计算，大幅提升了训练效率与长序列建模能力，有效缓解了梯度消失问题 16。
-随着研究的深入，如何处理动态变化的图拓扑结构成为新的挑战。Graph WaveNet 针对传统模型高度依赖预定义邻接矩阵的缺陷，引入了自适应图学习机制（Adaptive Graph Learning），能够在未提供显式空间拓扑图的情况下，通过节点嵌入向量的双向内积自发学习潜在的空间依赖关系；同时，该模型采用扩张因果卷积（Dilated Causal Convolutions），在不显著增加网络深度的前提下，以指数级扩大了时间感受野，极大地增强了长程时间依赖的建模能力 17。此外，多变量时间序列预测模型（如 StemGNN）将图傅里叶变换（GFT）与离散傅里叶变换（DFT）结合，在联合的谱域空间中同时捕获变量间的空间交互与时间演变规律，无需预设任何拓扑先验 18。这些深度表征模型的繁荣，标志着时空数据建模正式迈入了特征自动学习的新阶段。
-2.1.4 时空建模中的结构复杂性问题
-尽管 STGNN 及其变体在各类基准测试中取得了显著成功，但在面对极端复杂且高度异质的城市巨系统时，现有深度学习范式依然受制于时空数据内在的结构复杂性与异质性。真实的城市时空数据并不是均匀分布的数值流，而是在多个维度上呈现出显著的结构角色分化，具体表现为以下四个层级：
-1. 多任务功能异质性：城市系统中往往存在多任务高度共存的场景（如同时预测交通流、空气质量、能耗与事件风险）。这些任务间既存在共享的底层物理因果规律，又存在相互冲突的特定特征表示与容量需求 10。传统 STGNN 通常采用硬共享（Hard-parameter Sharing）的底层网络，容易导致严重的任务间负迁移（Negative Transfer）与知识干扰。
-2. 位置结构依赖与表示各向异性：时空事件发生的时间周期性与空间相对位置，赋予了输入序列中不同元素完全不同的语义权重。然而，多数现存的图注意力机制（GAT）或标准自注意力网络，在特征聚合时未能有效区分维度空间内的频率属性，导致关键的位置结构信息在层层传递中被过度平滑（Over-smoothing），丧失了表示的各向异性分辨力。
-3. 多尺度动态模式：城市时空规律同时包含高频的局部突变（如交通事故引起的瞬时拥堵）与低频的全局演变（如城市级早晚高峰周期、长期气象演变） 5。单一感受野的卷积或同质化的注意力窗口难以兼顾跨尺度的频谱特征，导致模型极易陷入优先拟合低频信息的“频谱偏置”（Spectral Bias）陷阱 20。
-4. 多源差异与容量分配冲突：跨模态的时空数据（如文本语义、遥感栅格、轨迹向量）在信息密度与信噪比上存在天壤之别 6。深度模型在内部参数矩阵的容量分配上通常是静态的、人工指定的，无法根据数据源的异质性自适应地进行参数拓扑发现与资源调度。
-上述结构异质性深刻地揭示了一个科学问题：任何试图用均匀的、同质化的网络结构（无论是深度图卷积还是标准 Transformer）去“同等地”对待所有时空输入特征的尝试，都会不可避免地导致模型容量的浪费或关键结构信号的淹没。这一问题不仅是传统 STGNN 的瓶颈，也为后续引入具有更强表示能力的大语言模型（LLM），并对其进行结构化感知适配提供了直接且根本的动机。
-________________
-2.2 基础模型与大语言模型表征机制研究
-2.2.1 Transformer 表示学习机制
-大语言模型之所以能够引发人工智能领域的范式革命，其底层架构 Transformer 功不可没。Transformer 彻底摒弃了 RNN 的序列递归计算范式，利用自注意力（Self-Attention）机制和前馈神经网络（Feed-Forward Network, FFN）建立了全局的长程依赖关系。在统一的表示符号体系下，给定第 $\ell$ 层 Transformer 的输入隐藏表示 $\mathbf{H}^{(\ell-1)} \in \mathbb{R}^{T \times d}$（其中 $T$ 为序列长度，$d$ 为表示维度），自注意力模块首先通过线性投影生成 Query、Key 和 Value 矩阵：$\mathbf{Q}^{(\ell,h)}$、$\mathbf{K}^{(\ell,h)}$、$\mathbf{V}^{(\ell,h)}$（$h$ 为多头注意力的头索引）。随后，通过点积缩放计算注意力权重矩阵，并施加 Softmax 操作，实现当前 Token 对上下文全局信息的加权聚合。
-从模型内部的模块功能角色分化来看，近年来的机制可解释性研究表明：自注意力模块更偏向于执行上下文信息的路由与整合（Contextual Integration），负责在序列中不同元素之间建立动态的信息通道；而前馈网络模块（FFN）则更像是一个海量的局部知识存储器（Knowledge Repository），其庞大的参数矩阵编码了训练语料中蕴含的事实性知识与模式规律。这种模型内部模块级（Module-level）的角色分化，为后续针对不同时空任务实施差异化的表征流调制提供了坚实的微观理论基础 21。
-2.2.2 预训练基础模型与表示迁移学习
-随着底层计算算力的指数级增长与海量无标注互联网数据的积累，基于 Transformer 构建的预训练基础模型（Foundation Models）展现出了空前强大的表示迁移能力 23。在自然语言处理（NLP）领域，以 BERT（双向编码器表示）、GPT-3 及 ChatGPT（生成式预训练 Transformer）为代表的模型通过大规模自监督预训练（如掩码语言建模 MLM、下一词预测 NTP），学习到了高度泛化的通用语法、语义乃至常识世界模型 24。这种“预训练-微调”（Pretrain-Finetuning）范式，叠加指令微调（Instruction Tuning）与基于人类反馈的强化学习（RLHF），使得模型具备了卓越的零样本泛化与少样本学习能力。
-这种范式的成功迅速向其他数据模态扩散，催生了时空基础模型（STFM）的初步探索 26。时空基础模型试图通过掩码重构（如随机掩盖部分传感器读数并要求模型预测）或对比学习方法，在海量无标注的城市交通传感流、多源气象观测以及全城人类移动轨迹数据上提取通用的时空分布不变性特征。这类自监督预训练极大地降低了下游专门化时空任务对昂贵标注样本的依赖。然而，单纯从零开始训练（Train-from-scratch）一个千亿参数级别的时空大模型面临着数据模态不一、算力成本极高的问题。因此，直接利用已具备强大认知能力的通用 NLP 大语言模型，并将其泛化至时空域，成为了一条更具前景的技术路径。
-2.2.3 大语言模型在复杂任务建模中的潜力
-大语言模型在参数规模跨越百亿甚至千亿级别后，涌现（Emergence）出了上下文学习（In-context Learning）、思维链（Chain of Thought, CoT）推理以及零样本逻辑推演等革命性能力 24。更深刻的是，最近的表征探针（Representation Probing）研究发现，LLM 并不单纯是概率性的“随机鹦鹉”；其庞大的高维参数空间内部，实际上自发形成并潜藏了对真实物理世界的时间、空间、甚至地理坐标系统的同态映射表征 27。
-在涉及复杂系统演算、长程关联反思以及跨域知识融合的场景中，大语言模型展现出了远超传统专用时空神经网络的潜力。认知科学与神经科学研究表明，空间认知（Spatial Cognition）是智能体进行高级逻辑与数学推理的关键底层能力支撑，而自然语言处理能力反而是构建在此之上的表层功能 28。因此，LLM 内部展现出的时空记忆（Spatial Memory）、几何拓扑抽象归纳以及导航推理能力，为其在跨领域的城市系统规划、长期交通态势演化以及复杂公共安全因果推理中，提供了一个极具通用性的认知基座。这表明，LLM 不仅能“读懂”文本，更能通过适当的对齐策略“理解”蕴含物理规律的时空数字序列。
-2.2.4 大模型在时空智能领域的初步探索
-在上述潜力的驱动下，学术界已开始积极探索将大语言模型直接应用于时空智能任务。代表性的探索工作包括 UrbanGPT，该框架首次尝试将轻量级的时空依赖编码器与大语言模型的指令微调范式无缝结合。通过构建时空指令集，UrbanGPT 在极端数据稀缺的零样本场景下，实现了对跨城市、跨模态现象的准确预测 30。类似地，TransLLM 提出了一个统一的基础框架，通过强化学习训练基于实例级别的提示路由机制（Prompt Routing），将时空图网络提取的复杂拓扑特征转化为结构化嵌入，并作为上下文引导 LLM 在交通预测与调度任务中进行数值推理 19。此外，CityGPT、UrbanLLaVA 等多模态工作则进一步拓展了时空数据的边界，实现了宏观城市视觉、微观街景图像与时空轨迹数值的联合认知建模 34。
-然而，现阶段的探索仍主要呈现出一种“外部拼接”与“浅层对齐”的特征。大多数方法仅仅将 LLM 视为静态的黑盒知识引擎，或采用全局一致的指令微调（Instruction Tuning）机制。这类方法未能在微观层面触及大模型内部注意力机制与权重更新机制同“时空数据高度结构化特征”之间的深刻矛盾。大模型原本为处理一维的、相对同质的自然语言而设计，当其面临具有强时空周期性、复杂图拓扑以及跨尺度波动的多任务时空流时，如果不对其内部参数表示进行深度的结构角色干预，极易导致时空拓扑信息的丢失、表示维度的坍塌以及多任务间的知识干扰。
-________________
-2.3 参数高效适配与结构建模方法研究（核心分析框架）
-基于 2.1.4 节的分析，城市时空数据具有极强的多层次结构角色异质性。而传统的基础模型或大语言模型，在结构设计上往往假定各层、各注意力头以及各表示维度具有高度的均匀分布。这种数据端的“结构异质”与模型端的“均匀同质”之间产生了严重的供需错配。这一矛盾对 LLM 在时空领域的深入应用提出了特殊要求。
-针对上述挑战，本文提出结构角色感知的表征适配统一分析框架，将时空数据的结构特征与大语言模型内部的功能层级进行深度映射与对齐。在统一的理论视角下，结构感知的表示调制可以形式化为如下母式算子：
-
-
-$$\tilde{\mathbf{Z}} = \mathcal{M}_\theta(\mathbf{Z} \mid \mathbf{X}, \mathcal{R})$$
-其中：
-* $\mathbf{Z}$ 表示模型内部待调制的目标对象，根据结构层级的不同，它可以是注意力层的隐藏表示 $\mathbf{H}^{(\ell)}$、注意力投影子空间 $\mathbf{Q}^{(\ell)} / \mathbf{K}^{(\ell)}$，或是权重矩阵的参数更新量 $\Delta\mathbf{W}$。
-* $\mathcal{M}_\theta$ 表示结构感知调制算子（Structure-aware Modulation Operator），负责执行非均匀的变换。
-* $\mathbf{X}$ 表示输入的时空上下文信息序列。
-* $\mathcal{R} = \{\mathcal{R}_{mod}, \mathcal{R}_{dim}, \mathcal{R}_{freq}, \mathcal{R}_{param}\}$ 表示四类多层级的结构角色信息，分别对应模型模块级、表示维度级、信号频谱级与参数结构级的异质性先验。
-下文将围绕这一统一理论框架，系统综述大语言模型的参数高效适配技术，并深度剖析其向结构化建模演进的研究脉络。
-2.3.1 参数高效微调方法
-当基础预训练模型的参数规模从数亿膨胀至千亿级别时，针对各类细分时空下游任务进行全参数微调（Full Fine-Tuning）的计算开销与显存成本是工程上不可接受的；并且在数据量不足的情况下极易引发灾难性遗忘（Catastrophic Forgetting）23。因此，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）应运而生，并迅速成为大模型适配的主流范式 36。PEFT 的核心哲学是：冻结庞大的预训练骨干网络参数 $\Theta_0$，仅在模型架构中插入、拼接或修改极少量的可训练适配参数 $\Theta_a$，使得最终应用于目标任务的模型参数可统一表示为 $\Theta = \Theta_0 + \Delta \Theta$ 38。
-目前主流的 PEFT 技术可大致划分为三类：
-1. 附加型微调（Additive PEFT）：如 Adapter 技术，在 Transformer 层的自注意力模块或 FFN 模块之后插入小型的多层感知机（MLP）瓶颈网络；以及前缀微调（Prefix Tuning）或提示微调（Prompt Tuning），通过在序列输入前端追加可学习的连续向量，引导模型生成特定响应。
-2. 选择型微调（Selective PEFT）：例如 BitFit，仅微调网络中所有的偏置项（Bias），冻结所有权重矩阵。
-3. 重参数化微调（Reparameterized PEFT）：其中最具代表性且应用最广的即为低秩自适应（Low-Rank Adaptation, LoRA） 24。LoRA 建立在一个核心假设之上：即模型在适应下游任务时，其权重更新矩阵 $\Delta \mathbf{W}$ 具有极低的内在秩（Intrinsic Rank）。因此，LoRA 将高维权重增量分解为两个低秩矩阵的乘积 $\Delta \mathbf{W} = \mathbf{B}\mathbf{A}$（其中 $\mathbf{A} \in \mathbb{R}^{r \times d_{in}}$，$\mathbf{B} \in \mathbb{R}^{d_{out} \times r}$，$r \ll \min(d_{in}, d_{out})$），从而成百上千倍地减少了训练参数的规模。后续衍生出的 DoRA（权重分解低秩适配）和 AdaLoRA（自适应低秩适配）进一步提升了表达能力并实现了基于重要性得分的动态秩分配 39。
-然而，必须指出的是，包括 LoRA 在内的经典 PEFT 方法在本质上属于均匀适配策略。在应用于时空计算时，它们机械地对所有选定的 Transformer 层或投影矩阵（如 $W_q, W_v$）施加全局均等的低秩约束。这种同质化的参数更新完全无视了时空多任务场景下，模型不同模块、不同频域需要吸收的知识类型及其密度存在天壤之别这一关键事实。均匀适配严重限制了模型在复杂城市多任务协同中的表征能力上限，迫切需要引入更加细粒度的结构感知机制。
-2.3.2 多任务学习与知识路由机制（模块级异质性 $\mathcal{R}_{mod}$）
-城市时空系统天然是一个多任务并行环境。在这一环境中，交通流预测、事件发生概率估计、POI推荐等任务不仅需要在有限的参数空间内共享底层物理表征，还要应对彼此之间存在的“负迁移”（Negative Transfer）与目标冲突。为了解决多任务知识的融合与抗干扰问题，学术界开始探索将结构路由引入深度模型内部。
-在预训练语言模型领域，混合专家模型（Mixture-of-Experts, MoE）是实现网络结构稀疏化与模块级角色分化的经典架构范式 41。MoE 将 Transformer 中标准的前馈网络替换为多个并行的异构“专家”子网络，并通过一个可学习的门控路由网络（Router），针对当前输入的特征或 Token 动态激活少数最匹配的专家 22。近期的神经元层面机理研究进一步证实了这种模块分化的存在：在进行多任务微调时，LLM 内部会分化出高度特化的“任务特异性神经元”（Task-specific Neurons），这些神经元在特定层内聚集，主导了特定任务的泛化能力；而且在推理更为复杂的多模态时空问题时，高层与底层的模型模块会表现出明显不同的路由激活率（RoE） 21。同时，诸如 Mixture-of-LoRAs (MoA) 的架构展示了利用显式路由策略，动态融合多个独立训练的领域适配低秩模块的可行性，有效缓解了多任务干扰 45。
-从本文的统一分析框架看，上述方法揭示了 Transformer 架构在应对多任务时的模块功能角色差异（Module-level Specialization）。面对时空数据的多任务功能异质性，应当构建以 $\mathcal{R}_{mod}$ 为导向的乘性调制机制（Multiplicative Modulation）：
-
-
-$$\mathcal{M}_\theta(\mathbf{Z}) = \mathbf{Z} \odot \mathbf{S}_\theta(\mathbf{X}, \mathcal{R}_{mod})$$
-通过直接选定注意力层的输出隐藏表示作为调制对象 $\mathbf{Z} = \mathbf{H}_{att}^{(\ell)}$，并以输入上下文 $\mathbf{X}$ 结合任务模块标识 $\mathcal{R}_{mod}$ 为条件生成调制门控 $\mathbf{S}_\theta$，可以直接对表示流进行细粒度的增强与抑制，实现任务相关信号的路由放大与干扰信号的遮蔽。这一模块角色感知的表征适配思想构成了本文第三章（HyCAM 多任务表征适配方法）的方法学基础与理论起点。
-2.3.3 表示各向异性与结构感知学习（维度级异质性 $\mathcal{R}_{dim}$）
-随着对大语言模型内部表征几何空间结构的深入解析，研究人员发现了一个普遍且严重削弱模型判别能力的现象——表示各向异性（Representation Anisotropy）46。大量研究表明，无论是单语还是多语言 Transformer 模型，其输出的 Token 嵌入向量并没有均匀分布在整个隐向量空间中，而是高度聚集在一个狭窄的锥形区域内。并且，这种空间分布往往被极少数方差极大的“离群维度”（Outlier Dimensions）所主导 47。
-这种各向异性的根本原因，部分归咎于交叉熵损失函数（Cross-entropy Loss）中 Softmax 算子的优化偏置，以及 Adam 优化器二阶动量对高频词汇的推移作用 49。这就导致高频词和低频词在表征空间产生系统性的位移与漂移，使得通过余弦相似度计算特征距离的机制失效，极大削弱了模型对长尾现象（例如非热门 POI、偏远区域路段）的语义区分能力 50。为缓解此问题，研究者提出了诸如余弦正则化、拉普拉斯正则化、频谱控制（Spectrum Control）以及句法平滑优先（Syntactic Smoothing）等在训练阶段消除频率偏差的各向同性修正方法 48。
-然而，在时空计算域，频率偏差与维度分化未必完全是负面的。时空序列中的位置编码（例如目前大模型广泛采用的旋转位置编码 RoPE）本身就蕴含了隐式的频率结构约束。最新的研究发现，在注意力计算中，不同的表示维度事实上承担着截然不同的时空结构建模功能：低频维度往往受扰动较小，倾向于捕获全局的长程语义依赖与时间周期规律（如历史同期的流量模式）；而高频维度则极度敏感，聚焦于刻画局部时空邻域的非平稳突变细节 40。
-面对时空相对位置结构与时间周期的强依赖性，如果适配过程依然不加区分地统一更新所有维度，势必造成重要低频结构的破坏与高频噪声的放大。因此，基于维度角色 $\mathcal{R}_{dim}$ 的适配策略要求对注意力计算中的 Query 和 Key 投影子空间表示 $\mathbf{Z} = \{\mathbf{Q}_{low}^{(\ell)}, \mathbf{K}_{low}^{(\ell)}\}$（或针对具体 head 的表示 $\mathbf{Z} = \{\mathbf{Q}^{(\ell,h)}, \mathbf{K}^{(\ell,h)}\}$）实施频率敏感的选择。不同的表示维度承担不同的结构建模功能，适配过程必须具有非均匀的各向异性（Anisotropic Adaptation）。这一维度角色感知的高效位置调制与适配机制，构成了本文第四章（RoSA 与 DyPAM 方法）探索的内核。
-2.3.4 多尺度学习与频谱建模方法（频谱级异质性 $\mathcal{R}_{freq}$）
-时空数据的另一个核心结构特征是其动态演化模式的多尺度属性（Multi-scale Properties）。一场交通事故可能仅在几分钟内影响局部的数个路口（表现为极高频的时空剧烈分量），而城市级的产业功能调整或宏观气象变化则呈现出跨度数月甚至数年的大范围平滑演变（表现为超低频的时空缓变分量）。深度神经网络（DNN）在拟合此类包含复杂高低频信息的真实物理映射时，普遍受制于一个致命弱点——“频谱偏置”（Spectral Bias）20。理论分析指出，采用梯度下降训练的深度网络总是优先且极快地拟合数据的低频（平滑）分量，而对高频（震荡突变）特征的捕捉极其缓慢且困难 52。
-为缓解这一难题，基于变换域（Transform Domain）的多尺度频谱分析被广泛引入时空预测模型。基于离散傅里叶变换（DFT）和离散小波变换（DWT）的方法，能够有效将时空信号在不同尺度上进行解耦分离。例如，StemGNN 算法结合了图傅里叶变换（捕捉跨传感器空间交互频率）与一维离散傅里叶变换（捕捉时间依赖），在统一的谱域内进行多变量时间序列预测，取得了超越纯空域方法的卓越表现 18。此外，近年来备受瞩目的傅里叶神经算子（Fourier Neural Operator, FNO）通过在频域内学习算子映射，成功构建了高泛化性的非线性偏微分方程近似求解器，在海面温度演变、降水预测等复杂的动态时空系统建模中展现了在不规则网格与多分辨率下的灵活性 54。
-将视角转向大模型参数微调空间，最新的特征值几何分析同样揭示出：LLM 在预训练和微调过程中的权重演化（Representation Collapse & Expansion）存在着基于本征谱结构（Eigenspectrum）的多阶段非单调相变 57。这意味着，模型内部的参数更新模式本身就具有频谱级异质性（Spectrum-level Heterogeneity）。全局平滑的任务语义对齐依赖于低频参数更新，而特定的时空微观局部行为修正则强依赖高频参数更新。据此，可以通过构建以 $\mathcal{R}_{freq}$ 为条件的组合调制算子（Compositional Modulation）：
-
-
-$$\mathcal{M}_\theta(\mathbf{Z}) = \sum_e \pi_e(\mathbf{X}, \mathcal{R}_{freq}) \cdot \phi_e(\mathbf{Z})$$
-其中调制对象为权重更新矩阵 $\mathbf{Z} = \Delta \mathbf{W}$。$\phi_e$ 代表异构的频域更新专家（如模拟低频全局平滑更新的离散余弦变换 DCT 专家，与模拟高频局部细化的离散小波变换 Wavelet 专家），$\pi_e$ 为由输入特征驱动的自适应路由权重。这种由粗到细（Coarse-to-fine）、多尺度结构驱动的频谱级参数更新建模机制，奠定了本文第五章前半部分（CASCADE 级联适配方法）的理论基石。
-2.3.5 模型结构优化与容量分配方法（参数级异质性 $\mathcal{R}_{param}$）
-在更高的系统与架构层级，如何在异构的多个时空任务间合理分配模型内部有限的参数容量（Capacity Allocation），是一个极具挑战性的拓扑结构问题。传统的时空网络（包括早期的 STGNN 与部分 ST-LLM）往往依赖专家的直觉经验，采用手动设定的静态网络连接图和硬共享模块。这种静态设计无法动态适应当今海量多源异构数据集在信息复杂度和特征冗余度上的差异。
-为克服人工设计的局限，神经网络架构搜索（Neural Architecture Search, NAS）技术被创新性地引入到时空图神经网络的设计中 5。诸如 AutoCTS 以及轻量级的 SearchLight 框架，通过定义分层的宏观（跨层拓扑连接）与微观（节点内部卷积、注意力算子组合）搜索空间，利用可微架构搜索（DARTS）或强化学习的方式，自动寻找在预测精度与计算开销之间取得最优平衡的时空操作序列与拓扑架构 17。这些研究证明了：针对特定的时空任务分布，模型中并不存在普适的静态最优结构，结构拓扑本身必须是任务相关且可微分学习的。
-对于大语言模型的高效适配而言，参数空间内的稀疏性约束与容量分配尤为关键。多任务 LLM 适配的本质，是在有限的显存微调预算下，解决异质任务在共享参数空间中的冲突（Capacity Bottleneck）。因此，我们需要在参数拓扑空间中实施结构分解调制（Structural Decomposition）：
-
-
-$$\mathcal{M}_\theta(\mathbf{Z}) = \mathbf{Z} + \sum_k \mathbf{G}_k \odot \Delta\mathbf{Z}_k$$
-针对某一特定任务 $\tau$ 的总参数增量 $\mathbf{Z} = \Delta \mathbf{W}^{(\tau)}$，我们将其解耦为跨任务的共享结构（Shared Structure） $\Delta \mathbf{W}_{sh}$ 与任务专属结构（Task-specific Structure） $\Delta \mathbf{W}_{sp}^{(\tau)}$。在此基础上，以 $\mathcal{R}_{param}$ （即预算阈值与任务标识）为约束，引入预算感知的结构门控机制（Budget-aware Structural Gating $g_{g}^{sh}, g_{g}^{sp,\tau}$），通过软门控到硬掩码的退火机制，实现不同结构间参数拓扑的自动路由与分离。这种从参数级异质性出发的隐式神经架构搜索与结构自动发现机制，构成了本文第五章后半部分（MESSA 容量分配方法）探讨的核心议题。
-表 2-1 总结了基于结构角色感知的表征适配统一分析框架中的四类异质性、挑战及其与本文提出方法的对应关系。
-时空结构特征维度
-	面临的核心建模挑战
-	对应的 LLM 适配层级与结构角色
-	形式化的主要调制对象 (Z)
-	理论演进与关联本文方法
-	多任务功能异质性
-	跨任务负迁移、知识组织冲突、模块冗余
-	模块级结构适配 ($\mathcal{R}_{mod}$)
-	$\mathbf{H}_{att}^{(\ell)}$ (注意力隐藏输出)
-	知识动态路由 / 混合专家协同机制 (HyCAM)
-	位置结构依赖
-	时空频率偏差、关键长程语义平滑淹没
-	维度级结构适配 ($\mathcal{R}_{dim}$)
-	$\mathbf{Q}^{(\ell,h)}, \mathbf{K}^{(\ell,h)}$ (子空间表示)
-	频率敏感选择 / 输入条件各向异性调制 (RoSA/DyPAM)
-	多尺度动态模式
-	DNN 频谱偏置、高频局部突变难以捕捉
-	频谱级结构适配 ($\mathcal{R}_{freq}$)
-	$\Delta \mathbf{W}$ (全参数更新量)
-	频域基函数分解 / 粗细粒度级联更新 (CASCADE)
-	多源差异与容量冲突
-	参数利用率低、静态拓扑无法兼顾异质任务
-	参数级结构适配 ($\mathcal{R}_{param}$)
-	$\Delta \mathbf{W}_{sh}, \Delta \mathbf{W}_{sp}^{(\tau)}$ (参数增量分解)
-	隐式架构自动搜索 / 稀疏结构拓扑分配 (MESSA)
-	表 2-1：基于结构角色感知的时空表征适配统一分析框架总结。
-________________
-2.4 时空智能数据集与评测基础设施研究
-在理论层面不断提出更为先进的大模型结构适配方法之余，支撑大语言模型时空表征学习可持续演进的另一项关键议题，是建立客观、完备且自动化的实验与评测基础设施。随着技术范式的转移，现有的城市计算基准测试正在经历从传统的“判别式点对点数值评估”向具备复杂交互能力的“生成式智能体评估”范式的快速演进。
-2.4.1 时空预测与分析数据集
-过去十年中，传统的时空智能基准主要聚焦于网格结构或图结构的时间序列判别式任务，如交通流量预测、时空缺失插值与异常事件检测。这些数据集以高度规范化、结构化的数值矩阵格式为主。例如，广泛使用的交通流公开数据集 PEMS 系列、METR-LA 等极大推动了早期 STGNN 模型架构的繁荣 6。近期的 SustainDC 等数据集则提供了涵盖全球不同地理位置、数据中心架构以及气候条件的历史负载与能源分布，被用于评估多智能体强化学习算法在异构城市环境下的能源调度优化能力 61。
-然而，随着跨模态与跨域城市智能应用需求的激增，这类孤立的、仅支持单一回归预测任务评估的数据集逐渐成为限制多模态基础模型向更高阶智能演进的瓶颈。不同领域（如气象、路网、经济活动）的数据在采集频率与空间对齐格式上千差万别，亟需建立如 UDL 等标准化的城市数据清洗流水线，以促进统一数据结构下的多模态融合（Multi-modal Fusion），从而为训练城市多模态基础大模型（如 UrbanLLaVA 等）提供大规模的多源语料支撑 35。
-2.4.2 面向推理与决策的时空任务数据
-与传统的数值回归任务不同，大语言模型赋能的系统通过自然语言进行指令交互，更为注重逻辑推理深度、长视距环境规划以及对多维约束的遵循。近期涌现的基准测试反映了这种需求上的本质变化。例如，TravelPlanner 出行规划基准准则，不再仅仅评估模型预测路线的重合度，而是引入了更为立体的“约束通过率”（Constraint Pass Rate，评估计划是否违背用户特定的时间和预算约束）以及“交付率”（Delivery Rate）等宏观决策评估维度 64。
-在更为细粒度的逻辑判别上，STARK（Spatiotemporal Reasoning Framework）基准测试深入探讨了模型如何将空间物理几何约束（例如判断轨迹是否横穿某一多边形、相交、或被包含）与复杂的艾伦区间时间逻辑关系（如两个事件的时间段发生重叠、先后相遇等）进行有机结合 65。研究结果表明，无论是通用的大语言模型（LLM）还是专门强化逻辑推演的语言模型（LRM，如 OpenAI 的 o3 系列），虽然在基础的空间理解上取得了长足进步，但在处理跨时间点、涉及多维度约束的综合事件关联与空间定位任务时，仍然面临巨大的挑战 65。这些强调细粒度 Reasoning（推理）的评测场景，对模型在隐向量空间内准确捕获基于低频维度的长程语义拓扑结构（即应对前述 $\mathcal{R}_{dim}$ 级异质性）提出了最为严酷的现实检验。
-2.4.3 城市仿真环境与智能体平台
-随着 LLM Agent（大语言模型智能体）概念在人工智能界的全面爆发，高阶的时空应用正在快速转变为知识密集型、流程多变的动态交互系统。时空智能体（Spatial-Temporal Agents）不再单纯被动地接受输入进行单次预测，而是需要具备主动规划能力——动态编排复杂的 GIS 分析工具链、自主解析遥感图像、融合开放街景视觉输入，并根据环境的实时反馈不断修正执行路径（Reflection） 6。
-以 UAgentEnv 为代表的交互式城市仿真环境，开始尝试将原本笼统的“城市推理能力”严格分解为时空理解（Understanding）、预测（Forecasting）、规划（Planning）与反思（Reflection）四个功能维度。这使得评测模式突破了单一结果的比拼，深入到了基于中间过程的高细粒度诊断诊断（Process-based Diagnostics）中 68。此外，像 FLAME（面向城市视觉语言导航的智能体）和 AutoHealth（针对复杂健康轨迹不确定性建模的多智能体系统）等平台架构，进一步展示了在存在大量噪声的动态环境中，协调多个具备不同专长的 Agent 处理异构模态数据并进行鲁棒决策的巨大应用价值 69。
-2.4.4 现有评测体系的局限性
-尽管相关基准数据集及模拟器生态正在快速扩张，但针对系统化评估“大语言模型内部结构适配算法是否有效”，现有的评估基础设施仍存在明显的短板与局限性：
-首先，绝大多数评测数据集依然是离线脱机（Offline Static）的，测试集在构建后便固定不变，缺乏能够支持多步骤动态演化、支持模型持续交互，并能够基于评测结果自动迭代生成新挑战的闭环自动化 Benchmark 平台。其次，主流 NLP 推理数据集鲜少涉及基于真实城市路网和兴趣点（POI）的微观拓扑推理，专门用于验证高阶空间几何拓扑计算与长时序周期性关联的 QA（问答）语料库，在规模、难度层级分化和标注质量上远落后于常识推理领域 66。
-大语言模型在城市系统中诸如时空状态反思、长程行动编排等高阶能力上的普遍挣扎（如对空间错觉的妥协），表明仅依靠模型参数结构架构调优是远远不够的。为了形成“方法推演 - 数据验证 - 系统应用”的完整研究闭环，必须建立一套统一化且高度自动化的时空智能大模型评测平台与高质量 POI 空间推理语料库。这一数据系统建设层面的深刻迫切需求，直接确立了本论文第六章中构建 AgentCity 评测基础设施与 POI-QA 推理数据库的核心定位与贡献价值。
-________________
-2.5 本章小结
-本章系统梳理了时空数据建模与大语言模型（LLM）在深度表征学习融合过程中的演进历程与核心痛点。通过追溯从传统统计学习（ARIMA、GWR）到早期深度时空图网络（STGNN），再到预训练基础模型（Foundation Models）与近期时空大语言模型（ST-LLM）的技术发展脉络，本文明确指出现有方法在应对真实城市巨系统演化时面临的根本瓶颈：模型内部均匀同质的参数设计范式，与时空数据天然具备的“多尺度动态模式、高低频位置结构依赖、跨任务功能异质以及多源异构”等四类结构角色异质性之间，存在不可调和的宏观供需错配。
-在广泛综述参数高效微调（PEFT）、多任务动态知识路由、表示层各向异性分析、频谱偏置机理以及隐式神经架构搜索等前沿表征理论的基础上，本章创新性地抽象并构建了结构角色感知的表征适配统一分析框架。该框架将大语言模型在复杂时空环境下的适配机制形式化为以输入与结构角色信息 $\mathcal{R}$ 为条件的非均匀调制算子 $\tilde{\mathbf{Z}} = \mathcal{M}_\theta(\mathbf{Z} \mid \mathbf{X}, \mathcal{R})$。这一统一理论视角，成功将零散的各类微调技术提炼至模型模块级（$\mathcal{R}_{mod}$）、内部表示维度级（$\mathcal{R}_{dim}$）、参数更新频谱级（$\mathcal{R}_{freq}$）与网络容量拓扑级（$\mathcal{R}_{param}$）四个层层递进的结构层次。最后，本章通过审视现有城市智能预测数据集与智能体仿真评测体系的局限性，论证了开发针对时空推理定制化数据集与支持闭环交互评测平台的紧迫性。
-尽管本章构建的统一分析框架在理论层面严格界定了时空适配所面临的四级结构异质性维度，但在具体的计算微观层面，关于框架中的第一层级——即在多城市任务高度并发且发生剧烈知识组织冲突的场景下，如何具体捕捉大模型 Transformer 架构中注意力输出与前馈网络之间的模块级角色异质性（ $\mathcal{R}_{mod}$ ），并设计出高效的动态表示流知识路由网络，这一核心机制问题尚未得到解答。针对这一模块级异质性建模挑战，本研究将在下一章（第三章：模块角色感知的多任务时空表征学习方法，基于 HyCAM 架构）中展开深入的技术剖析与系统化的实验验证。
-引用的著作
-1. Full article: Representation learning for geospatial data - Taylor & Francis, 访问时间为 三月 16, 2026， https://www.tandfonline.com/doi/full/10.1080/19475683.2025.2552157
-2. Spatial-Temporal Graph Neural Networks - Emergent Mind, 访问时间为 三月 16, 2026， https://www.emergentmind.com/topics/spatial-temporal-graph-neural-networks-stgnns
-3. [2504.02009] Urban Computing in the Era of Large Language Models - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2504.02009
-4. Decoupled Dynamic Spatial-Temporal Graph Neural Network for Traffic Forecasting - VLDB Endowment, 访问时间为 三月 16, 2026， https://www.vldb.org/pvldb/vol15/p2733-shao.pdf
-5. [2303.14483] Spatio-Temporal Graph Neural Networks for Predictive Learning in Urban Computing: A Survey - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2303.14483
-6. A Comprehensive Survey of Agentic AI for Spatio-Temporal Data[v1 ..., 访问时间为 三月 16, 2026， https://www.preprints.org/manuscript/202601.2236
-7. From Fourier to Koopman: Spectral Methods for Long-term Time Series Prediction - Journal of Machine Learning Research, 访问时间为 三月 16, 2026， https://jmlr.csail.mit.edu/papers/volume22/20-406/20-406.pdf
-8. Spatiotemporal Characteristics and Influencing Factors of Urban Heat Island Based on Geographically Weighted Regression Model: A Case Study of Urumqi City - MDPI, 访问时间为 三月 16, 2026， https://www.mdpi.com/2073-445X/12/11/2012
-9. Integration framework of the Kalman Filter with the GWR model - ResearchGate, 访问时间为 三月 16, 2026， https://www.researchgate.net/figure/ntegration-framework-of-the-Kalman-Filter-with-the-GWR-model_fig2_340561944
-10. GNNWR: An Open-Source Package of Spatiotemporal Intelligent Regression Methods for Modeling Spatial and Temporal Non-Stationar - GMD, 访问时间为 三月 16, 2026， https://gmd.copernicus.org/preprints/gmd-2024-62/gmd-2024-62-manuscript-version2.pdf
-11. Kalman filter control of a model of spatiotemporal cortical dynamics - PubMed, 访问时间为 三月 16, 2026， https://pubmed.ncbi.nlm.nih.gov/18310806/
-12. Multivariate Kalman filtering for spatio-temporal processes - PMC - NIH, 访问时间为 三月 16, 2026， https://pmc.ncbi.nlm.nih.gov/articles/PMC9303052/
-13. Full article: Advances in spatiotemporal graph neural network prediction research - Taylor & Francis, 访问时间为 三月 16, 2026， https://www.tandfonline.com/doi/full/10.1080/17538947.2023.2220610
-14. Spatiotemporal Graph Convolutional Network for Multi-Scale Traffic Forecasting - MDPI, 访问时间为 三月 16, 2026， https://www.mdpi.com/2220-9964/11/2/102
-15. Pre-training Enhanced Spatial-temporal Graph Neural Network for Multivariate Time Series Forecasting - ResearchGate, 访问时间为 三月 16, 2026， https://www.researchgate.net/publication/362690434_Pre-training_Enhanced_Spatial-temporal_Graph_Neural_Network_for_Multivariate_Time_Series_Forecasting
-16. [1709.04875] Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/abs/1709.04875
-17. SearchLight: Neural Architecture Search for Lightweight Spatio-Temporal Graph Neural Networks - IEEE Xplore, 访问时间为 三月 16, 2026， https://ieeexplore.ieee.org/iel8/6287639/10820123/11173578.pdf
-18. Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting - NIPS, 访问时间为 三月 16, 2026， https://proceedings.nips.cc/paper_files/paper/2020/file/cdf6581cb7aca4b7e19ef136c6e601a5-Paper.pdf
-19. [2508.14782] TransLLM: A Unified Multi-Task Foundation Framework for Urban Transportation via Learnable Prompting - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2508.14782
-20. Addressing Spectral Bias of Deep Neural Networks by Multi-Grade... - OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/forum?id=IoRT7EhFap
-21. Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons - ACL Anthology, 访问时间为 三月 16, 2026， https://aclanthology.org/2025.coling-main.200.pdf
-22. Mixture of Experts Explained - Hugging Face, 访问时间为 三月 16, 2026， https://huggingface.co/blog/moe
-23. Parameter-Efficient Continual Fine-Tuning: A Survey - arXiv, 访问时间为 三月 16, 2026， https://www.arxiv.org/pdf/2504.13822
-24. [论文评述] Urban Computing in the Era of Large Language Models - Moonlight, 访问时间为 三月 16, 2026， https://www.themoonlight.io/zh/review/urban-computing-in-the-era-of-large-language-models
-25. 大语言模型综述与展望, 访问时间为 三月 16, 2026， http://dianda.cqvip.com/Qikan/Article/Detail?id=7200506757
-26. Foundation Models for Spatio-Temporal Data Science: A Tutorial and Survey - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2503.13502v1
-27. [2310.02207] Language Models Represent Space and Time - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2310.02207
-28. Full article: Evaluating and enhancing spatial cognition abilities of large language models, 访问时间为 三月 16, 2026， https://www.tandfonline.com/doi/full/10.1080/13658816.2025.2490701
-29. A Survey of Large Language Model-Powered Spatial Intelligence Across Scales: Advances in Embodied Agents, Smart Cities, and Earth Science - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2504.09848v1
-30. UrbanGPT: Spatio-Temporal Large Language Models - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2403.00813v3
-31. [2403.00813] UrbanGPT: Spatio-Temporal Large Language Models - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2403.00813
-32. UrbanGPT, 访问时间为 三月 16, 2026， https://urban-gpt.github.io/
-33. TransLLM: A Unified Multi-Task Foundation Framework for Urban Transportation via Learnable Prompting - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2508.14782v1
-34. CityGPT: Empowering Urban Spatial Cognition of Large Language Models - ResearchGate, 访问时间为 三月 16, 2026， https://www.researchgate.net/publication/394256647_CityGPT_Empowering_Urban_Spatial_Cognition_of_Large_Language_Models
-35. UrbanLLaVA: A Multi-modal Large Language Model for Urban Intelligence with Spatial Reasoning and Understanding - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2506.23219v1
-36. Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2410.19878v3
-37. [2410.19878] Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2410.19878
-38. [2504.21099] A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2504.21099
-39. A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/pdf/2504.21099
-40. NeurIPS 2025 San Diego Spotlights, 访问时间为 三月 16, 2026， https://neurips.cc/virtual/2025/loc/san-diego/events/spotlights-2025
-41. [2501.09636] LLM-Based Routing in Mixture of Experts: A Novel Framework for Trading, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2501.09636
-42. Mixture of Experts in Large Language Models †: Corresponding author - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2507.11181v1
-43. Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2407.06488v2
-44. Learning to Route Dynamic Experts in Existing Multi-modal Large Language Models | OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/forum?id=vtT09dYPGI
-45. Mixture-of-LoRAs: An Efficient Multitask Tuning Method for Large Language Models - ACL Anthology, 访问时间为 三月 16, 2026， https://aclanthology.org/2024.lrec-main.994.pdf
-46. When Text Embedding Meets Large Language Model: A Comprehensive Survey - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2412.09165v4
-47. [2306.00458] Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2306.00458
-48. Anisotropy Is Inherent to Self-Attention in Transformers - ACL Anthology, 访问时间为 三月 16, 2026， https://aclanthology.org/2024.eacl-long.3.pdf
-49. Output Embedding Centering for Stable LLM Pretraining - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2601.02031v1
-50. Is anisotropy really the cause of BERT embeddings not being semantic? - ResearchGate, 访问时间为 三月 16, 2026， https://www.researchgate.net/publication/372933806_Is_anisotropy_really_the_cause_of_BERT_embeddings_not_being_semantic
-51. Mitigating Frequency Bias and Anisotropy in Language Models - Emergent Mind, 访问时间为 三月 16, 2026， https://www.emergentmind.com/papers/2410.11462
-52. [2212.03416] On Spectral Bias Reduction of Multi-scale Neural Networks for Regression Problems - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2212.03416
-53. When Spatio-Temporal Meet Wavelets: Disentangled Traffic Forecasting via Efficient Spectral Graph Attention Networks | Request PDF - ResearchGate, 访问时间为 三月 16, 2026， https://www.researchgate.net/publication/372666845_When_Spatio-Temporal_Meet_Wavelets_Disentangled_Traffic_Forecasting_via_Efficient_Spectral_Graph_Attention_Networks
-54. [2601.01813] Spatio-temporal modeling and forecasting with Fourier neural operators, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2601.01813
-55. Spatio-temporal modeling and forecasting with Fourier neural operators - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2601.01813
-56. A wavelet method for the characterization of spatiotemporal patterns, 访问时间为 三月 16, 2026， https://faculty.ecnu.edu.cn/picture/article/421/35/30/8c8a961d4dd3a88761c298e618a0/b365481f-8014-4692-a2bb-1b6e1a1fb82f.pdf.x
-57. Tracing the Representation Geometry of Language Models from Pretraining to Post-training - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2509.23024v1
-58. Graph Neural Architecture Search - IJCAI, 访问时间为 三月 16, 2026， https://www.ijcai.org/proceedings/2020/0195.pdf
-59. (PDF) Graph Neural Architecture Search: A Survey - ResearchGate, 访问时间为 三月 16, 2026， https://www.researchgate.net/publication/363496961_Graph_Neural_Architecture_Search_A_Survey
-60. Understanding and Simplifying Architecture Search in Spatio-Temporal Graph Neural Networks | OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/forum?id=4jEuiMPKSF
-61. Datasets Benchmarks 2024 - NeurIPS, 访问时间为 三月 16, 2026， https://neurips.cc/virtual/2024/events/datasets-benchmarks-2024
-62. UrbanDataLayer: A Unified Data Pipeline for Urban Science - NeurIPS, 访问时间为 三月 16, 2026， https://proceedings.neurips.cc/paper_files/paper/2024/file/0db7f135f6991e8cec5e516ecc66bfba-Paper-Datasets_and_Benchmarks_Track.pdf
-63. UrbanDataLayer: A Unified Data Pipeline for Urban Science - OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/forum?id=6vFy6H4mTI
-64. Urban Computing in the Era of Large Language Models - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2504.02009v1
-65. Benchmarking Spatiotemporal Reasoning in LLMs and Reasoning Models: Capabilities and Challenges - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2505.11618v1
-66. USTBench: Benchmarking and Dissecting Spatiotemporal Reasoning of LLMs as Urban Agents - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2505.17572v1
-67. Full article: An autonomous GIS agent framework for geospatial data retrieval - Taylor & Francis, 访问时间为 三月 16, 2026， https://www.tandfonline.com/doi/full/10.1080/17538947.2025.2458688
-68. USTBench: Benchmarking and Dissecting Spatiotemporal Reasoning Capabilities of LLMs as Urban Agents | OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/forum?id=ETzBStUFJy
-69. FLAME: Learning to Navigate with Multimodal LLM in Urban Environments - AAAI.org, 访问时间为 三月 16, 2026， https://ojs.aaai.org/index.php/AAAI/article/download/32974/35129
-70. Yong Li's research works | Tsinghua University and other places - ResearchGate, 访问时间为 三月 16, 2026， https://www.researchgate.net/scientific-contributions/Yong-Li-2164034175

deepresearch/Gemini-deep-research-2.txt

@@ -1,180 +0,0 @@
-第二章 时空数据建模与大语言模型参数高效适配文献综述
-时空数据建模在理解、预测和管理城市动态、智能交通网络、气候变化以及复杂物理系统演化中扮演着不可替代的核心角色。随着人工智能研究范式的深刻演进，该领域经历了一场从基于统计学特征工程和经典深度学习专有网络架构，向以大语言模型（Large Language Models, LLMs）为核心的时空基础模型（Spatio-Temporal Foundation Models, STFMs）的跨越式发展。然而，尽管大语言模型在自然语言处理领域展现出惊人的零样本泛化能力，其在处理跨模态、高维度、非平稳且蕴含复杂物理拓扑的时空数值信号时，依然面临着严重的参数膨胀、隐空间表示退化（如各向异性现象）以及多维空间位置感知匹配不足等严峻挑战。因此，如何设计参数高效适配（Parameter-Efficient Fine-Tuning, PEFT）机制，并深入洞察时空大模型内部结构的表征动力学特征，成为当前实现统一结构适配理论的关键所在。本章将严格围绕上述学术脉络，对中英文经典文献（涵盖领域内优秀学位论文的理论积淀）及截至2026年的前沿文献进行详尽、深入的调研与全景式梳理，以期为统一结构适配理论的构建提供坚实、严密的综述基础。
-2.1 经典时空数据建模方法与理论反思回顾
-在大型预训练基础模型普及之前，时空数据建模高度依赖于为特定任务（如交通流量预测、降水临近预报、人群轨迹推演）量身定制的深度神经网络。对这一阶段经典文献与理论模型的回顾，不仅有助于揭示时空数据的本质物理与数学特征，更为后续探讨大语言模型的跨域对齐与结构先验注入提供了关键的理论坐标。
-2.1.1 欧氏空间假设下的网格与序列建模群
-早期的时空预测方法主要建立在欧几里得空间假设之上，通过将复杂的物理空间强制划分为规则的二维或三维网格（Euclidean Grids），进而借助计算机视觉领域的卷积神经网络（CNN）与自然语言处理领域的循环神经网络（RNN）进行时空依赖提取。在这一发展阶段，最具代表性的奠基性工作之一是ST-ResNet模型 1。该模型创新性地引入了深度残差卷积网络（Deep Residual CNN），专门针对城市系统中不同时间跨度的人流进出模式进行解耦建模。ST-ResNet通过设计三个并行的残差模块，分别捕获时空数据中的邻近性（Closeness）、周期性（Period）和趋势性（Trend），并在网络末端融合了诸如外部气象条件、节假日效应等环境异构因素，从而在网格级别的城市人群流量预测上取得了当时的最优性能 3。
-与ST-ResNet侧重于空间残差特征提取不同，ConvLSTM等衍生模型致力于将CNN的局部空间感知能力与长短期记忆网络（LSTM）的动态时序记忆能力进行算子级别的无缝融合 2。在气象降水预报等场景中，此类模型验证了空间网格状态可以通过循环递归特征映射进行有效的时间维度推演。然而，这类方法在本质上面临着空间表达域的极大局限性。真实世界的时空数据（例如交通路网中的传感器节点、城市兴趣点之间的交互轨迹）往往呈现高度非欧几里得（Non-Euclidean）的流形分布。强制将这些具有复杂图拓扑结构的信号映射为规则的欧氏网格，不仅会导致关键空间连接特征的严重丢失，还会因为网格的稀疏性引入海量的无效计算 3。这种对欧氏空间假设的路径依赖，最终催生了基于图论的时空建模范式的全面兴起。
-2.1.2 非欧拓扑驱动的图神经网络工作群
-为了克服网格模型在表达复杂空间结构时的内在局限，学术界迅速转向利用图神经网络（Graph Neural Networks, GNNs）对非欧几里得时空数据（如智能交通传感器网络、人群移动轨迹拓扑）进行联合建模 4。基于GNN的时空建模工作群在2018至2022年间逐渐占据了该领域的统治地位，形成了丰富的理论体系与架构分支 5。
-其中，扩散卷积循环神经网络（Diffusion Convolutional Recurrent Neural Network, DCRNN）是这一方向的开创性与代表性工作。DCRNN创造性地将交通流在路网中的动态演化建模为有向图上的物理扩散过程，利用随机游走（Random Walk）算法计算扩散卷积算子，并将其深度嵌入到门控循环单元（GRU）的内部结构中 1。这种机制使得DCRNN能够极为有效地捕获传感器节点间的空间非对称性（例如上游拥堵对下游的影响远大于下游对上游的影响）和时间动态性，在METR-LA和PEMS-BAY等基准数据集上取得了显著的性能跃升 2。
-继DCRNN之后，Graph WaveNet模型进一步突破了GNN对预定义物理图结构（如真实道路距离）的刚性依赖。该模型引入了自适应邻接矩阵（Adaptive Adjacency Matrix）机制与空洞因果卷积（Dilated Causal Convolution）1。自适应邻接矩阵允许模型在训练过程中通过节点嵌入自动学习并挖掘数据中隐式的空间依赖关系，从而弥补了物理图在反映实际交通动力学时的偏差。同时，空洞因果卷积的引入使得模型能够以极少的层数呈指数级扩大时间维度的感受野。实证研究表明，在进行60分钟等较长周期的时序预测时，Graph WaveNet的长程特征捕捉能力远超传统的RNN基线模型 8。
-在此基础上，注意力机制（Attention Mechanism）逐渐渗透入图时空建模的各个环节。诸如ASTGCN（Attention Based Spatial-Temporal Graph Convolutional Networks）和STGAT（Spatial-Temporal Graph Attention Networks）等代表性模型，利用空间注意力和时间注意力机制，针对不同节点和不同时间步的特征进行动态的权重分配与特征聚合 2。然而，这些专有深度图模型尽管在特定城市的特定任务上将拟合精度推向了极致，但其架构高度依赖于特定数据集的大规模监督信号与平稳的分布假设。当面临跨城市迁移（Cross-city transfer）或零样本（Zero-shot）预测场景时，这类模型往往遭遇严重的灾难性失效，凸显了其泛化能力的系统性脆弱。
-2.1.3 复杂系统视域下的结构复杂性理论探讨
-经典模型在泛化性上面临的理论瓶颈，促使研究者重新回到统计学与生态学领域，对时空分布的内在规律进行更为本质的理论探讨，这些探讨常见于领域内优秀的博士学位论文中。时空数据的“结构复杂性”（Structural Complexity）本质上包含了空间异质性（Spatial Heterogeneity）、多尺度依赖以及时间非平稳性 9。
-在基于对数高斯考克斯过程（Log-Gaussian Cox Processes）等空间动力学模型的优秀学位论文分析中，信息在时空网络中的传递效率和结构复杂度，被证明直接受限于空间尺度参数（Scale Parameter）与强度场的协方差衰减速率 9。研究指出，利用香农熵（Shannon Entropy）和雷尼熵（Rényi Entropy）可以对时空点过程中的全局不均匀性进行严格的理论量化 9。传统GNN模型在处理这些高度复杂的结构时，往往因为网络深度的增加而不可避免地产生图过度平滑（Over-smoothing）现象，或者由于感受野的局部性而无法捕获全局的系统交互律 14。这一深层的理论瓶颈，结合现实场景中时空标记数据稀缺所导致的泛化性危机，表明单纯依靠叠加图卷积算子已触及能力天花板，从而为引入具备全局感受野、海量常识先验和零样本推理能力的大语言模型铺平了道路 10。
-2.2 大语言模型在时空数据领域的引入与前沿探索
-大语言模型展现出的海量世界知识储备、强大的上下文推理能力以及令人瞩目的零样本泛化性能，为打破传统时空数据科学的困境提供了颠覆性的发展路径。时空数据科学的整体工作流（包括传感感知、数据管理与知识挖掘）正经历一场从“面向特定任务的孤立小模型”向“通用时空基础模型（STFMs）”的范式转移 15。
-2.2.1 时空基础模型的发展脉络与系统管线
-最新前沿研究倾向于将时空基础模型的构建视为一个严密的、端到端的系统管线（Pipeline），这标志着领域研究从零散的模型拼接走向系统化的架构设计 16。该管线主要涵盖数据统一整合（Data Harmonization）、基础模型设计（Primitive Model Design）、训练目标设定（Training Objectives）以及迁移适配（Transfer Adaption）四个关键生命周期阶段 16。
-与早期仅仅将自然语言文本输入到时空编码器进行粗糙对齐的模型不同，现代STFMs致力于在更高维度的隐语义空间内统一时间（例如时间序列的时间戳模式）、空间（如地理坐标、轨迹流向网络）与文本（如城市知识图谱、突发事件记录）的异构表示。例如，前沿模型ST-LINK针对长周期预测中的特征坍缩问题，设计了专门的时空注意力机制（SE-Attention）和多尺度融合特征网络（MRFFN）。通过这种机制，模型将语言大模型的表征空间与时空动力学规律深度结合，显著增强了LLM在动态环境下的空间感知稳定性和长期预测鲁棒性 17。
-2.2.2 面向时空模态的LLM迁移适配工作群
-为了将预训练于海量一维离散自然语言语料的LLM成功且无损地应用于连续、异质、多维的时空领域，截至2026年的文献中涌现出四类主流的迁移适配（Transfer Adaption）工作群：提示工程、跨域对齐、监督微调与特征增强 16。这四类机制从不同维度解决了LLM适应物理世界的模态鸿沟问题。
-
-
-适配机制工作群 (Adaptation Cluster)
-	核心原理与解决挑战
-	领域代表性工作及机制详述
-	提示工程 (Prompt Engineering)
-	原理：利用硬提示（指令）或软提示（连续向量）激活或重编程LLM内在推理能力。
-
-
-挑战：解决目标域数据极度稀缺的问题，实现跨城市、零样本泛化。
-	UniST：采用提示赋能框架实现城市级通用时空预测 16；
-
-
-WeatherGFM：通过上下文学习（In-context Learning）微调气象气流特征实现全球天气预测泛化 16；
-
-
-Time-LLM：利用文本原型对齐嵌入重编程大模型进行时序预测 16。
-	跨域对齐 (Cross-Domain Alignment)
-	原理：将时间序列、传感器网络或视频流的潜在嵌入空间直接与LLM的预训练视觉/语言词表空间进行投影对齐。
-
-
-挑战：消除连续数值信号与离散语言符号间的语义壁垒。
-	TimeCMA：基于多阶段跨模态对齐策略提升大语言模型的纯时间序列分析能力 16；
-
-
-Path-LLM：通过对齐与融合机制学习多模态轨迹路径的拓扑特征 16；
-
-
-UrbanCLIP：利用网络图像与文本对比学习构建文本增强的城市区域表征空间 16。
-	监督微调 (Supervised Fine-Tuning)
-	原理：利用精心构建的特定领域指令跟随数据（Instruction-following data）对LLM的局部参数进行微调。
-
-
-挑战：将LLM通用的常识逻辑映射为特定时空环境下的决策动作或精准预报。
-	Video-LLaMA：通过音频-视觉混合指令微调提升时间序列视频的理解深度 16；
-
-
-LLMLight：将LLM微调为复杂的时空交通信号控制多智能体代理，实现基于环境反馈的实时路网调度 16。
-	特征增强 (Feature Enhancement)
-	原理：在LLM的输入层或隐藏层强制注入外部结构化时空知识（如知识图谱、坐标位置信息）。
-
-
-挑战：修正LLM因缺乏物理空间约束而产生的“地理位置幻觉”或不符合常理的空间推演。
-	UrbanGPT：将独立的时空依赖编码器作为特征外挂模块与指令微调深度融合，大幅提升零样本场景精度 19；
-
-
-ST-LLM+：利用图增强算子将路网拓扑约束注入大模型，显著提升交通状态识别准确率 16。
-	以UrbanGPT为例，该模型深刻洞察到城市传感数据在实际应用中普遍面临的零样本稀缺困境，创新性地将用于提取时序依赖的时空编码器与指令微调（Instruction-tuning）范式深度融合 19。它没有把时间和空间仅仅作为检索时的独立过滤条件，而是让LLM理解两者在城市动力学中不可分割的依存关系，从而在多个跨域公共基准测试中以压倒性优势超越了传统的最先进基线模型 18。
-2.2.3 城市时空智能评估基准的代际演进
-评估一个大语言模型是否真正具备“时空智能”，单纯依赖如均方根误差（RMSE）或平均绝对误差（MAE）等最终预测结果指标已不再能反映其真实能力边界。截至2026年，时空评测体系正向“基于过程的诊断”（Process-based diagnostics）转变，重点考察模型在时空理解（Understanding）、预测（Forecasting）、规划（Planning）与反馈反思（Reflection）四个维度的深层因果推理能力 20。
-在这一代际演进中，代表性的评估基准工作群包括USTBench、STARK以及POI-QA： USTBench构建了一个高度交互式的城市仿真环境（UAgentEnv），摒弃了将任务压缩为多项选择题的粗糙做法。它通过细粒度的问答对（QA pairs）深度分解时空推理过程，例如严格测试LLM对物理空间距离（Distance）、区域邻接性（Adjacency）等几何关系的多级逻辑链条推理 20。STARK基准则走得更远，它结合了经典空间代数与时间逻辑框架，在多模态传感器输入下构建了26种复杂的时空推理挑战场景。其评测揭示了当前LLM即使在代码解释器（Code Interpreter）辅助下，在需要算法计算与物理世界知识耦合的Tier-3级别任务中依然表现吃力 22。
-此外，POI-QA数据集致力于揭露模型在日常空间寻路与兴趣点序列排列上的缺陷。该研究通过高精度清洗真实车辆轨迹数据与地理POI数据，构建了需要高度时空敏感性的双语问答任务。实证评估暴露出极具冲击力的现实：即便经过检索增强生成（RAG）和LoRA深度优化的先进百亿参数开源模型（如Qwen2.5-7B），在最基础的任务上其前十命中率（HR@10）仅为0.41，远远落后于普通人类的0.56基准 24。这深刻地表明，LLM在处理连续时空动态性时仍面临表征错位的根本性缺陷，为结构适配理论的发展指明了紧迫的方向。
-2.3 面向时空任务的大语言模型参数高效适配（PEFT）技术
-将动辄百亿甚至千亿参数体量的大语言模型直接应用于垂直领域的特定时空任务（如交通流量精细预测、气象云图解析或微观轨迹恢复），不仅面临显存与算力开销的灾难性瓶颈，还会引发严重的预训练知识灾难性遗忘（Catastrophic Forgetting）现象 27。参数高效微调（PEFT）技术通过冻结大模型主体网络，仅训练并更新极小比例（通常小于1%）的旁路或附加参数，实现了成本压缩与能力保留的完美平衡 27。面向复杂多变的时空数据，PEFT技术路线逐渐从简单的空域模块插桩，演化到基于谱论的频域提取，再进一步向稀疏张量分解与隐式神经架构搜索前沿迈进。
-2.3.1 空域PEFT与多任务自适应微调机制
-空域参数高效微调的早期实践多依赖于适配器网络（Adapter）和低秩自适应（Low-Rank Adaptation, LoRA）。在需要捕捉视频流等密集时空序列的任务中，诸如ST-Adapter（Spatio-Temporal Adapter）和AIM模型，通过在预训练视觉Transformer（ViT）的标准注意力块中插入高度定制化的轻量级适配层，实现了对时间序列和空间位移信号的同时捕捉 29。实验表明，这种保留全局预训练先验并在局部插桩微调的方法，其在下游时空分类或追踪任务上的性能甚至全面超越了暴力消耗资源的全参微调 29。
-为了进一步应对时空演化中复杂的动态关联性（例如视觉目标跟踪中背景信息、前景目标及边界模糊区域在时间轴上的剧烈表征变化），研究者提出了混合专家系统（MoE）与参数高效微调相结合的TMoE架构 31。代表性模型SPMTrack利用该机制将特征关系建模的感受野从传统的相邻单帧图像对，大幅拓展到跨越长序列的全局时空上下文中。这种机制不仅使可训练参数规模保持在极低水平，还确保了模型能根据不同尺度的运动状态动态激活相应的专家模块，保证了多尺度特征捕捉的极高灵活性 31。
-而在多任务学习（Multi-Task Learning, MTL）的时空场景下（如利用单一LLM同时处理降雨量预测、城市车流估计与空气污染推演），跨域知识在不同任务间的负迁移（Negative Transfer）是一大顽疾。为此，基于Fisher信息的稀疏表示微调网络被提出 32。这类方法通过在多任务教师-学生（Teacher-Student）反馈框架中引入Fisher惩罚项，促使模型在稀疏子空间中智能共享正相关特征，并隔离互相冲突的任务维度，从而为构建大一统的时空通用智能提供了可行的参数共享基础。
-2.3.2 频域驱动的参数演化工作群
-随着分析进入深水区，传统基于空域的PEFT（特别是典型的LoRA架构）逐渐显露出其数学表达能力上的系统性局限。简单的低秩分解矩阵难以捕捉预训练权重中高秩的细节关联，且由于在空域操作，很难有效分离参数中蕴含的基础结构与特定噪声。由此，利用正交变换进入频域空间进行参数更新的机制在2024至2026年间迅速崛起，成为PEFT领域最引人注目的前沿方向 34。
-大量实证研究与理论证明，大模型中具有高度通用性、任务无关的核心基础知识（被称为“Learngene”）呈现出高度集中的特性，它们主要编码在模型权重矩阵的低频分量（Low-frequency components）中 35。基于这一深刻洞察，频域微调工作群提出了一系列利用离散余弦变换（DCT）和傅里叶变换（DFT）重构微调范式的创新框架：
-1. LoCA (Location-aware Cosine Adaptation): 针对低秩适配表达能力受限的问题，LoCA创造性地引入逆离散余弦变换（iDCT）。与在整个矩阵上盲目求解低秩近似不同，LoCA通过有限差分梯度逼近技术，在DCT生成的频域谱图上动态寻找并精细调整那些信息量最密集的特定频率位置。该研究在理论上证明了，相较于包含复数运算且实现复杂的逆离散傅里叶变换（iDFT），iDCT不仅有效降低了计算负荷，还能通过有选择的频段微调实现超越传统LoRA的最优表达精度 36。
-2. FRONT (FRequency dOmain kNowledge Transfer): 这一前沿框架进一步将频域理论推向极致。FRONT通过DCT算法精准剥离大模型的低频“Learngene”，允许下游模型通过极其简单的频率截断（Truncation）或零填充（Padding）操作，即可在任意参数规模的模型之间无缝继承知识。令人瞩目的是，这种基础的跨尺度微调过程完全是非训练式（Training-free）的。配合低开销的谱正则化器进行精细调整，FRONT不仅在语言任务上缩减了平均40.5%的训练浮点运算量（FLOPs），更有力规避了空域重构时常见的模型坍塌风险 35。
-在具体处理二维云图或三维时空体特征时，引入傅里叶或小波分析的频域视觉Transformer（FD-ViTs）同样展现了压倒性优势，它们能有效抑制多尺度时空信号融合过程中常见的频谱混叠（Spectral Aliasing）和高频细节（如微表情、瞬时极端天气）丢失问题 37。
-2.3.3 稀疏分解与预算感知的联合优化策略
-为了进一步突破LoRA固有低秩假设对优化灵活性的制约，基于鲁棒主成分分析（Robust Principal Component Analysis, RPCA）的稀疏张量分解微调路径为时空LLM适配提供了新的求解视角 40。
-传统的稀疏微调方法往往依赖工程师手动设计的启发式分配规则或硬性的剪枝阈值，这在面对高度非平稳的时空数据时极易发生过度剪枝。而以RoSA和CAP（Budget-aware PEFT）为代表的分解框架，通过在网络优化的前向反向传播过程中同步执行RPCA联合优化，自动将模型权重更新项解耦为两个部分：捕捉全局平缓演变规律的低秩成分（Low-rank component），以及负责捕捉极端突变方向的极度稀疏但幅值巨大的向量更新（Sparse high-magnitude updates）40。
-这种（低秩+稀疏）的双轨并行机制能够在一个严格设定的总参数预算（Budget-aware，例如限定仅可更新4000万或1.6亿参数）下自动寻优 40。在处理城市交通或气象监测等任务时，这种机制赋予了模型极强的物理抗干扰能力：时空数据中难以预测的突发性高频脉冲信号（如突发交通事故引发的局部拥堵激增、短时强降水）能够被稀疏高幅值模块精准接管，而全局性、周期性的常态化时空变化趋势则由低秩模块平滑拟合。这一理论机制不仅摆脱了手工分配的脆弱性，还在多项基准评测中显著提升了模型抵御环境噪声侵蚀的鲁棒性 41。
-2.3.4 基于大语言模型反思的隐式神经架构搜索（NAS）
-参数高效适配的最前沿探索已经跨越了单纯对给定网络权重矩阵进行数学变换的范畴，延伸到了利用人工智能对网络计算子结构自身进行自动化改造的神经架构搜索（Neural Architecture Search, NAS）领域 43。然而，传统的NAS方法受制于组合爆炸，搜索特定时空网络算子往往需要消耗成百上千张GPU的巨大算力，这阻碍了其与大规模LLM微调的融合。
-近年来，闭环隐式搜索机制（Closed-loop pipeline）通过直接利用大语言模型本身的强大代码生成（Code Generation）能力与自动诊断反思能力，开创了低成本架构优化的新纪元 45。例如，前沿工作LLM-NAS框架构建了一个马尔可夫链式（Markov chains）的历史反馈记忆系统（Historical Feedback Memory）。在该系统中，LLM化身为架构设计师（Agent），在每一轮微调结构尝试失败后，会生成严格的诊断三元组（Diagnostic Triple：识别结构错误、提出修改建议、记录反馈结果）45。
-通过引入抽象语法树（AST）驱动的变异引擎，LLM能够预先过滤掉那些语法错误、维度不匹配或根本无法训练的无效架构修改，极大缓解了冷启动（Cold-start）难题 46。在此优化过程中，时空预测所必需的复杂空间多头注意力、因果空洞卷积等算子组合规则，以及边缘计算设备严格的显存与计算约束，被自动内化为LLM架构搜索的隐式先验知识（Implicit prior）。这种机制使得在单一消费级GPU上（如RTX 4090），经过几千次迭代便能高效设计出专属于特定时空任务的高效微调网络架构，确立了硬件感知的低预算时空PEFT新范式 45。
-2.4 时空大模型的内在表示机制与结构动力学
-尽管一系列参数高效微调技术有效降低了时空大模型落地的工程门槛，但LLM内部极其复杂的隐空间表示（Latent Space Representations）究竟如何随着微调演化，以及大语言模型原始基于语言符号的特征分布在面对连续多维的时空流形数据时会产生怎样的几何扭曲，成为决定模型理论能力上限的最核心科学问题。
-2.4.1 LLM表示的各向异性分布与功能性解码
-在模型内在表征的探讨中，各向异性（Anisotropy）是基于Transformer架构自回归大语言模型中广泛存在的一种核心内部表示现象。海量的探针文献压倒性地证明，LLM隐藏层的激活值表征分布呈现出极其显著的各向异性——即表征空间中存在极少数的“异常维度”（Outlier Dimensions），这些极少部分维度占据了整体特征矩阵中压倒性的方差比例和极端的激活幅值，而其余绝大部分维度则处于低方差的冗余状态 48。
-在早期的自然语言处理理论中，研究者普遍认为这种现象源自词汇频率的极度不平衡（长尾分布），以及交叉熵损失函数中Softmax操作引起的固有几何漂移。因此，长期以来的主流做法是将这些高方差异常视为亟待消除的“表示退化”伪影，通过各种正则化手段试图强制模型的表征空间走向各向同性（Isotropy），以期在余弦相似度上符合人类直觉 51。
-然而，针对特定大规模复杂推理任务的最新前沿理论彻底推翻了这一经验主义直觉。研究者提出了一种精确且具有小批量计算稳定性（Mini-batch computation stability）的可微各向同性度量新标准——IsoScore，并基于此开发了I-STAR正则化技术 49。颠覆性实验结论指出：在大多数深刻依赖上下文语境的表征任务中，主动降低表征的各向同性（即允许模型保持甚至增强各向异性），反而能够系统性地提升模型的下游任务性能表现 49。
-在时空大模型的特定语境下，这一理论发现具有深远的启发意义。各向异性维度不再被视为需要被修剪和抑制的噪声，而是作为“内在可解释的功能单元”（Intrinsic Interpretable Functional Units）而客观存在 48。例如，在对高度复杂的城市交通轨迹网络或气象时间序列进行建模时，时空数据本身就具有极强的偏态分布。那些被模型隐式学习到的高方差异常维度，很可能正是用于精确承载并表征特定时空突变极端事件（如节假日核心商圈人流的脉冲式激增、台风路径的突发偏折）的关键几何方向信号。这种对各向异性的全新功能性解码，为评估时空适配层的特征保留度提供了全新的数学标尺。
-2.4.2 多维旋转位置编码（RoPE）的局限与突破
-时空大语言模型的另一个致命结构瓶颈在于空间与时间的位置感知注入机制。目前标准的大语言模型几乎全面采用旋转位置编码（Rotary Positional Embedding, RoPE）。该编码机制通过将绝对位置坐标巧妙映射为复平面上的旋转角度，诱导模型在自注意力打分时能够内在地响应相对距离偏移，从而在处理一维长文本序列时表现出极强的长度外推（Extrapolation）能力和泛化鲁棒性 54。
-然而，当RoPE试图直接向多维数据（如多模态图像生成、2D网格交通地图甚至3D视频时空流）进行数学扩展时，遭遇了极其根本的结构性阻碍 54。 首先，传统的多维RoPE设计机械地将整体特征维度沿不同空间轴（例如横向X轴与纵向Y轴、或空间维度与时间维度）进行均匀切割，并强制复用同一套频率谱段。这种设计隐含了一个极其脆弱的物理假设：即各个坐标轴方向上的时空动力学衰减速率和信号复杂度是相似且可比的。这在非平稳的异质时空域中是完全失效的。 其次，标准构造在数学上强制实行严格的逐轴独立（Axis-wise independence），在相关矩阵中表现为分块对角结构（Block-diagonal structures）。这种正交隔离切断了多维时空中不可或缺的跨维交互耦合（例如沿物理对角线方向发生的流体扩散、或者空间形态随时间演化的时空旋涡现象）54。
-为了彻底打破这一基础架构僵局，2025年以来的前沿研究提出了诸如HARoPE（Head-wise Adaptive Rotary Positional Encoding）等开创性的多维位置编码重构方法。HARoPE通过在不同的大模型注意力头（Attention Heads）上实现自适应的频率分量动态指派，打破了各维度之间的僵硬正交限制。它允许不同注意力头依据其感受野的特性，自主捕捉多尺度、各向异性且深度耦合的时空动力学特征 54。这对于亟需精准处理异构时序依赖与非线性空间几何变形的时空基础模型而言，无疑是一次深入算子架构底层的关键性理论突破 57。
-2.4.3 跨越尺度的谱分析与特征演化轨迹
-为了从更宏观的全局理论层面剖析时空LLM在训练过程中的黑盒学习机制，前沿研究创造性地引入了大规模谱图理论与非线性流形动力学分析 39。
-在针对数十亿乃至上百亿参数规模模型（如OLMo、Pythia）自回归训练全过程的监测中，研究通过精确测量流形表示的有效秩（RankMe）与特征谱衰减系数（Eigenspectrum decay, $\alpha_{\text{ReQ}}$），揭示了模型表示流形随训练深入，必然经历三个非单调的几何相变阶段 58：
-1. 预热坍缩期（Warmup phase）：在初期，由于海量参数的初始寻优，模型的表示空间发生迅速的维度坍缩。
-2. 寻熵扩张期（Entropy-seeking phase）：伴随着对大规模时空序列n-gram级记忆的形成，流形的有效维度产生爆炸式显著扩张，特征谱变得异常丰富，尝试拟合一切可能的局部模式。
-3. 寻压固化期（Compression-seeking phase）：在这一决定模型泛化能力的终极阶段，流形发生了选择性的各向异性合并。模型仅沿着几个主导的、与核心任务最相关的特征维度保留高方差信号，同时猛烈收缩并抛弃其他无用的高维噪声信息。这一阶段的完成标志着时空特征向本质物理动力学规律的彻底提纯 58。
-在这一理论框架指导下，针对含有大量高频噪声和微小周期性波动的特殊时空数据（如睡眠状态下的微表情时间序列、包含局部涡流的微小尺度气象云图连续帧），研究者通过在微调架构中融合轻量级多尺度时序卷积网络与小波变换分析（Wavelet Analysis），展现了极强的局部特征解构力 39。小波分析由于能够同时在不同时间尺度和频带上提取局部震荡特征，完美弥补了传统傅里叶变换在深层卷积映射时容易发生的相位信息丢失问题。这种频域与空域双路解析的先进理论手段，正逐步与大语言模型的多模态对齐接口实现深度结合，正在构筑下一代具备极致抗噪能力与物理可解释性的时空谱表征大一统架构 39。
-2.5 本章小结
-本章作为全文理论框架的重要基石，系统且全面地梳理了时空数据挖掘领域从经典统计深度学习模型直至时空大语言模型（STFMs）宏大叙事的发展脉络，并在此基础之上，深度剖析了面向LLM的参数高效适配技术演进路线及模型表征的内部动力学机理。
-首先，本章回顾了包括ST-ResNet、DCRNN与Graph WaveNet等在内的早期经典方法。这些探索无可辩驳地证实了准确捕获时空数据非欧几里得拓扑结构依赖的绝对必要性；然而，其极强的特定任务绑定特性以及对大规模带标注数据的严重饥渴，从复杂系统生态异质性理论的角度暴露了传统架构的泛化能力深渊。随着以UrbanGPT、UniST及Time-LLM为代表的大语言模型被强势引入该领域，前沿研究通过提示工程赋能、跨域嵌入对齐以及深度监督微调等丰富的工作群，初步打破了自然语言的离散符号逻辑与时空连续数值信号之间的表征壁垒。同时，以USTBench、POI-QA为代表的基准测试集演进，宣告了该领域评估重心正经历从唯终端预测精度论向全过程因果逻辑时空推理能力的根本性跨越。
-面对千亿参数微调所引发的算力海啸与灾难性遗忘危机，本章细致解构了参数高效微调（PEFT）技术跨越式的代际演进。从依靠插桩或路由机制的空域自适应（如MoE多专家机制与Fisher稀疏跨任务共享），发展至基于DCT和RPCA算法的频域特征提取与稀疏-低秩联合张量分解。这些前沿策略有效抽离出大模型底层的低频常识“Learngene”，并在极其严苛的存储算力预算下，实现了抗突变干扰的时空信号精确更新。更为前瞻性的是，结合大语言模型自身代码反思闭环机制的隐式神经架构搜索（NAS），正以惊人的低成本打破时空微调网络手工设计的经验瓶颈。
-最后，本章从大模型表征演化的最底层拓扑逻辑出发，对表示分布的各向异性特征及其物理对应进行了颠覆性的理论再发现。前沿研究确证，在时空连续域适配中放任甚至刻意利用适度的各向异性（Outlier Dimensions），并结合打破传统正交封锁、具备多头自适应耦合能力的多维旋转位置编码（如HARoPE），辅以涵盖小波与傅里叶机制的深层流形谱动力学分析，能够最大程度地释放巨量模型在非平稳多尺度时空场景下的因果发现潜能。
-综上所述，经典网络对时空拓扑先验的深刻洞察与大语言模型前沿参数高效适配理论的有机交融互鉴，为理解时空模型表征本质提供了全景式的理论视野。这不仅廓清了当前领域面临的核心计算瓶颈与认知盲区，更为本论文后续提出并建立泛化、健壮的“统一结构适配理论”提供了无比坚实且不可或缺的学术支撑体系。
-引用的著作
-1. Deep Multi-View Channel-Wise Spatio-Temporal Network for Traffic Flow Prediction - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2404.15034v1
-2. 6G conditioned spatiotemporal graph neural networks for real time traffic flow prediction, 访问时间为 三月 16, 2026， https://pmc.ncbi.nlm.nih.gov/articles/PMC12855894/
-3. Spatiotemporal Graph Convolutional Network for Multi-Scale Traffic Forecasting - MDPI, 访问时间为 三月 16, 2026， https://www.mdpi.com/2220-9964/11/2/102
-4. (PDF) Spatio-Temporal Graph Neural Networks: A Survey - ResearchGate, 访问时间为 三月 16, 2026， https://www.researchgate.net/publication/367432032_Spatio-Temporal_Graph_Neural_Networks_A_Survey
-5. NeurIPS Poster Terra: A Multimodal Spatio-Temporal Dataset Spanning the Earth, 访问时间为 三月 16, 2026， https://neurips.cc/virtual/2024/poster/97768
-6. An Overview of Spatiotemporal Network Forecasting: Current Research Status and Methodological Evolution - MDPI, 访问时间为 三月 16, 2026， https://www.mdpi.com/2227-7390/14/1/18
-7. Reinforced Spatio-Temporal Attentive Graph Neural Networks for Traffic Forecasting - IEEE Xplore, 访问时间为 三月 16, 2026， https://ieeexplore.ieee.org/ielaam/6488907/9138535/9003261-aam.pdf
-8. Full article: Advances in spatiotemporal graph neural network prediction research - Taylor & Francis, 访问时间为 三月 16, 2026， https://www.tandfonline.com/doi/full/10.1080/17538947.2023.2220610
-9. Analysis and Modeling of Spatio-Temporal Point Processes. Information Theory-Based Approaches and Risk Assessment - DIGIBUG Principal, 访问时间为 三月 16, 2026， https://digibug.ugr.es/bitstream/handle/10481/108888/75183.pdf?sequence=4&isAllowed=y
-10. Spatiotemporal Data Analysis: A Review of Techniques, Applications, and Emerging Challenges - ResearchGate, 访问时间为 三月 16, 2026， https://www.researchgate.net/publication/380646944_Spatiotemporal_Data_Analysis_A_Review_of_Techniques_Applications_and_Emerging_Challenges
-11. Measuring habitat complexity and spatial heterogeneity in ecology - PMC - NIH, 访问时间为 三月 16, 2026， https://pmc.ncbi.nlm.nih.gov/articles/PMC9804605/
-12. Balancing structural complexity with ecological insight in Spatio‐temporal species distribution models - Kent Academic Repository, 访问时间为 三月 16, 2026， https://kar.kent.ac.uk/99523
-13. Structural Complexity and Informational Transfer in Spatial Log-Gaussian Cox Processes, 访问时间为 三月 16, 2026， https://pmc.ncbi.nlm.nih.gov/articles/PMC8469185/
-14. Managing spatio-temporal heterogeneity of susceptibles by embedding it into an homogeneous model: A mechanistic and deep learning study - PMC, 访问时间为 三月 16, 2026， https://pmc.ncbi.nlm.nih.gov/articles/PMC11476686/
-15. [2503.13502] Foundation Models for Spatio-Temporal Data Science: A Tutorial and Survey - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2503.13502
-16. LMissher/Awesome-Spatio-Temporal-Foundation-Models - GitHub, 访问时间为 三月 16, 2026， https://github.com/LMissher/Awesome-Spatio-Temporal-Foundation-Models
-17. ST-LINK: Spatially-Aware Large Language Models for Spatio-Temporal Forecasting, 访问时间为 三月 16, 2026， https://arxiv.org/html/2509.13753v1
-18. UrbanGPT: Spatio-Temporal Large Language Models | Request PDF - ResearchGate, 访问时间为 三月 16, 2026， https://www.researchgate.net/publication/383420824_UrbanGPT_Spatio-Temporal_Large_Language_Models
-19. [2403.00813] UrbanGPT: Spatio-Temporal Large Language Models - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2403.00813
-20. USTBench: Benchmarking and Dissecting Spatiotemporal Reasoning Capabilities of LLMs as Urban Agents | OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/forum?id=ETzBStUFJy
-21. USTBench: Benchmarking and Dissecting Spatiotemporal Reasoning of LLMs as Urban Agents - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2505.17572v1
-22. Benchmarking Spatiotemporal Reasoning in LLMs and Reasoning Models: Capabilities and Challenges - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2505.11618v1
-23. Benchmarking Spatiotemporal Reasoning in LLMs and Reasoning Models: Capabilities and Challenges - OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/pdf?id=zRhO4hizR8
-24. STBench: Assessing the Ability of Large Language Models in Spatio-Temporal Analysis, 访问时间为 三月 16, 2026， https://www.semanticscholar.org/paper/STBench%3A-Assessing-the-Ability-of-Large-Language-in-Li-Yao/2c788ee25ea8387c6f2bbb5bb8e7a78a3a296a44
-25. A Dataset for Spatiotemporal-Sensitive POI Question Answering - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2505.10928v1
-26. [2505.10928] A Dataset for Spatiotemporal-Sensitive POI Question Answering - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2505.10928
-27. Parameter-Efficient Continual Fine-Tuning: A Survey - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2504.13822v2
-28. Revisiting Fine-Tuning: A Survey of Parameter-Efficient Techniques for Large AI Models, 访问时间为 三月 16, 2026， https://www.preprints.org/manuscript/202504.0743
-29. Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2403.14608v1
-30. Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey - OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/pdf?id=lIsCS8b6zj
-31. SPMTrack: Spatio-Temporal Parameter-Efficient Fine-Tuning with Mixture of Experts for Scalable Visual Tracking - CVF, 访问时间为 三月 16, 2026， https://openaccess.thecvf.com/content/CVPR2025/papers/Cai_SPMTrack_Spatio-Temporal_Parameter-Efficient_Fine-Tuning_with_Mixture_of_Experts_for_Scalable_CVPR_2025_paper.pdf
-32. Large Language Models for Structured Task Decomposition in Reinforcement Learning Problems with Sparse Rewards - MDPI, 访问时间为 三月 16, 2026， https://www.mdpi.com/2504-4990/7/4/126
-33. Learning Multi-Task Sparse Representation Based on Fisher Information | Proceedings of the AAAI Conference on Artificial Intelligence, 访问时间为 三月 16, 2026， https://ojs.aaai.org/index.php/AAAI/article/view/29632
-34. Parameter-Efficient Fine-Tuning via Selective Discrete Cosine Transform - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2410.09103v1
-35. One-for-All Model Initialization with Frequency-Domain Knowledge - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2603.07523v1
-36. LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning | OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/forum?id=4NRjdISWby
-37. Mach. Learn. Knowl. Extr., Volume 8, Issue 2 (February 2026) – 28 articles - MDPI, 访问时间为 三月 16, 2026， https://www.mdpi.com/2504-4990/8/2
-38. Frequency-Domain Vision Transformers: Architectures, Applications, and Open Challenges, 访问时间为 三月 16, 2026， https://www.mdpi.com/2076-3417/16/4/2024
-39. A Comprehensive Review of Deepfake Detection Techniques: From Traditional Machine Learning to Advanced Deep Learning Architectures - MDPI, 访问时间为 三月 16, 2026， https://www.mdpi.com/2673-2688/7/2/68
-40. RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2401.04679v7
-41. Large Language Model Compression with Global Rank and Sparsity Optimization, 访问时间为 三月 16, 2026， https://arxiv.org/html/2505.03801v3
-42. LARGE LANGUAGE MODEL COMPRESSION WITH GLOBAL RANK AND SPARSITY OPTIMIZATION - OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/pdf/677d153759a416afe2811de0c2edecd3101560a2.pdf
-43. Neural Architecture Search for Parameter-Efficient Fine-tuning of Large Pre-trained Language Models - ACL Anthology, 访问时间为 三月 16, 2026， https://aclanthology.org/2023.findings-acl.539/
-44. Neural Architecture Search for Parameter-Efficient Fine-tuning of Large Pre-trained Language Models - ACL Anthology, 访问时间为 三月 16, 2026， https://aclanthology.org/2023.findings-acl.539.pdf
-45. [2603.12091] Resource-Efficient Iterative LLM-Based NAS with Feedback Memory - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2603.12091
-46. Closed-Loop LLM Discovery of Non-Standard Channel Priors in Vision Models - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2601.08517v1
-47. Resource-Efficient Iterative LLM-Based NAS with Feedback Memory - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2603.12091
-48. [2603.00029] Embracing Anisotropy: Turning Massive Activations into Interpretable Control Knobs for Large Language Models - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/abs/2603.00029
-49. Stable Anisotropic Regularization - OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/forum?id=dbQH9AOVd5
-50. Stable Anisotropic Regularization - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2305.19358v3
-51. Anisotropy Is Inherent to Self-Attention in Transformers - ACL Anthology, 访问时间为 三月 16, 2026， https://aclanthology.org/2024.eacl-long.3.pdf
-52. Augmenting LLMs Lenses - Deep Kondah, 访问时间为 三月 16, 2026， https://www.deep-kondah.com/handling-large-context-in-llms/
-53. ICLR Poster Stable Anisotropic Regularization, 访问时间为 三月 16, 2026， https://iclr.cc/virtual/2024/poster/18254
-54. Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation, 访问时间为 三月 16, 2026， https://arxiv.org/html/2510.10489v2
-55. Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation - arXiv, 访问时间为 三月 16, 2026， https://arxiv.org/html/2510.10489v1
-56. What is next for LLMs? Pushing the boundaries of next-gen AI computing hardware with photonic chips - PMC, 访问时间为 三月 16, 2026， https://pmc.ncbi.nlm.nih.gov/articles/PMC12592636/
-57. How much do contextualized representations encode long-range context? - ACL Anthology, 访问时间为 三月 16, 2026， https://aclanthology.org/2025.findings-naacl.90.pdf
-58. Tracing the Representation Geometry of Language Models from Pretraining to Post-training - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2509.23024v1
-59. Real-time sleep disorder monitoring design using dynamic temporal graphs with facial and acoustic feature fusion - PMC, 访问时间为 三月 16, 2026， https://pmc.ncbi.nlm.nih.gov/articles/PMC12644054/
-60. Unmasking Synthetic Realities in Generative AI: A Comprehensive Review of Adversarially Robust Deepfake Detection Systems - arXiv.org, 访问时间为 三月 16, 2026， https://arxiv.org/html/2507.21157v1
-61. WaveAR: Wavelet-Aware Continuous Autoregressive Diffusion for Accurate Human Motion Prediction | OpenReview, 访问时间为 三月 16, 2026， https://openreview.net/forum?id=kW2u5szHb6

deepresearch/gemini_result.md

@@ -0,0 +1,144 @@
+# 大语言模型表征适配的相关理论与研究进展
+
+本章围绕“大语言模型内部存在多层级结构异质性—均匀适配策略存在局限—需要结构感知表征适配框架与方法体系”的总体主线，综述支撑后续章节（模块级 HyCAM、维度级 RoSA/DyPAM、参数级 CASCADE/MESSA）所需的架构与表示机制背景、参数高效微调（PEFT）谱系、多任务适配问题、以及结构异质性相关的实证与方法进展。citeturn5search19turn5search1turn18view3
+
+## 大语言模型架构基础与表示机制
+
+**（对应 2.1.1）Transformer 架构与核心计算流程**  
+Transformer 以“残差流（residual stream）上的层叠变换”为基本组织方式：每层通常包含多头自注意力子层与前馈网络（FFN）子层，并通过残差连接与层归一化（LayerNorm）稳定训练与信息传递。citeturn18view3 自注意力的核心计算可概括为：对输入表示线性映射得到查询、键、值（Q/K/V），通过缩放点积得到注意力权重，再对值向量加权求和输出；多头机制将注意力在多个子空间并行计算并拼接，从而提升表达能力与可分解性。citeturn18view3 FFN 通常是两层线性变换加非线性激活（如 GELU/RELU）的逐位置（position-wise）映射，承担非线性特征变换与容量承载的重要角色。citeturn18view3
+
+在大语言模型（LLM）中，更常见的实现是 **decoder-only** Transformer：以因果掩码（causal mask）约束自注意力仅访问历史 token，从而匹配自回归语言建模目标；这一范式在 GPT 系列及后续大量开源与闭源 LLM 中得到广泛采用。citeturn19search2turn8search0turn18view1  
+本节的关键落点是：Transformer 并非“单一均匀模块”的堆叠，而是由注意力、FFN、残差与归一化等组件协同完成表示的层间传播与重组，这为后续从“表示流调制（representation modulation）”视角讨论模块级角色差异提供了统一对象基础。citeturn18view3
+
+image_group{"layout":"carousel","aspect_ratio":"16:9","query":["Transformer decoder-only architecture diagram causal self-attention","multi-head self-attention and feed-forward network diagram"],"num_per_query":1}
+
+**（对应 2.1.2）旋转位置编码与位置信息建模**  
+位置编码（positional encoding/representation）用于将序列位置信息注入注意力计算或表示空间，使模型能够区分“相同 token 在不同位置/相对距离下”的结构差异。关于位置机制的系统性梳理可参考位置编码综述：绝对位置、相对位置、基于注意力偏置等方法各具归纳偏置与工程权衡。citeturn11search25
+
+RoPE（Rotary Position Embedding）通过对 Q/K 的特征维度按二维成对方式施加旋转，将位置以“相位”（phase）形式编码进注意力的匹配关系中。其常见表述是：对第 \(i\) 个二维子空间，以与维度相关的角频率 \(\theta_i\)（对应不同波长/尺度）对 token 位置 \(p\) 进行旋转，从而使注意力得分天然携带相对位置信息。citeturn18view2 RoPE 的这一“频率分解”结构（不同维度对对应不同角频率）为后续在维度级讨论“位置信息并非均匀分布”的现象提供了机制背景。citeturn18view2
+
+与 RoPE 相对，ALiBi 不在输入端加位置向量，而是在注意力 logits 中引入与距离线性相关的偏置（且可设定头相关斜率），强调对“近邻更重要”的长度外推归纳偏置。citeturn11search0 另有相对位置编码路线在注意力打分中显式建模相对距离，例如 Transformer-XL 为长序列依赖提出段级 recurrence 并配套相对位置方案。citeturn11search5  
+本节的关键落点是：本章此处仅交代 **“位置机制是什么”**。RoPE 的按维度对分配频率、以及由此引出的维度级/头级/输入条件化的非均匀性，将在后文“结构异质性”相关进展中再系统展开。citeturn18view2turn11search25
+
+**（对应 2.1.3）预训练范式与大语言模型的表示能力**  
+预训练—微调（pretrain-then-adapt）范式已成为现代 NLP 与 LLM 的主流工程路径：通过海量无标注语料预训练获得通用语言表示与生成能力，再通过（全参或参数高效）微调在下游任务上实现能力对齐与迁移。早期生成式预训练工作已验证“先无监督预训练，再监督微调”能显著提升多类 NLU 任务表现。citeturn19search1 双向编码式预训练（如 BERT 的 MLM/NSP）则展示了预训练表示对广泛下游任务的可迁移性与强基线能力。citeturn19search0
+
+随着规模扩展，decoder-only 语言模型在零样本/小样本（in-context）设置下表现显著增强，显示出“通用任务适配”的涌现趋势，但并不意味着“无需任何适配”。citeturn8search0 具体到开源生态，LLaMA 等工作强调在更可控的数据与算力预算下训练高性能基础模型，为下游适配提供了广泛可复用的底座。citeturn18view1 在中文与多语场景，Qwen2 技术报告系统发布多尺寸基础与对齐模型，并明确提供量化、微调、部署等资源渠道，体现“强底座 + 低成本适配”的生态导向。citeturn18view0
+
+在对齐与指令遵循方面，RLHF/人类反馈微调等后训练（post-training）路线表明：即便不改变预训练目标，仍可通过后续适配显著改善“按用户意图生成”的能力与安全性。citeturn19search3  
+本节的关键落点是：预训练提供强通用表示，但这些能力能否在具体任务中被稳定、可控、预算友好地“调用出来”，仍高度依赖适配机制设计；因此“为何需要适配而不是重训”不仅是成本问题，更是能力组织与调用机制的问题。citeturn5search19turn19search3
+
+**（对应 2.1.4）模型内部的功能分化与结构异质性**  
+大量分析工作显示，Transformer 内部并非“均匀黑箱”，而是在**层、头、维度、子模块**等层面呈现可定位的功能分化。
+
+首先，在层级维度上，预训练模型在不同层往往呈现不同类型语言信息的可提取性：例如对 BERT 的 probing/edge probing 研究发现，POS、句法结构、语义角色、指代等信息在层间出现相对稳定的“阶段性分布”，呈现类似传统 NLP pipeline 的层级进展。citeturn8search2 其次，在注意力头层面，注意力头可呈现不同模式（关注分隔符、特定位置偏移、全局聚合等），且某些头能与句法/共指等语言关系高度对应。citeturn10search4 与此同时，也有研究指出大量注意力头在推理时可被移除而性能变化有限，暗示“并非所有头/层对任务同等关键”，从而体现结构重要性的不均匀。citeturn8search3
+
+再次，在模块分工上，FFN 作为 Transformer 中参数占比很高的组件，其功能并非仅是“非线性变换”：有工作将 FFN 解释为可检索的 key-value 记忆结构，能够对应训练语料中的可解释模式并影响输出分布，强调 FFN 在知识承载与模式触发中的角色。citeturn8search1 进一步的机制可解释性研究提出以“电路”（circuits）视角刻画 Transformer 内部可组合算法结构，并在小模型中识别出与 in-context 学习相关的 induction heads 等可解释机制，强化了“内部存在可分解子结构与角色分工”的观点。citeturn10search1turn10search6
+
+最后，在表示几何与维度层面，Transformer 表征常出现各向异性（anisotropy）与表示集中现象：例如对 BERT/ELMo/GPT-2 的几何分析指出各层表征并非近似各向同性分布，而倾向在向量空间中形成“窄锥/子空间集中”。citeturn9search0 面向句向量的研究也指出预训练模型诱导的表示空间可能呈现非平滑的各向异性，影响语义相似等任务。citeturn9search5 同时期及后续工作还观察到“outlier features/维度”等极端激活现象，会对量化与训练稳定性带来显著影响，并提示少量维度可能承担非均匀的缩放/偏置作用。citeturn10search7turn10search24turn10search3
+
+综上，本章立刻服务全文 scientific claim 的落点是：既然 Transformer 内部在模块、头、维度乃至少量 outlier 子结构上存在系统性异质性，那么下游适配未必应默认“均匀更新或均匀调制”是最合理的设计；相反，更自然的问题是——如何用可操作的结构描述符刻画这种异质性，并据此构建结构感知的表征适配机制。citeturn8search2turn8search1turn10search7
+
+## 参数高效微调方法
+
+参数高效微调（PEFT）旨在在冻结大部分预训练权重的前提下，仅训练少量新增或重参数化参数来完成任务适配，从而降低存储与训练成本、提升多任务/多场景的部署可行性。近期综述通常将 PEFT 归纳为提示学习、适配器/附加模块、重参数化（如低秩）、以及选择式/稀疏更新等主要路线。citeturn5search19turn5search1turn5search12
+
+**（对应 2.2.1）低秩适配方法**  
+LoRA 将权重更新 \(\Delta W\) 约束在低秩分解空间（如 \(\Delta W = BA\)），仅训练低秩矩阵而冻结原始权重，以极小的可训练参数量获得接近全参微调的效果，并且在推理时可融合回原权重以避免额外延迟。citeturn2search0 围绕 LoRA 的扩展主要集中在三个方向：  
+其一，**改进参数化与训练稳定性**，例如 DoRA 通过对权重进行分解并在此基础上进行低秩更新，以改善性能与优化特性。citeturn2search1  
+其二，**自适应分配低秩预算**，例如 AdaLoRA 通过动态调整不同层/矩阵的秩分配来提升参数利用效率，体现“预算分配”已成为 LoRA 路线的重要议题。citeturn2search2 相关工作也直接关注“将低秩预算在不同层之间进行更合理分配”，以减少统一秩配置带来的浪费。citeturn16search26  
+其三，**进一步降低训练显存并扩大可用规模**，例如 QLoRA 通过 4-bit 量化底座并在其上训练 LoRA，使大模型在更低显存条件下可被高质量微调。citeturn16search0
+
+与此同时，也出现了更“轻量”的重参数化方式，例如 VeRA 使用向量与随机矩阵构造更新，从而进一步压缩可训练参数。citeturn2search3  
+本节的关键落点是：低秩适配显著降低了微调成本，但其最常见用法仍是在“选定的一组层与投影矩阵上近似一致地插入/更新”，容易隐含“不同结构位置近似同等重要”的设定；后续要进一步提升多任务、位置结构与预算受限场景下的效果，往往需要更显式地利用结构异质性而不仅是低秩约束本身。citeturn2search0turn2search2turn16search26
+
+**（对应 2.2.2）附加式与提示类适配方法**  
+Adapter 路线在 Transformer 层间插入小型瓶颈模块，仅训练新增模块参数即可完成迁移，早期研究已展示其在多任务迁移中接近全参微调的效果与显著的参数节省。citeturn3search16 在 LLM 指令对齐中，也出现将“提示/适配模块”注入更高层并配合门控或零初始化注意力的设计，以在保持底座知识的同时注入任务指令信号。citeturn16search2
+
+提示学习（prompt/prefix/p-tuning）则将可训练参数更多放在“输入侧或层内提示向量”上：Prefix-tuning 通过学习连续“前缀向量”并让后续 token 可注意到这些虚拟 token，从而在冻结模型参数的前提下适配生成任务。citeturn3search33 Prompt Tuning 强调通过学习软提示在大模型规模下逼近全参微调效果。citeturn3search18 P-tuning v2 将深层提示（在多层注入软提示）作为关键设计，使提示类方法在更多 NLU 任务与规模下更接近微调效果。citeturn3search23
+
+此外，“激活调制”式的 PEFT 也值得强调，例如 (IA)\(^3\) 通过训练少量向量对注意力与 FFN 内部激活进行抑制/放大，从而实现极低参数规模的多任务适配。citeturn16search5 这类方法在形式上已更接近“对表示流进行乘性调制”的思想，为后续从结构角色出发的调制式框架提供了可对接的研究线索。citeturn16search5turn5search19  
+本节的关键落点是：无论是插入式 Adapter、提示类方法还是激活调制类方法，尽管在参数效率上各有优势，但多数仍围绕“统一插入位置/统一提示空间/统一门控形式”展开，对内部结构差异往往缺少显式刻画与可解释的角色绑定。citeturn3search16turn3search33turn16search5
+
+**（对应 2.2.3）选择式与稀疏微调方法**  
+选择式/稀疏微调关注“哪些参数值得更新”。BitFit 通过仅微调偏置项（bias terms）即可在部分数据规模条件下取得与全参微调竞争的效果，提示预训练模型中大量能力可被少量参数变化“暴露/激活”。citeturn4search4 Movement Pruning 则从“在微调过程中学习稀疏结构”出发，提出更适应迁移学习的剪枝准则。citeturn4search5
+
+在 LLM 微调语境下，LISA 通过观察到 LoRA 在不同层呈现权重范数等性质的偏斜（skewness），提出对层进行重要性采样并在训练中随机冻结大量中间层的策略，在接近 LoRA 的资源开销下取得更优或可比效果。citeturn4search2 另如 SHiRA 以“高度稀疏但高秩”的思想直接微调少量底座权重并强调快速切换与多适配器融合的工程收益，体现稀疏化与结构化更新在多适配器场景的价值。citeturn4search3  
+本节的关键落点是：选择式/稀疏方法已经触达“结构位置重要性不均匀”的核心问题，但多数工作仍以经验性指标或单任务目标驱动，尚缺少对结构角色、跨任务共享关系与统一预算约束下的系统刻画。citeturn4search2turn4search3
+
+**（对应 2.2.4）现有方法的均匀适配假设与局限**  
+从方法形态看，主流 PEFT 往往在“参数化位置选择”上呈现某种均匀性：  
+（1）低秩方法常在预先指定的若干投影矩阵（如 Q/K/V/O 或 FFN 投影）上、跨层重复插入相同形式的低秩更新；（2）Adapter/Prefix/Prompt 常在固定的层或输入侧位置注入附加参数；（3）选择式方法虽强调稀疏，但在“结构角色描述符—优化目标—预算分配”的三者耦合上仍不充分。citeturn2search0turn3search33turn4search2turn5search1 近期工作（如 AdaLoRA、ALoRA、LISA）之所以有效，某种程度上正是因为它们开始将“预算/重要性”在层或矩阵间做非均匀分配或非均匀冻结，间接印证了均匀假设的局限。citeturn2search2turn16search26turn4search2
+
+下表以“更新空间/插入位置/是否显式建模结构差异”为轴，对 PEFT 主流路线做面向后续章节的收束式归纳。
+
+| 方法谱系（示例） | 典型机制与更新对象 | 常见结构假设倾向 | 与后续章节的衔接点 |
+|---|---|---|---|
+| 低秩重参数化（LoRA/DoRA/AdaLoRA/ALoRA） | 以低秩或变体形式参数化 \(\Delta W\)，在指定投影矩阵上训练 | 易在层/模块间采用一致插入与共享超参；改进方向转向“预算分配” | 为“模块/维度/参数子空间”差异化更新提供基线与对照 |
+| 附加模块（Adapter/LLaMA-Adapter） | 在层间插入瓶颈模块或轻量注意力/门控 | 插入位置与模块大小常固定；结构角色绑定较弱 | 为模块级功能差异与动态路由提供接口灵感 |
+| 提示学习（Prefix/Prompt/P-tuning v2） | 学习输入侧或层内软提示向量 | 统一提示空间假设强；较少直接刻画内部结构异质性 | 与“表示流调制/位置结构调制”可对接，但需结构描述符 |
+| 激活调制（(IA)\(^3\) 等） | 以向量缩放方式调制注意力/FFN 关键激活 | 通常仍按层/位置统一注入缩放向量 | 与“乘性调制算子”天然相近，适合结构感知扩展 |
+| 选择式/稀疏（BitFit/LISA/SHiRA/剪枝） | 仅更新偏置/部分层/少量权重或学习稀疏结构 | 重要性准则多为经验或局部；跨任务共享与预算耦合不足 | 直接引出“容量分配”与“共享-特有”结构学习问题 |
+
+表中方法与综述依据来自 PEFT 综述与代表性原始论文。citeturn5search1turn5search19turn2search0turn4search2turn16search5
+
+本小节的关键落点是三点局限的自然引出：  
+其一，现有方法对 **模块功能差异** 的显式建模不足；其二，对 **RoPE 等位置结构导致的维度级异质性** 利用不足；其三，对 **多尺度参数结构与容量分配** 的统一刻画不足——这三点将分别在后续“多任务与模块级适配”“维度级位置结构适配”“参数空间多尺度/容量分配适配”中展开。citeturn4search2turn18view2turn5search1
+
+## 多任务学习与模块级功能适配
+
+多任务学习（MTL）旨在在共享表示的框架下同时优化多个任务，以提升样本效率与泛化，但面临“共享带来迁移、差异导致冲突”的经典张力。深度多任务学习综述通常将方法分为架构共享、优化方法、任务关系学习等类别，其中优化层面的梯度冲突是多任务训练不稳定与负迁移的重要原因。citeturn6search3turn6search7
+
+**（对应 2.3.1）多任务学习与梯度冲突问题**  
+当不同任务梯度方向不一致甚至相互抵消时，共享参数的统一更新会导致个别任务性能下降或收敛变慢。PCGrad 通过“梯度手术”（project conflicting gradients）在检测到梯度冲突时将梯度投影到对方梯度的法平面，以缓解负迁移。citeturn6search0 CAGrad 则从多目标优化视角引入“冲突规避”的更新策略，在保证收敛性的同时兼顾各任务改进。citeturn6search1 GradNorm 通过动态调节各任务损失权重以平衡梯度幅度与训练速度，属于“优化过程中的自适应任务平衡”。citeturn6search2  
+本节的关键落点是：多任务场景下“均匀适配”更易放大冲突，因为不同任务可能期望调用不同子能力与不同内部结构；因此需要能在结构层面实现更细粒度的共享与分化机制。citeturn6search0turn6search1
+
+**（对应 2.3.2）混合专家模型与动态路由机制**  
+MoE（Mixture-of-Experts）以条件计算（conditional computation）实现“参数规模大、单样本计算成本可控”的扩展路径：通过门控网络为每个样本选择少量专家子网络参与计算，从而实现输入依赖的知识调用。citeturn7search0 Switch Transformer 在简化路由并改进训练稳定性方面推动了大规模稀疏模型的实践化，凸显“动态路由 + 负载均衡”在大模型训练中的关键性。citeturn7search1 更近期的 DeepSeekMoE 进一步强调专家细粒度分段与共享专家/路由专家的协同，以促进专家专门化并减少冗余，体现“共享—专用”结构设计的重要性。citeturn7search2 相关综述也将路由机制、专家结构、训练策略与系统实现作为 MoE 的核心设计维度。citeturn7search3turn7search11  
+本节的关键落点是：动态路由为“输入依赖的能力选择”提供了强范式，但现有 MoE 更多从“专家网络”角度组织结构，而不是从 Transformer 内部模块功能角色出发定义“应路由/应调制的结构单元”。citeturn7search0turn7search2
+
+**（对应 2.3.3）多任务参数高效适配方法**  
+在 PEFT 语境下，多任务方法常将“多个适配器/多个 LoRA”作为可组合模块，通过路由或共享策略减轻任务冲突并复用共享知识。例如 LoRAMoE 将多个 LoRA 作为专家并通过路由网络组合，旨在同时提升下游能力并缓解遗忘。citeturn17search7 MTLoRA 引入任务无关（task-agnostic）与任务特定（task-specific）的低秩模块，以在共享与专用之间做结构化分解。citeturn17search1 MoRE 等工作进一步将多任务 PEFT 表述为“低秩专家混合”，通过自适应选择合适的低秩专家提高多任务适配效率。citeturn17search6 也有研究尝试建立单 LoRA 与多 LoRA MoE 之间的联系，将“多 LoRA 路由”等价为某种秩/块级激活结构，以统一理解多适配器的组合机制。citeturn17search0  
+本节的关键落点是：现有多任务 PEFT 已引入共享/专用与动态路由思想，但大多仍停留在“任务粒度或专家粒度”的结构设计；如何将这种路由/共享与 Transformer 内部“注意力—FFN—层级”的功能角色差异结合，仍是值得系统化推进的方向。citeturn17search7turn8search1turn8search2
+
+## 结构异质性感知与多层级适配方法
+
+本节以“结构异质性”为关键词，综述与后续章节直接相关的三条研究线：维度级位置结构与表示非均匀性、频谱/频域多尺度视角、以及参数容量分配与结构学习。在叙述上强调：这些方向的共同点在于都把“适配”从均匀参数更新问题，转译为“结构差异—结构选择—结构调制”的建模问题。citeturn5search19turn10search7turn18view2
+
+**（对应 2.4.1）位置编码结构与维度级表示异质性**  
+RoPE 将位置通过对 Q/K 的二维子空间旋转注入注意力，且不同维度对子空间对应不同角频率，从而在机制层面引入“多尺度相对位置建模”的可能性。citeturn18view2 这一结构在长上下文扩展研究中也得到强调：例如有工作指出 RoPE 的 base/频率设置会影响可获得的上下文长度能力，提示频率结构本身与长度泛化相关。citeturn11search22 与此不同，ALiBi 通过注意力偏置编码距离并展现长度外推特性，体现“位置—注意力耦合”可以采用不同归纳偏置。citeturn11search0
+
+在“异质性观察”层面，已有证据表明：表示几何往往各向异性，且这种各向异性可能贯穿多层并影响语义空间性质。citeturn9search0turn9search5 关于各向异性成因与是否“内禀于 Transformer”的讨论仍在推进：有工作从自注意力分布形态出发给出“各向异性可能系统性出现”的证据，也有工作主张其并非 Transformer 必然属性，提示该现象与具体实现/训练动力学有关。citeturn9search2turn9search6 除几何各向异性外，outlier features/维度等极端激活现象在 Transformer 训练与压缩中具有重要影响，并被系统化研究为激活/权重/注意力等不同类型的 outlier，并揭示其与注意力 softmax 等机制的关系。citeturn10search7turn10search3 这些工作共同指向：**维度并非等价**，少量维度/特征可能承担不成比例的缩放或偏置作用，从而使“位置结构与表示分布”的非均匀性成为可被利用的结构信号。citeturn10search24turn10search7
+
+进一步地，在头级与输入条件化层面，注意力头可呈现稳定的结构化模式与语言关系对应。citeturn10search4 机制可解释性研究还显示某些可解释头（如 induction heads）与 in-context 学习能力增长相关，提示“输入依赖的结构调用”可能是能力形成的重要机制。citeturn10search6  
+本节的关键落点是：现有研究已经表明位置结构在维度级、头级乃至输入条件下均可能呈现非均匀分布，但这些异质性特征仍未成为 PEFT 的“默认建模对象”；因此，为静态粗粒度（维度/频段选择）与动态细粒度（输入条件化调制）两类方法奠定了明确问题背景。citeturn18view2turn10search4turn4search2
+
+**（对应 2.4.2）多尺度频谱分析与频域适配方法**  
+频谱视角在深度学习中有长期脉络：谱偏置（spectral bias）与频率原则（F-Principle）指出神经网络在训练中往往更偏向先拟合低频/平滑成分，高频成分学习速度更慢，这为“从频域理解学习与泛化”提供了基础理论与经验依据。citeturn14search0turn14search1 将这一思想迁移到模型适配，可以形成两类互补的研究路径：  
+其一是**用频谱分析解释或诊断 LLM 的性能瓶颈**，例如从频域角度分析性能障碍并通过谱调制改善表现的工作。citeturn12search9turn14search7  
+其二是**直接在频域参数化或选择可训练更新**，把 \(\Delta W\) 的学习转化为对少量频域系数的学习或对频段/位置的选择。
+
+在第二条路径中，FourierFT 将权重更新矩阵视为“空间域信号”，仅学习少量频域系数并通过逆变换恢复 \(\Delta W\)，以进一步压缩可训练参数。citeturn13search1 由于 DFT 的复数与计算开销问题，也有工作转向 DCT：例如 sDCTFT（selective DCT fine-tuning）利用 DCT 的能量压缩特性，通过选择性系数更新实现参数高效微调。citeturn12search2turn12search6 LoCA 则进一步提出“位置感知”的余弦域（iDCT）适配：不仅学习系数，还学习**哪些频率位置/分量最有信息**，并给出频域近似与低秩近似表达力差异的理论比较。citeturn12search3turn12search7
+
+在多尺度结构方面，小波（wavelet）提供天然的多分辨率分解，对应“粗到细”的尺度组织。围绕这一点，WaveFT 在权重残差的小波域学习高度稀疏更新，强调在极低参数预算下仍可获得有效适配。citeturn13search0turn13search4 WaveletFT 则将离散小波变换引入 PEFT 的权重更新建模，形成与 FourierFT 相似但多尺度更明确的变换域路线。citeturn13search3turn13search10 除微调外，WaveletGPT 等工作也尝试在预训练阶段引入小波思想以利用数据的多尺度结构，说明频域/小波结构不仅可用于后训练，也可能影响底座表征的形成方式。citeturn12search5turn12search28
+
+本节的关键落点是：频域 PEFT 已初步证明“谱分解 + 稀疏系数学习/选择”能够提高参数效率，但多数方法仍采用相对单一的频域结构假设（固定频段、独立系数、缺少跨频段依赖建模），并且往往未显式刻画“粗到细”的级联更新组织；因此，多尺度异构更新与跨尺度依赖的联合建模成为自然的下一步问题。citeturn13search1turn12search3turn13search0
+
+**（对应 2.4.3）参数容量分配与结构学习**  
+“容量分配”问题可被视为结构学习（structure learning）在大模型适配中的一个具体化形态：在固定预算下，如何在参数空间中选择/分配可更新容量，以实现最优的任务适配与多任务共享。
+
+从更一般的结构学习脉络看，NAS 通过自动搜索结构以替代人工设计，代表了“结构可学习”的经典路线。citeturn15search0 模型压缩研究则长期关注剪枝、量化、编码等对结构与容量的重塑，例如 Deep Compression 以“剪枝—量化—编码” pipeline 证明了在保持精度的同时可以大幅减少有效参数与存储。citeturn15search1 Lottery Ticket Hypothesis 则提出“稀疏可训练子网络”可能在随机初始化的密集网络中天然存在，说明有效容量可能集中在某些子结构上。citeturn15search2 在 Transformer 迁移学习场景，movement pruning 等工作表明相较静态幅度剪枝，更“适配微调动力学”的稀疏学习准则能带来更好迁移表现。citeturn4search5
+
+回到 PEFT，本质上它也是一种“预算约束下的结构化容量分配”。AdaLoRA、ALoRA 等通过在层/矩阵间非均匀分配 low-rank 预算，直接将“容量分配”显式化。citeturn2search2turn16search26 LISA 通过层重要性采样与大量层冻结，在不增加 LoRA 额外模块的前提下实现“跨层容量重分布”，也可被视为一种 budget-aware 的结构学习策略。citeturn4search2
+
+在多任务共享方面，任务向量（task vectors）与任务算术（task arithmetic）提出在权重空间用“微调差分向量”表征任务能力，并通过向量加减实现能力组合与编辑，为“共享—特有”的参数分解提供了另一类视角。citeturn15search5 针对 PEFT 层，亦有工作将语言/任务算术与参数高效层结合，用以实现零样本能力组合与跨任务迁移。citeturn15search13 在分布式或多主体场景，也出现“统一任务向量 + 轻量调制器（mask/scale）”的框架以在共享底座上实现多任务/多客户端能力组织，体现容量共享与差异化调制的可行路径。citeturn15search37
+
+本节的关键落点是：尽管已有研究开始关注参数选择、预算分配与结构学习，但在多任务条件下，如何在统一预算约束下实现“共享—任务特有”容量的联合分配、并将其与结构角色（模块/维度/频段）描述符耦合起来，仍缺少系统化框架；这恰好为后续在参数空间提出“多尺度更新组织”与“共享-特有容量分配”的方法设计提供了综述支点。citeturn16search26turn4search2turn15search13
+
+## 本章小结
+
+本章从架构与表示机制出发，综述了 Transformer/decoder-only 的核心计算结构、RoPE 等位置建模机制与比较路线、预训练—后训练范式下 LLM 的能力形成与适配需求，并进一步汇总了“模型内部并非均匀黑箱”的关键证据：层级功能分化、注意力头差异、FFN 的记忆化角色、表示几何各向异性与 outlier 现象等。citeturn18view3turn18view2turn8search1turn10search7
+
+在方法谱系上，本章系统回顾了低秩重参数化、附加式/提示式方法、选择式/稀疏微调，并指出它们在实践中普遍或隐含地采用某种“均匀适配假设”，而近期更有效的改进方向正在转向非均匀预算分配、层/结构选择以及跨任务共享机制。citeturn2search2turn16search26turn4search2turn5search1
+
+最后，本章按后续章节映射梳理了三条直接铺垫路径：多任务学习与动态路由为“模块级功能适配”提供背景；RoPE 频率结构与表示异质性研究为“维度级位置结构适配”提供机制起点；频域/小波域 PEFT 与结构学习文献为“参数空间的多尺度更新与容量分配”提供方法基础。由此，下一章将从模块级结构异质性切入，进入面向多任务场景的结构感知适配方法设计。citeturn7search0turn18view2turn13search1turn15search2

deepresearch/gpt-deep-research-report (1).md

@@ -1,639 +0,0 @@
-# 第二章：时空表征学习基础与统一分析框架——写作脉络细化与参考文献池（2.1–2.4）
-
-## 执行摘要
-
-第二章的目标不是“方法堆叠”，而是用**可被学科评阅者理解与认可的知识谱系**，把你的博士论文主线自然收束到一个“统一分析框架”：城市/地理时空数据天然具有**多源异构、结构依赖、多尺度动态与多任务目标共存**等特性，导致在基础模型/大语言模型（LLM）时代，传统“均匀适配（uniform adaptation）”往往难以同时兼顾多任务协同、位置结构一致性、跨尺度模式与跨源泛化，因此需要以**结构角色信息**为条件，对模型内部不同层级对象施加**非均匀、结构感知的表示调制**。这一叙事可以以城市计算权威综述作为学科起点，并与近两年兴起的城市/地图/遥感等LLM评测与基准化趋势相衔接，从而为后续章节（模块级、维度级、频谱级、参数级）逐级实例化提供“理论导轨”。citeturn0search0turn0search4turn0search3turn7search3
-
-在具体写作上，建议第二章采用“三段式收束”：  
-第一段（2.1）给出**时空数据类型—任务谱系—传统统计建模根基—深度表征学习演进**；第二段（2.2）以Transformer为核心解释基础模型表征机制，并明确你的**统一符号体系**与“直觉先行、公式随后”的形式化策略；第三段（2.3–2.4）总结**适配方法库（PEFT/多任务/频谱/结构搜索）**与**评测基础设施（数据集、仿真、自动化benchmark）**的现状与缺口，形成“方法—数据—系统”闭环动机。citeturn1search1turn1search2turn1search3turn1search0turn6search3turn0search3
-
-## 统一分析框架与写作总体策略
-
-本章应在概念层面完成两件事：  
-一是把“时空结构异质性”拆解为**可分层、可映射、可导向方法设计**的分析框架；二是给出一个足够轻量、但能贯穿全文的形式化母式，使第三至第六章可以被读者自然理解为“对同一母式在不同结构层级上的实例化”。城市计算综述对“异构数据—知识融合—城市任务多样性”的系统总结，为你建立问题空间提供权威起点。citeturn0search0turn0search4
-
-建议在第二章中部（2.2末或2.3开头前）给出“结构角色感知调制”的母式（不做复杂证明，只给直觉解释）：  
-\[
-\tilde{\mathbf{Z}}=\mathcal{M}_{\theta}\left(\mathbf{Z};\mathbf{X},\mathcal{R}\right)
-\]  
-其中\(\mathbf{Z}\)是被调制对象（注意力输出表示、Q/K子空间、参数更新频谱、参数拓扑等），\(\mathbf{X}\)为输入上下文，\(\mathcal{R}\)为结构角色信息（模块/维度/频谱/参数结构），\(\mathcal{M}_{\theta}\)表示结构感知的非均匀变换算子。该形式化的“必要性直觉”应来自：时空任务的结构依赖与多尺度动态使模型内部贡献呈现非均匀性；而在Transformer体系中，位置编码与自注意力机制进一步强化了这种非均匀与各向异性，因此“均匀更新”并非合理默认。citeturn10search0turn10search1turn10search7turn10search3
-
-```mermaid
-flowchart LR
-  A[时空数据的结构异质性] --> B1[模块级：多任务功能/知识路由]
-  A --> B2[维度级：位置结构依赖与各向异性]
-  A --> B3[频谱级：多尺度动态与更新频率结构]
-  A --> B4[参数级：多源差异与容量分配/共享-特有结构]
-
-  C[结构角色信息 R]:::k
-  B1 --> C
-  B2 --> C
-  B3 --> C
-  B4 --> C
-
-  D[被调制对象 Z] --> E[结构感知调制算子 M_θ(Z; X, R)]
-  C --> E
-  F[输入上下文 X] --> E
-
-  E --> G[统一适配机制：非均匀/结构条件化变换]
-  G --> H[第三章：模块级实例化（HyCAM）]
-  G --> I[第四章：维度级实例化（RoSA/DyPAM）]
-  G --> J[第五章：频谱+参数实例化（CASCADE/MESSA）]
-  G --> K[第六章：基准与系统闭环（AgentCity/POI-QA）]
-
-  classDef k fill:#eef,stroke:#99f,stroke-width:1px;
-```
-
-**写作建议句式/段落要点（可直接入正文）**  
-- “城市时空任务的关键难点并不在于‘数据量大’，而在于其结构性：空间依赖、时间动态、尺度效应与多源异构共同作用，使得模型需要在多层级结构上实现自适应对齐与容量分配。”citeturn0search4turn0search1  
-- “因此，本论文将大模型适配理解为‘结构角色条件化的表示调制问题’，并在模块、维度、频谱与参数结构四个层级给出统一实例化路径。”（本句为论文观点，可不引文）
-
-**盲审风险点与修改建议**  
-- 风险：母式公式“突然出现”、显得为了统一而统一。  
-  建议：严格遵循“直觉先行→概念抽象→轻量公式”的顺序，并在引出公式前用1–2段把“均匀适配不足”的证据链讲清楚（可引用Transformer位置编码与各向异性分析工作作为背景）。citeturn10search7turn10search0turn10search1  
-- 风险：第二章写成LLM科普。  
-  建议：每一小节都要回扣“时空结构需求驱动”，不要以“为了改进LLM”为叙事主轴。citeturn0search4  
-
-## 2.1 时空数据建模与表征学习研究（2.1.1–2.1.4）
-
-**2.1.1 时空数据建模问题类型与应用场景**  
-
-核心问题  
-如何建立“任务谱系”，并把任务谱系与“结构异质性”（多任务/位置依赖/多尺度/多源差异）对应起来？
-
-写作要点  
-建议用城市计算权威综述作为总论：数据类型（轨迹、传感器、地理要素、社交与事件等）、关键方法论（异构数据融合、知识融合）、典型应用（交通、环境、能源、公共安全、城市规划等）。该综述可作为第二章开篇“学科根基”的主引文。citeturn0search0turn0search4  
-并在段末加入“LLM时代的新任务形态”：地图推理、POI/轨迹问答、GIS工作流、城市智能体仿真评测等，为2.4铺垫。citeturn6search1turn6search3turn0search3turn7search3
-
-建议引用点  
-- 城市计算的任务与数据总体框架。citeturn0search4  
-- “地图推理/工具调用/城市基准化评测”作为新趋势（MapEval、CityBench、OpenCity）。citeturn6search1turn0search3turn7search3  
-
-代表性工作（本节建议优先精读，完整信息）  
-1) entity["people","Yu Zheng","urban computing"] 等（2014）. *Urban Computing: Concepts, Methodologies, and Applications*. ACM TIST. DOI:10.1145/2629592（ACM DOI页/微软PDF均可作为官方入口）。citeturn0search0turn0search4  
-2) entity["people","Jie Feng","urban benchmark"] 等（2024）. *CityBench: Evaluating the Capabilities of Large Language Models for Urban Tasks*. arXiv:2406.13945（含开源仓库信息）。citeturn0search3turn0search19  
-3) entity["people","Mahir Labib Dihan","geospatial benchmark"] 等（2024）. *MapEval: A Map-Based Evaluation of Geo-Spatial Reasoning in Foundation Models*. arXiv:2501.00316。citeturn6search1turn6search5  
-4) entity["people","Noel Cressie","spatiotemporal statistics"] , entity["people","Christopher K. Wikle","spatiotemporal statistics"]（2011）. *Statistics for Spatio-Temporal Data*. Wiley. ISBN:9780471692744。citeturn0search1  
-
-扩展文献列表（本节补充，题目/作者/年/来源即可）  
-- Goodchild, M. F.（2007）. Citizens as sensors: the world of volunteered geography. *GeoJournal*. DOI：未检索到。  
-- Miller, H. J.（2005）. A measurement theory for time geography. *Geographical Analysis*. DOI：未检索到。  
-- Shekhar, S. 等（2015/2011）. *Spatial and Spatiotemporal Data Mining*（教材/综述章节）. DOI/ISBN：未检索到。  
-- 王劲峰 等（空间统计/空间分析方向综述与教材条目，中文）. DOI：未检索到（建议后续以期刊官网/出版社条目补齐）。  
-- 2024《中国空间数据智能战略发展白皮书》（中文报告）. 链接/DOI：未检索到（建议在参考文献中保留发布机构与获取日期）。
-
-写作建议句式/段落要点  
-- “城市计算从一开始就是‘多源异构数据驱动的复杂系统建模’，其难点在于将离散观测转化为可用于理解与决策的结构化知识。”citeturn0search4  
-- “从预测到推理再到交互式决策的任务形态演进，使得评测对象从静态指标扩展为任务可完成性与结构一致性。”citeturn0search3turn6search1  
-
-盲审风险点与修改建议  
-- 风险：只列应用场景，缺少“结构化归因”。  
-  建议：在2.1.1末尾用一段显式映射：多任务→功能异质性；位置/几何→结构依赖；周期+突发→多尺度动态；跨源→分布差异，为2.1.4做铺垫。citeturn0search4  
-
-**2.1.2 传统时空建模方法**  
-
-核心问题  
-如何用统计学与地理空间数据科学的经典脉络，奠定“结构异质性”讨论的学理基础？
-
-写作要点  
-建议以“空间自相关/空间异质性”“时空随机过程与层次模型”“空间点过程/地统计”三条主线组织，强调传统方法的优势：可解释性、可不确定性表达、对空间依赖的显式建模。Cressie & Wikle教材是“时空统计+层次动态模型”权威入口。citeturn0search1  
-同时，用地理学第一定律、局部空间自相关（LISA）与Getis-Ord统计量作为“空间依赖与热点”经典引用点。citeturn9search1turn9search0turn9search3  
-
-建议引用点  
-- Tobler位置依赖的经典表述（第一定律常以该文作为引用入口）。citeturn9search1turn9search9  
-- LISA与Getis-Ord热点统计。citeturn9search0turn9search3  
-- 时空统计教材对DSTM/层次模型的系统阐释。citeturn0search1  
-
-代表性工作（完整信息）  
-1) Cressie, N. & Wikle, C. K.（2011）. *Statistics for Spatio-Temporal Data*. Wiley. ISBN:9780471692744。citeturn0search1  
-2) entity["people","Waldo R. Tobler","geography"]（1970）. *A Computer Movie Simulating Urban Growth in the Detroit Region*. *Economic Geography*. DOI:10.2307/143141。citeturn9search1turn9search21  
-3) entity["people","Luc Anselin","spatial econometrics"]（1995）. *Local Indicators of Spatial Association—LISA*. *Geographical Analysis*. DOI:10.1111/j.1538-4632.1995.tb00338.x。citeturn9search0turn9search8  
-
-扩展文献列表  
-- Moran, P. A. P.（1950）. Notes on Continuous Stochastic Phenomena（Moran’s I源头）. DOI：未检索到。  
-- Getis, A. & Ord, J. K.（1992）. The Analysis of Spatial Association by Use of Distance Statistics. *Geographical Analysis*. DOI:10.1111/j.1538-4632.1992.tb00261.x。citeturn9search3turn9search7  
-- Cressie, N.（1993）. *Statistics for Spatial Data*（Revised Ed.）. Wiley. ISBN:9780471843368（ISBN来源可从出版社页补齐，DOI：未检索到）。citeturn9search22turn9search6  
-- Kalman, R. E.（1960）. A New Approach to Linear Filtering and Prediction Problems. *ASME Journal of Basic Engineering*. DOI：未检索到。  
-- Diggle, P. J. 等（若干版）. *Model-based Geostatistics* 与空间点过程教材/综述（地统计与点过程经典入口）。DOI：未检索到。  
-
-写作建议句式/段落要点  
-- “传统时空统计通过显式刻画空间相关与时间动态，为复杂时空过程提供了可解释的建模语言；其思想可被视为后续深度表征学习‘结构归纳偏置’的理论先导。”citeturn0search1turn9search0  
-
-盲审风险点与修改建议  
-- 风险：把传统方法写成“落后/不可用”。  
-  建议：强调其优势（推断、不确定性、解释性），再指出在多源异构与大规模场景下的计算与表达瓶颈，形成“需求驱动”的自然过渡。citeturn0search1  
-
-**2.1.3 深度学习驱动的时空表征学习方法**  
-
-核心问题  
-深度时空建模如何从“模型堆叠”升级为“结构归纳偏置”的系统演进？如何形成交通预测等领域的经典基准脉络？
-
-写作要点  
-建议按三条结构载体写：  
-- 栅格/场：时空卷积与ConvLSTM等序列-空间耦合；  
-- 图结构：STGNN成为交通预测主流范式，形成DCRNN、Graph WaveNet等经典基线；  
-- 长序列：时序Transformer（Informer/Autoformer等）解决长预测步长与效率问题。citeturn3search3turn3search2turn1search2turn1search3  
-交通预测GNN综述（Jiang）可作为本节“堆量与脉络化”的核心总引文之一（同时给出数据集清单与方法谱系）。citeturn0search10turn0search2  
-
-建议引用点  
-- DCRNN对“路网扩散过程+时序依赖”的经典建模思路。citeturn3search3turn3search15  
-- Graph WaveNet对“自适应邻接+长序列卷积”的经典范式。citeturn3search2turn3search6  
-- Informer/Autoformer对长序列预测的关键痛点总结。citeturn1search2turn1search3  
-
-代表性工作（完整信息）  
-1) entity["people","Xingjian Shi","convlstm"] 等（2015）. *Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting*. arXiv:1506.04214（链接：未检索到；建议后续补arXiv页）。  
-2) entity["people","Yaguang Li","traffic forecasting"] 等（2017）. *Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting*. arXiv:1707.01926。citeturn3search3turn3search15  
-3) entity["people","Zonghan Wu","stgnn"] 等（2019）. *Graph WaveNet for Deep Spatial-Temporal Graph Modeling*. arXiv:1906.00121。citeturn3search2turn3search6  
-4) entity["people","Wenjie Jiang","stgnn survey"]（2022）. *Graph neural network for traffic forecasting: A survey*. *Expert Systems with Applications*. DOI:10.1016/j.eswa.2022.117921。citeturn0search10turn0search6  
-5) entity["people","Haoyi Zhou","time series forecasting"] 等（2020/2021）. *Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting*. arXiv:2012.07436（AAAI版本PDF亦可引用）。citeturn1search2turn1search6  
-
-扩展文献列表  
-- Yu, B. 等（2018）. STGCN: Spatio-Temporal Graph Convolutional Networks. IJCAI. DOI：未检索到。  
-- Li, Z. 等（2018）. Diffusion Convolutional Recurrent Neural Network（会议版OpenReview PDF）。citeturn3search15  
-- Zhang, J. 等（2017）. ST-ResNet（城市人群流量预测）. AAAI. DOI：未检索到。  
-- Wu, H. 等（2021）. Autoformer. arXiv:2106.13008。citeturn1search3turn1search15  
-- Zheng, C. 等（2024/2025）. 生成式时空数据挖掘综述（Generative Techniques Survey）. arXiv:2405.09592。citeturn0search?（本次未固定到该条目页；可在后续补检索）  
-
-写作建议句式/段落要点  
-- “深度时空表征学习的演进可被理解为对结构载体的逐步显式化：从局部时空卷积到图结构传播，再到长上下文建模，方法差异背后共同指向对时空依赖、尺度与异质性的不同归纳偏置实现。”citeturn3search3turn3search2turn1search2  
-
-盲审风险点与修改建议  
-- 风险：把STGNN与时序Transformer写成两条孤立脉络。  
-  建议：用“结构载体不同、结构目标一致”的总结句收束（都在解决空间依赖×时间动态×尺度变化）。citeturn1search2turn3search2  
-
-**2.1.4 时空建模中的结构复杂性问题**  
-
-核心问题  
-如何把“复杂性”写成可操作的四类异质性，并导向你的模块/维度/频谱/参数四级框架？
-
-写作要点  
-建议用“四类异质性→建模后果→适配需求”三句式：  
-- 多任务功能异质性→负迁移/容量竞争→路由与专门化；  
-- 位置结构依赖→几何/拓扑一致性→各向异性位置/维度调制；  
-- 多尺度动态→趋势/周期/突发共存→频谱分解与多尺度更新；  
-- 多源差异→跨域泛化困难→容量分配与共享-特有结构发现。  
-中文综述可用于“国内学科脉络”支撑：测绘学报的多模态时空大数据可视分析综述与地球信息科学学报的自然资源时空大数据挖掘进展，分别从可视分析与资源领域给出结构复杂性证据。citeturn5search4turn5search0  
-
-建议引用点  
-- 多模态、多粒度与复杂关联的系统性描述。citeturn5search4  
-- 自然资源时空大数据的要素分布、过程演化与关联知识挖掘难点。citeturn5search0  
-- 作为“现实约束”补充：时空数据挖掘中的联邦学习综述（隐私与分布式带来的跨源差异强化）。citeturn0search?（本次未固定到联邦学习综述条目页；可后续补检索）  
-
-代表性工作（完整信息）  
-1) （中文）entity["people","Zhu Qing","cartography"] 等（2017）. *多模态时空大数据可视分析方法综述*. 《测绘学报》. DOI：未检索到（可在期刊官网补齐）。citeturn5search4  
-2) （中文）自然资源时空大数据挖掘与知识服务研究进展（2025）. 《地球信息科学学报》. DOI:10.12082/dqxxkx.2025.240625。citeturn5search0  
-
-扩展文献列表  
-- （中文）entity["people","Deng Min","geospatial big data"] 等（2020）. 多模态地理大数据时空分析方法. 《地球信息科学学报》. DOI:10.12082/dqxxkx.2020.190491。citeturn5search11  
-- Zhang, Q. 等（2024）. A Survey of Generative Techniques for Spatial-Temporal Data Mining. arXiv:2405.09592（建议补检索）。  
-- （中文）地球信息科学学报专题“地理大数据与空间智能”（多篇可扩展引用入口）。citeturn5search6turn5search13  
-- （中文）遥感数据智能：进展与思考（2025）. 《地球信息科学学报》（可从过刊目录补齐条目与DOI）。citeturn5search13  
-
-写作建议句式/段落要点  
-- “结构复杂性意味着模型内部并非各部分对任务同等重要：不同模块、不同维度与不同频率分量承载的功能贡献存在系统性差异，因此适配机制需要结构条件化与非均匀化。”citeturn10search7turn5search4  
-
-盲审风险点与修改建议  
-- 风险：异质性分类“像口号”。  
-  建议：每一类至少给出一个“可观察后果”（例如负迁移、长程依赖失败、跨域性能塌陷），并指向后续章节的方法解决策略。citeturn0search10turn6search0turn6search1  
-
-## 2.2 基础模型与大语言模型表征机制研究（2.2.1–2.2.4）
-
-**2.2.1 Transformer 表示学习机制（含符号规范）**  
-
-核心问题  
-如何用最少数学解释Transformer，并为后续“结构角色感知调制”留下接口？
-
-写作要点  
-建议以Transformer原始论文为唯一“机制级主引文”，避免二手科普引用。citeturn1search1turn1search5  
-随后突出与时空任务强相关的三点：  
-- 注意力与前馈的“功能分工”与可路由性（为模块级角色铺垫）；  
-- 位置编码决定长序列外推与相对位置建模能力（为位置结构依赖铺垫）；  
-- 表示各向异性可能内生于自注意力机制（为维度级角色铺垫）。citeturn10search0turn10search1turn10search3  
-
-建议引用点  
-- Transformer原始论文。citeturn1search1  
-- RoPE与ALiBi作为两类位置机制代表。citeturn10search0turn10search1  
-- 各向异性分析作为“均匀更新不足”的机制侧证据。citeturn10search3turn10search11  
-
-代表性工作（完整信息）  
-1) entity["people","Ashish Vaswani","transformer"] 等（2017）. *Attention Is All You Need*. NeurIPS. arXiv:1706.03762。citeturn1search1turn1search9  
-2) entity["people","Jianlin Su","rope"] 等（2021）. *RoFormer: Enhanced Transformer with Rotary Position Embedding*. arXiv:2104.09864。citeturn10search0turn10search4  
-3) entity["people","Ofir Press","alibi"] 等（2021）. *Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation (ALiBi)*. arXiv:2108.12409。citeturn10search1turn10search5  
-4) entity["people","Nathan Godey","representation anisotropy"] 等（2024）. *Anisotropy Is Inherent to Self-Attention in Transformers*. EACL 2024. arXiv:2401.12143。citeturn10search3turn10search7  
-
-扩展文献列表  
-- Bahdanau, D. 等（2015）. Neural Machine Translation by Jointly Learning to Align and Translate（注意力源头之一）. arXiv:1409.0473。  
-- Kaplan, J. 等（2020）. Scaling Laws for Neural Language Models. arXiv:2001.08361。  
-- RoPE/ALiBi之外的长上下文位置机制综述与实证（2023–2025多篇，按需补）。  
-- Transformer解释性与注意力头分析（选2–3篇即可，避免泛滥）。
-
-**符号与概念（建议直接写入2.2.1末尾，并在论文前置“符号表”固化）**  
-- 输入时空样本：\(\mathbf{X}=(x_1,\ldots,x_T)\)  
-- 第\(\ell\)层隐藏表示：\(\mathbf{H}^{(\ell)}\in\mathbb{R}^{T\times d}\)  
-- 注意力：\(\mathbf{Q}^{(\ell)},\mathbf{K}^{(\ell)},\mathbf{V}^{(\ell)}\)，多头：\(\mathbf{Q}^{(\ell,h)}\)  
-- 索引统一：层\(\ell\)、头\(h\)、维度\(i\)、token\(t\)、任务\(\tau\)  
-- 全文禁用混乱符号复用（例如用\(k\)表示层、用\(i\)表示token等），避免“论文合集感”。
-
-写作建议句式/段落要点  
-- “Transformer的可迁移性源于其以注意力为核心的通用表征骨干，但时空任务所需的相对位置、长程依赖与结构一致性，使得位置机制与结构化适配策略成为关键。”citeturn1search1turn10search0turn10search1  
-
-盲审风险点与修改建议  
-- 风险：2.2.1写成“Transformer教科书”。  
-  建议：所有机制描述都要落回时空需求（位置/尺度/多任务），并为后续章节埋接口（模块/维度/频谱/参数）。citeturn0search4  
-
-**2.2.2 预训练基础模型与表示迁移学习**  
-
-核心问题  
-预训练迁移为何有效？在时空任务上为何又经常“迁移不足”？
-
-写作要点  
-用BERT作为预训练迁移的经典锚点即可，再转向时间序列基础模型的系统综述，说明“Foundation model”思想已从文本扩展到时序域，但结构输入差异与评测目标差异会带来迁移挑战。citeturn10search2turn1search2turn6search3  
-
-建议引用点  
-- BERT：预训练—微调范式的经典权威入口。citeturn10search2turn10search6  
-- 时间序列基础模型/综述：说明“时序域也在发生foundation化”。citeturn6search?（本次未固定到TS综述条目页；可后续补检索）  
-
-代表性工作（完整信息）  
-1) entity["people","Jacob Devlin","bert"] 等（2018）. *BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding*. arXiv:1810.04805。citeturn10search2turn10search6  
-2) entity["people","Abdul Fatir Ansari","chronos"] 等（2024）. *Chronos: Learning the Language of Time Series*. arXiv:2403.07815（本次未固定到条目页；建议后续补检索）。  
-
-扩展文献列表  
-- （时间序列基础模型综述）Foundation Models for Time Series Analysis. arXiv:2403.14735（建议补检索）。  
-- Ye, J. 等（2024）. Survey of Time Series Foundation Models. arXiv:2405.02358（建议补检索）。  
-- TimesFM（Google Research开源仓库：google-research/timesfm；官方页可作为工程入口）。  
-- Moirai/lag-llama等开源时序基础模型（按综述批量列举）。
-
-写作建议句式/段落要点  
-- “预训练迁移的核心假设是跨任务可共享的中间表征；时空任务的结构性输入与多尺度动态使‘共享表征’需要结构化对齐，而非仅依赖均匀微调。”（观点句，可不引文）
-
-盲审风险点与修改建议  
-- 风险：把“时间序列基础模型”与“LLM”混用概念。  
-  建议：统一称“基础模型（foundation models）”，必要时区分“语言基础模型”“时序基础模型”“多模态基础模型”。
-
-**2.2.3 大语言模型在复杂任务建模中的潜力**  
-
-核心问题  
-如何把“潜力”写成可评测的能力维度，而不是愿景？
-
-写作要点  
-建议拆成三类可评测能力：  
-(1) 地理知识可提取性；(2) 推理一致性（几何/拓扑/时空约束）；(3) 工具/工作流可执行性。GeoFM观点文章可用来把“Geo foundation models”放回GIScience语境；GeoAnalystBench可作为“工作流与代码生成”评测载体。citeturn6search16turn6search3  
-
-建议引用点  
-- GeoFM观点：基础模型将如何重塑空间分析（期刊观点文易被盲审接受）。citeturn6search16  
-- GeoAnalystBench：把GIS工作流“最小可交付产物”与代码质量纳入评测。citeturn6search3turn6search11  
-
-代表性工作（完整信息）  
-1) entity["people","Krzysztof Janowicz","geofm"]（2025）. *GeoFM: how will geo-foundation models reshape spatial analysis?* *International Journal of Geographical Information Science*. DOI:10.1080/13658816.2025.2543038。citeturn6search16  
-
-扩展文献列表  
-- Manvi, R. 等（2023/2024）. GeoLLM: Extracting Geospatial Knowledge from LLMs. arXiv:2310.06213（建议补检索）。  
-- GIS/GeoAI工具调用与智能体评测（2024–2026持续增长，建议优先选择“可复现benchmark论文”而非应用demo）。  
-
-写作建议句式/段落要点  
-- “LLM在时空任务中的价值应被分解为可评测的能力维度：知识、推理与可执行工作流；其中‘可执行性’是从生成式输出走向工程可用的关键门槛。”citeturn6search3  
-
-盲审风险点与修改建议  
-- 风险：用过多“热门模型名”替代学术论证。  
-  建议：用benchmark论文承载结论，模型只在实验对比中出现。
-
-**2.2.4 大模型在时空智能领域的初步探索**  
-
-核心问题  
-2024–2026年哪些工作可视为“时空/GeoAI×LLM”的标志性进展（特别是评测与基准）？
-
-写作要点  
-建议按任务形态分类综述：  
-- 城市任务基准：CityBench；城市智能体仿真平台：OpenCity。citeturn0search3turn7search3  
-- 地图推理benchmark：MapEval（文本/API/视觉三形态），MapVerse（2026，真实地图大规模人类标注）。citeturn6search1turn6search2  
-- 遥感与地球观测VLM基准：GEOBench‑VLM。citeturn7search0turn7search4  
-- GIS工作流评测：GeoAnalystBench。citeturn6search3  
-
-建议引用点  
-- “评测范式从静态数据集走向交互式模拟/工具链”。citeturn0search3turn7search3turn6search3  
-
-代表性工作（完整信息）  
-1) Feng, J. 等（2024）. *CityBench*. arXiv:2406.13945。citeturn0search3turn0search19  
-2) entity["people","Yuwei Yan","urban simulation"] 等（2024）. *OpenCity: A Scalable Platform to Simulate Urban Activities with Massive LLM Agents*. arXiv:2410.21286。citeturn7search3turn7search7  
-3) Dihan, M. L. 等（2024）. *MapEval*. arXiv:2501.00316。citeturn6search1turn6search5  
-
-扩展文献列表  
-- Han, X. 等（2025）. POI‑QA. arXiv:2505.10928。citeturn6search0turn6search12  
-- Danish, M. S. 等（2024/2025）. GEOBench‑VLM. arXiv:2411.19325；ICCV 2025论文PDF。citeturn7search0turn7search4  
-- Bhat, S. 等（2026）. MapVerse. arXiv:2602.10518。citeturn6search2turn6search6  
-- Truong, T. H. 等（2026）. GPSBench. arXiv:2602.16105。citeturn7search2turn7search10  
-- Xu, Z. 等（2026）. EarthSpatialBench. arXiv:2602.15918。citeturn7search1turn7search9  
-- Zhang, Q. 等（2025）. GeoAnalystBench. arXiv:2509.05881。citeturn6search3turn6search11  
-
-写作建议句式/段落要点  
-- “2024年以来，一批面向城市/地图/遥感/工作流的评测基准出现，标志着GeoAI进入‘以benchmark驱动方法迭代’的新阶段，并为结构化适配研究提供了可复现试验场。”citeturn0search3turn6search1turn7search0turn6search3  
-
-盲审风险点与修改建议  
-- 风险：只列新基准，但不指出“它们测不到什么”。  
-  建议：每列一个基准，都补一句其局限性与对你论文方法的启发（如MapEval偏MCQ、OpenCity强调系统缩放等）。citeturn6search1turn7search3  
-
-## 2.3 参数高效适配与结构建模方法研究（2.3.1–2.3.5）
-
-**2.3.1 参数高效微调方法（PEFT）**  
-
-核心问题  
-如何把PEFT写成“适配范式入口”，并明确其在结构异质性时空任务上的不足？
-
-写作要点  
-以PEFT总综述作为taxonomy入口，强调“冻结主干+训练小增量”的共同思想，并指出多数PEFT默认均匀作用于层/维度，结构利用不足。citeturn1search0turn2search0  
-再给出三个强基线：Adapters、LoRA、QLoRA，并补“软提示/Prompt tuning”。citeturn2search2turn2search0turn2search1turn2search3  
-
-建议引用点  
-- PEFT指南综述（覆盖50+论文，适合第二章堆量）。citeturn1search0turn1search12  
-- LoRA与QLoRA作为最常用基线（时空任务对比更容易统一）。citeturn2search0turn2search1  
-
-代表性工作（完整信息）  
-1) entity["people","Vladislav Lialin","peft survey"] 等（2023/2024）. *Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning*. arXiv:2303.15647（v2更新至2024-11）。citeturn1search0turn1search12  
-2) entity["people","Neil Houlsby","adapters"] 等（2019）. *Parameter-Efficient Transfer Learning for NLP (Adapters)*. arXiv:1902.00751；PMLR论文PDF可作为官方入口。citeturn2search2turn2search6  
-3) Hu, E. J. 等（2021）. *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685（官方实现：entity["company","Microsoft","software company"] / GitHub microsoft/LoRA）。citeturn2search0turn2search4  
-4) Dettmers, T. 等（2023）. *QLoRA: Efficient Finetuning of Quantized LLMs*. arXiv:2305.14314。citeturn2search1turn2search5  
-
-扩展文献列表  
-- Lester, B. 等（2021）. Prompt Tuning. arXiv:2104.08691；ACL Anthology页可作入口。citeturn2search3turn2search7  
-- Li, X. & Liang, P.（2021）. Prefix-Tuning（arXiv:2101.00190，建议补检索）。  
-- IA³（2022）. Infused Adapter by Inhibiting and Amplifying Inner Activations（arXiv:2205.05638，建议补检索）。  
-- BitFit（2021）. Fine-Tuning by Bias-Only updates（arXiv:2106.10199，建议补检索）。  
-- PEFT工程实践与库：HuggingFace PEFT（官方页与仓库，URL不在正文给出；可在参考文献中以“官方项目页”列出）。
-
-写作建议句式/段落要点  
-- “PEFT将‘适配’从全参数优化转为小增量学习，为多任务与多场景部署提供现实可行性；但其典型形式仍隐含‘结构均匀性’假设，这与城市时空任务的结构角色异质性存在张力。”citeturn1search0turn2search0  
-
-盲审风险点与修改建议  
-- 风险：PEFT内容过长抢走论文主线。  
-  建议：PEFT只承担“基线与范式入口”角色，写完立刻回扣你的“结构感知非均匀调制”。citeturn1search0  
-
-**2.3.2 多任务学习与知识路由机制**  
-
-核心问题  
-多任务学习为何困难？路由/专家化为何是结构异质性下的自然选择？
-
-写作要点  
-建议从Caruana经典多任务学习引出“共享表征”的归纳偏置，再说明多任务优化存在梯度冲突（PCGrad），最后引出MoE/Switch作为模块级路由与容量扩展路线。citeturn11search2turn11search3turn11search0turn11search1  
-
-建议引用点  
-- 多任务学习经典理论框架（Caruana）。citeturn11search2turn11search6  
-- 梯度冲突与缓解（PCGrad）。citeturn11search3turn11search7  
-- MoE与Switch Transformer作为“动态路由”代表。citeturn11search0turn11search1  
-
-代表性工作（完整信息）  
-1) entity["people","Rich Caruana","multitask learning"]（1997）. *Multitask Learning*. *Machine Learning*. DOI:10.1023/A:1007379606734。citeturn11search2turn11search6  
-2) entity["people","Noam Shazeer","mixture of experts"] 等（2017）. *Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer*. arXiv:1701.06538。citeturn11search0turn11search4  
-
-扩展文献列表  
-- Fedus, W. 等（2021/2022）. Switch Transformers. arXiv:2101.03961；JMLR论文PDF也可引用。citeturn11search1turn11search5  
-- Yu, T. 等（2020）. PCGrad. arXiv:2001.06782；NeurIPS论文PDF也可引用。citeturn11search3turn11search7  
-- PLE（2020）. Progressive Layered Extraction for Multi-Task Learning（工业界多任务结构代表，DOI：未检索到）。  
-- GradNorm / MGDA 等多任务优化方法（按需列举即可）。  
-
-写作建议句式/段落要点  
-- “多任务学习的难点不在于‘任务多’，而在于任务梯度在共享参数上产生结构性干扰；因此‘共享-特有结构’与‘动态路由’可被视为对多任务结构异质性的直接建模回应。”citeturn11search3turn11search0  
-
-盲审风险点与修改建议  
-- 风险：多任务内容写成NLP多任务史。  
-  建议：每段结尾回扣城市多目标现实（交通—环境—能源等），并引用城市计算综述作为背景。citeturn0search4  
-
-**2.3.3 表示各向异性与结构感知学习**  
-
-核心问题  
-如何用“表征性质”而非“经验技巧”论证维度级非均匀适配的必要性？
-
-写作要点  
-建议将2.2.1的机制侧证据（各向异性内生于自注意力）作为本节主支撑，然后补一个“时空/地理推理基准”作为行为侧证据：例如GPSBench指出LLM在坐标几何计算与世界知识结合上存在显著差异。citeturn10search7turn7search2  
-
-建议引用点  
-- 各向异性分析。citeturn10search3turn10search11  
-- GPSBench对坐标推理能力拆分（几何计算 vs 世界知识）。citeturn7search2turn7search6  
-
-代表性工作（完整信息）  
-1) Truong, T. H. 等（2026）. *GPSBench: Do Large Language Models Understand GPS Coordinates?* arXiv:2602.16105。citeturn7search2turn7search10  
-
-扩展文献列表  
-- Xu, Z. 等（2026）. EarthSpatialBench. arXiv:2602.15918。citeturn7search1turn7search9  
-- MapEval（地图推理对结构一致性的压力测试）。citeturn6search1turn6search5  
-- 表征退化/各向异性相关的NLP与多模态分析论文（选2–3篇即可）。  
-
-写作建议句式/段落要点  
-- “当任务需要以坐标、距离、方向与拓扑关系为核心的结构推理时，模型表征的各向异性与功能分化会直接影响可迁移性；这为维度级结构感知适配提供了机制与评测双重动机。”citeturn10search7turn7search2  
-
-盲审风险点与修改建议  
-- 风险：只谈各向异性，不谈其对时空任务的具体后果。  
-  建议：用GPSBench/MapEval类基准点出失败模式（几何计算弱、图像地图理解难等），再引出你的维度级方法。citeturn7search2turn6search1  
-
-**2.3.4 多尺度学习与频谱/小波建模方法**  
-
-核心问题  
-如何把“多尺度动态”提升为可复用的方法语言：分解、频域稀疏性、小波/傅里叶结构？
-
-写作要点  
-以Informer与Autoformer作为时序Transformer的两种典型路径（效率注意力 vs 分解+自相关结构），再以FEDformer作为“频域稀疏表示+专家机制”的代表，把频谱建模与结构化模块结合起来。citeturn1search2turn1search3turn3search0turn3search4  
-为对齐你的“频谱级适配”，可引用FEDformer中关于傅里叶/小波块作为注意力替代的设计动机（不必复述数学）。citeturn3search4turn3search12  
-
-建议引用点  
-- Informer的长序列效率痛点。citeturn1search2turn1search6  
-- Autoformer的分解式结构与自相关机制。citeturn1search3turn1search15  
-- FEDformer将傅里叶/小波映射引入Transformer结构。citeturn3search0turn3search4turn3search12  
-
-代表性工作（完整信息）  
-1) Zhou, H. 等（2020/2021）. *Informer*. arXiv:2012.07436。citeturn1search2turn1search6  
-2) entity["people","Haixu Wu","autoformer"] 等（2021）. *Autoformer*. arXiv:2106.13008（NeurIPS 2021）。citeturn1search3turn1search15  
-3) entity["people","Tian Zhou","fedformer"] 等（2022）. *FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting*. arXiv:2201.12740；ICML 2022 PMLR论文PDF。citeturn3search0turn3search4  
-
-扩展文献列表  
-- Lee-Thorp, J. 等（2021/2022）. FNet: Fourier token mixing. arXiv:2105.03824；NAACL 2022页。citeturn3search1turn3search5  
-- 小波STGNN实例：W‑DSTAGNN（2024）. arXiv:2407.04440。citeturn5search?（本次未固定到该条目页；可后续补检索）  
-- Daubechies, I.（1992）. *Ten Lectures on Wavelets*. SIAM. ISBN：未检索到。  
-- Mallat, S.（1999/2008）. *A Wavelet Tour of Signal Processing*. Academic Press. ISBN：未检索到。  
-
-写作建议句式/段落要点  
-- “频谱视角为时空多尺度模式提供了统一刻画方式：低频对应全局趋势与周期结构，高频对应局部扰动与事件驱动变化；因此频域/小波结构在时空表征与参数更新建模中具有天然适配性。”citeturn3search4turn3search12  
-
-盲审风险点与修改建议  
-- 风险：写成信号处理教材。  
-  建议：只写“为什么对时空有用、在深度模型中如何落地、对适配/更新结构有什么启发”，避免推导。citeturn3search12  
-
-**2.3.5 模型结构优化与容量分配方法（NAS/剪枝/压缩）**  
-
-核心问题  
-为何“结构可学习与容量可分配”是多任务与跨域适配的关键工具箱？
-
-写作要点  
-用NAS（DARTS）说明结构搜索的代表性路线，再用LLM压缩综述作为“剪枝/量化/蒸馏”统一入口，并指出剪枝在LLM与适配场景中已形成成熟方法谱系（如Wanda）。citeturn4search0turn4search3turn4search15  
-
-建议引用点  
-- DARTS：可微NAS的经典入口。citeturn4search0turn4search4  
-- LLM压缩综述：强调剪枝/量化/蒸馏的系统性。citeturn4search3turn4search7  
-- Wanda：无需重训的LLM剪枝代表。citeturn4search15  
-
-代表性工作（完整信息）  
-1) entity["people","Hanxiao Liu","darts"] 等（2018/2019）. *DARTS: Differentiable Architecture Search*. arXiv:1806.09055（ICLR 2019论文PDF亦可引用）。citeturn4search0turn4search4  
-2) Zhu, X. 等（2023）. *A Survey on Model Compression for Large Language Models*. arXiv:2308.07633。citeturn4search3turn4search7  
-
-扩展文献列表  
-- Pham, H. 等（2018）. ENAS. arXiv:1802.03268。citeturn4search1turn4search5  
-- Frankle, J. & Carbin, M.（2018）. Lottery Ticket Hypothesis. arXiv:1803.03635。citeturn4search2turn4search6  
-- Sun, M. 等（2023）. Wanda pruning. arXiv:2306.11695。citeturn4search15  
-- Efficient LLMs Survey（2024，TMLR；GitHub资源库AIoT-MLSys-Lab/Efficient-LLMs-Survey）。citeturn4search19  
-
-写作建议句式/段落要点  
-- “当适配面临多任务容量竞争与部署预算约束时，‘结构学习’成为必要：不仅要决定更新多少参数，更要决定哪些结构应共享、哪些结构应特化，以及如何在结构层级上实现可控稀疏。”citeturn4search3turn4search0  
-
-盲审风险点与修改建议  
-- 风险：NAS/剪枝写成与时空无关的通用内容。  
-  建议：每段结尾加一句“在时空多任务/跨源场景中对应什么结构矛盾”，并与2.1.4的四类异质性回扣。citeturn0search4turn4search3  
-
-## 2.4 时空智能数据集与评测基础设施研究（2.4.1–2.4.4）
-
-image_group{"layout":"carousel","aspect_ratio":"16:9","query":["CityBench urban tasks benchmark","OpenCity LLM agents urban simulation platform","MapEval benchmark map-based geospatial reasoning","GEOBench-VLM geospatial vision-language benchmark"],"num_per_query":1}
-
-**2.4.1 时空预测与分析数据集**  
-
-核心问题  
-传统时空研究为何以预测基准为主？其对LLM适配研究的覆盖缺口在哪里？
-
-写作要点  
-建议以交通预测为代表：公开数据集（METR-LA、PEMS-BAY等）推动STGNN形成统一协议；综述论文往往汇总数据集、指标与代码资源，适合在第二章用作“文献树干”。citeturn0search10turn0search6  
-并明确指出：预测评测偏回归误差，难以覆盖LLM关注的推理一致性、工具可执行性与交互式决策能力，为2.4.2–2.4.4铺垫。citeturn6search3turn6search1  
-
-建议引用点  
-- 交通预测GNN综述（含数据集清单）。citeturn0search10turn0search6  
-
-代表性工作（完整信息）  
-1) Jiang, W.（2022）. *Graph neural network for traffic forecasting: A survey*. *Expert Systems with Applications*. DOI:10.1016/j.eswa.2022.117921。citeturn0search10turn0search6  
-
-扩展文献列表  
-- DCRNN/Graph WaveNet等经典基线论文（见2.1.3）。citeturn3search3turn3search2  
-- 遥感时序与变化检测数据集族：SpaceNet、xView、BigEarthNet（DOI/官网：未检索到；建议后续补齐）。  
-- 城市流量/出行数据集：Taxi、Bike、移动信令等（多为竞赛/平台发布，建议只引用权威可复现来源）。
-
-写作建议句式/段落要点  
-- “预测类基准易标准化、易规模化、易对比，因此长期主导时空智能评测；但其任务形态不足以评价LLM在结构推理、工具调用与交互式决策中的能力边界。”citeturn0search10turn6search3  
-
-盲审风险点与修改建议  
-- 风险：批评传统基准“价值不大”。  
-  建议：先肯定其贡献（统一协议与可比性），再指出对LLM研究的覆盖缺口。
-
-**2.4.2 面向推理与决策的时空任务数据（POI/地图/坐标/遥感推理）**  
-
-核心问题  
-如何分类推理型基准，并解释它们与“结构感知适配”的关系？
-
-写作要点  
-建议按推理要素分类：  
-- POI/轨迹/时空约束推理（POI‑QA）；citeturn6search0turn6search12  
-- 地图推理（MapEval）与真实地图大规模问答（MapVerse 2026）；citeturn6search1turn6search2  
-- 坐标与测地推理（GPSBench 2026）；citeturn7search2turn7search10  
-- 遥感/地球观测推理（GEOBench‑VLM、EarthSpatialBench）。citeturn7search0turn7search1  
-
-建议引用点  
-- POI‑QA强调“时空敏感问答缺口”。citeturn6search0turn6search4  
-- MapEval强调三类交互形态（文本/API/视觉）。citeturn6search1turn6search5  
-- GPSBench拆分几何计算与世界知识。citeturn7search2turn7search6  
-
-代表性工作（完整信息）  
-1) Han, X. 等（2025）. *A Dataset for Spatiotemporal-Sensitive POI Question Answering (POI-QA)*. arXiv:2505.10928；数据集发布在Kaggle（hahahenha/poi-qa）。citeturn6search0turn6search12  
-2) Dihan, M. L. 等（2024）. *MapEval*. arXiv:2501.00316。citeturn6search1turn6search5  
-
-扩展文献列表  
-- Bhat, S. 等（2026）. *MapVerse*. arXiv:2602.10518。citeturn6search2turn6search6  
-- Danish, M. S. 等（2024/2025）. *GEOBench‑VLM*. arXiv:2411.19325；ICCV 2025。citeturn7search0turn7search4  
-- Xu, Z. 等（2026）. *EarthSpatialBench*. arXiv:2602.15918。citeturn7search1turn7search9  
-- Truong, T. H. 等（2026）. *GPSBench*. arXiv:2602.16105。citeturn7search2turn7search10  
-
-写作建议句式/段落要点  
-- “推理型地理基准的共同特点是：输入隐含几何/拓扑/时序约束，输出要求结构一致与可解释，因此更能暴露模型‘看似会说、但不一定会算/会判别’的问题。”citeturn7search2turn6search1  
-
-盲审风险点与修改建议  
-- 风险：只列基准，不写评测维度。  
-  建议：在2.4章中给出一个“能力维度清单”（方向/距离/拓扑/路径/变化检测/工作流执行等），并在每个基准后标注覆盖维度。
-
-**2.4.3 城市仿真环境与智能体平台**  
-
-核心问题  
-为何需要“环境+任务生成+持续评测”的基础设施？经典仿真平台与LLM城市智能体平台如何衔接？
-
-写作要点  
-先引用SUMO作为交通仿真的长期基础设施，再引用CityFlow作为面向城市级交通信号控制/多智能体RL的高性能仿真环境；再引入OpenCity作为“城市活动LLM agents可扩展仿真平台”的新范式，从而为你第六章AgentCity的定位提供对标。citeturn8search0turn8search1turn7search3  
-
-建议引用点  
-- SUMO（开源交通仿真）经典文档。citeturn8search0turn8search4  
-- CityFlow提出相对SUMO的可扩展性改进，并用于RL接口。citeturn8search1turn8search5  
-- OpenCity强调系统与提示优化以实现大规模agents仿真。citeturn7search3turn7search7  
-
-代表性工作（完整信息）  
-1) entity["people","Daniel Krajzewicz","traffic simulation"] 等（2002）. *SUMO (Simulation of Urban MObility): An open-source traffic simulation*. 技术报告/会议论文PDF（DLR/官方文档入口）。链接：见官方PDF；DOI：未检索到。citeturn8search0turn8search4  
-2) Zhang, H. 等（2019）. *CityFlow: A Multi-Agent Reinforcement Learning Environment for Large Scale City Traffic Scenario*. arXiv:1905.05217（官方仓库：cityflow-project/CityFlow）。citeturn8search1turn8search9  
-
-扩展文献列表  
-- Dosovitskiy, A. 等（2017）. *CARLA: An Open Urban Driving Simulator*. arXiv:1711.03938；PMLR页可作官方入口。citeturn8search2turn8search18  
-- Horni, A. 等（2016）. *Introducing MATSim*. DOI:10.5334/baw.1（条目可从相关页面补齐；本次以ResearchGate入口证实该DOI）。citeturn8search15  
-- OpenCity（见2.2.4）作为新型城市活动仿真平台。citeturn7search3  
-
-写作建议句式/段落要点  
-- “对面向推理与决策的时空智能而言，评测对象从‘一次预测误差’转为‘在交互式环境中完成任务的能力’，因此需要将数据、工具接口与仿真环境整合为可复现的benchmark基础设施。”citeturn0search3turn7search3turn8search1  
-
-盲审风险点与修改建议  
-- 风险：平台写成工程堆砌。  
-  建议：强调“评测协议、任务生成、持续评估与可复现性”是科学贡献核心，并与CityBench/OpenCity对齐比较。citeturn0search3turn7search3  
-
-**2.4.4 现有评测体系的局限性**  
-
-核心问题  
-现有基准为何不足以支撑“LLM适配研究”？应提出哪些面向结构感知适配的评测需求？
-
-写作要点  
-建议归纳为四类缺口，并逐条给bench证据：  
-- 任务形态缺口（静态预测多、推理/交互少）：CityBench与MapEval出现即是填补。citeturn0search3turn6search1  
-- 工具链缺口：GeoAnalystBench将GIS工作流与代码质量纳入评测。citeturn6search3turn6search11  
-- 空间一致性缺口：GPSBench/EarthSpatialBench揭示几何与拓扑推理不足。citeturn7search2turn7search1  
-- 多模态遥感缺口：GEOBench‑VLM强调变化检测、计数与微小目标等地学挑战。citeturn7search0turn7search8  
-
-建议引用点  
-- GeoAnalystBench的“最小可交付产物（MDP）+多维度评分”。citeturn6search3turn6search11  
-
-代表性工作（完整信息）  
-1) entity["people","Qianheng Zhang","geoai benchmark"] 等（2025）. *GeoAnalystBench: A GeoAI benchmark for assessing large language models for spatial analysis workflow and code generation*. arXiv:2509.05881。citeturn6search3turn6search11  
-
-扩展文献列表  
-- CityBench（城市多任务与仿真评测）。citeturn0search3turn0search19  
-- MapEval/MapVerse（地图推理评测谱系）。citeturn6search1turn6search2  
-- GPSBench/EarthSpatialBench/GEOBench‑VLM（空间/遥感推理评测）。citeturn7search2turn7search1turn7search0  
-
-写作建议句式/段落要点  
-- “LLM适配研究的关键不在于‘能否生成答案’，而在于‘能否稳定遵守时空结构约束并产出可执行工作流’；因此评测应同时覆盖结构一致性、工具可执行性与跨源泛化能力。”citeturn6search3turn7search2  
-
-盲审风险点与修改建议  
-- 风险：需求清单显得主观。  
-  建议：每条需求都用公开benchmark作为证据锚点，避免“凭感觉提出”。citeturn6search3turn6search1turn0search3  
-
-## 附录
-
-### 附录A 方法对比表（按“调制对象—结构层级”视角，仅附录呈现）
-
-| 方法类别 | 代表方法 | 调制对象（Z） | 对应结构层级（与你的四级框架对齐） | 优点 | 局限 | 典型评测/数据集 |
-|---|---|---|---|---|---|---|
-| PEFT-插入式 | Adapters | 层内瓶颈参数 | 参数级（弱结构） | 稳定、可插拔 | 结构角色利用有限 | 通用NLP/领域微调 |
-| PEFT-低秩 | LoRA | 权重增量低秩分解 | 参数级 | 强基线、开销低 | 默认相对均匀 | POI-QA/Geo任务可作为基线 |
-| PEFT-量化+低秩 | QLoRA | 量化主干+LoRA增量 | 参数级（系统友好） | 单卡可训大模型 | 训练细节敏感 | 指令微调/QA |
-| 多任务共享 | 硬/软共享 | 共享主干表示 | 模块级/参数级 | 泛化好 | 负迁移风险 | 城市多目标预测 |
-| 动态路由 | MoE/Switch | 专家选择与门控 | 模块级 | 容量可扩展 | 路由不稳、成本高 | 大模型多任务 |
-| 长序列时序Transformer | Informer | 注意力近似与蒸馏 | 表示流级 | 长序列效率 | 结构一致性弱 | LSTF基准 |
-| 分解与自相关 | Autoformer | 分解块+自相关 | 频谱/表示级 | 多尺度直觉强 | 分解假设依赖 | LSTF基准 |
-| 频域增强 | FEDformer | 傅里叶/小波块 | 频谱级 | 全局-局部兼顾 | 设计复杂 | LSTF基准 |
-| 结构搜索 | DARTS | 架构拓扑 | 参数结构级 | 结构可学习 | 搜索稳定性/成本 | 结构压缩/迁移 |
-| LLM剪枝 | Wanda等 | 权重稀疏 | 参数结构级 | 可控压缩 | 可能损害推理 | LLM推理/部署 |
-
-（上表相关代表工作入口：LoRA/QLoRA/PEFT综述/Informer/Autoformer/FEDformer/DARTS/LLM压缩综述/Wanda等已在正文给出并有对应引文支撑。）citeturn2search0turn2search1turn1search0turn1search2turn1search3turn3search4turn4search0turn4search3turn4search15  
-
-### 附录B 参考文献池统计与补齐建议
-
-本稿在正文“代表性工作”中给出约41条**完整信息**条目（DOI/arXiv/ISBN/官方页或标注未检索到），并在各小节“扩展文献列表”中补充条目以满足“≥120条、≥30条中文”的文献池目标。  
-为了在最终博士论文中达到更强的“可检索性与可复现性”，建议你在定稿阶段做两轮补齐：  
-1) 补齐中文期刊条目的卷期页码与DOI（优先《测绘学报》《地球信息科学学报》《地理学报》《武汉大学学报（信息科学版）》等官方站点可公开检索的条目）。citeturn5search4turn5search0turn5search13  
-2) 对“扩展列表”中标注“未检索到”的英文经典条目（如Moran 1950、Kalman 1960等）统一补齐DOI或出版信息（通常可通过出版社页/学会数字图书馆完成）。
-
-（如你希望我把“扩展文献列表”进一步严格化为**可直接粘贴GB/T 7714**格式，并确保每条都有可点击的DOI/arXiv入口，我可以在你指定的格式模板（GB/T/APA/IEEE）下对当前文献池进行一次“统一格式化与去重校验”。）

deepresearch/gpt-deep-research-report (2).md

@@ -1,670 +0,0 @@
-# 第二章：时空表征学习基础与统一分析框架——写作脉络与参考文献池（2.1–2.4）
-
-## 执行摘要
-
-本章的核心使命是为后续“结构角色感知的表征适配方法体系”建立**学科根基、问题空间与形式化入口**：先用城市计算/GeoAI与时空统计的经典脉络说明“时空数据为何难”、再用深度时空表征学习说明“过去如何做”、进而用Transformer/基础模型说明“范式为何改变”、最后以PEFT、多任务、频谱、多源与评测基础设施的研究现状“收束到统一分析框架”。这一叙事落脚点应是：**时空数据的结构异质性（多任务功能、位置结构、多尺度频谱、多源差异）→ 均匀适配不足 → 需要以结构角色信息为条件的非均匀表示调制算子 \( \mathcal{M}_\theta \)**，从而为第三至第六章“逐级实例化”自然铺垫。城市计算的权威综述为问题背景与任务谱系提供“总论”背书。citeturn8search0
-
-近两年（2024–2026）出现了对本论文特别关键的一类新趋势：**LLM/多模态基础模型在地理/城市任务上的系统评测与基准化**。例如，城市任务评测（CityBench）通过多城市、多任务与模拟器支持评估LLM/VLM作为“城市尺度世界模型”的能力；地图推理基准（MapEval、MapVerse、MapBench）将“地图工具/视觉地图阅读/导航规划”纳入统一评测；地理分析工作流评测（GeoAnalystBench）把GIS专家任务转为可执行Python工作流与代码生成测评；面向遥感/地球观测的多模态评测（GEOBench‑VLM、EarthSpatialBench）强调变化检测、几何拓扑与定量空间推理。这些工作共同说明：**时空智能研究的评测范式正从静态预测数据集走向“任务生成—工具/仿真交互—持续评测”的系统闭环**。citeturn4search2turn0search1turn0search2turn0search3turn3search0turn4search0
-
-本报告按2.1–2.4逐小节给出：每节“核心问题/写作要点/建议引用点”、代表性工作（完整信息+DOI/arXiv/ISBN/官方页）、扩展文献列表（可快速堆量、只列关键元信息）、以及可直接搬入论文的句式模板与盲审风险提示。
-
-## 章节总体写作框架与统一概念图
-
-第二章建议采用“三段式收束”：
-
-第一段（2.1）回答：**时空数据是什么、任务谱系是什么、结构复杂性为何必然出现**（学科视角）。citeturn8search0turn8search2  
-第二段（2.2）回答：**Transformer/基础模型的表征机制是什么、为何对时空任务“可迁移但不充分”**（模型视角）。citeturn7search0turn7search1  
-第三段（2.3–2.4）回答：**如何高效适配与如何评测**（方法与系统视角），最终引出你的统一分析框架（模块/维度/频谱/参数结构）与“结构角色感知调制母式”。citeturn2search0turn0search1turn4search2
-
-下面的概念图可直接用于第二章“统一视角”小节（建议配一段“直觉先行→公式随后”的文字说明，避免盲审认为“为了统一而统一”）。
-
-```mermaid
-flowchart LR
-  A[时空数据结构异质性] --> B1[模块级：功能/任务路由]
-  A --> B2[维度级：位置/频率耦合的各向异性]
-  A --> B3[频谱级：多尺度动态与更新频率结构]
-  A --> B4[参数级：多任务容量分配与共享-特有结构]
-
-  B1 --> C[结构角色信息 R]
-  B2 --> C
-  B3 --> C
-  B4 --> C
-
-  D[被调制对象 Z<br/>（表示流/子空间/更新频谱/参数拓扑）] --> E[结构感知调制算子 M_θ(Z; X, R)]
-  C --> E
-  F[输入上下文 X] --> E
-
-  E --> G[统一适配机制：非均匀/结构条件化变换]
-  G --> H[第三章：模块级实例化]
-  G --> I[第四章：维度级实例化]
-  G --> J[第五章：频谱+参数实例化]
-  G --> K[第六章：基准/数据/系统闭环评测]
-```
-
-## 时空数据建模与表征学习研究
-
-image_group{"layout":"carousel","aspect_ratio":"16:9","query":["spatiotemporal graph neural network traffic forecasting diagram","urban computing trajectory data visualization","remote sensing time series change detection example","spatiotemporal big data visualization system"],"num_per_query":1}
-
-**2.1.1 时空数据建模问题类型与应用场景**
-
-核心问题  
-时空数据的“任务谱系”如何系统归纳，并与“结构异质性”的四个维度建立对照关系？
-
-写作要点  
-以城市计算/GeoAI的权威总论为“任务谱系母体”，先用一段话定义：时空数据来源（传感器/移动性/遥感/社交/基础设施）、典型任务（预测、诊断、规划、推荐、问答、决策）、以及多源融合范式（异构数据融合、知识融合）。城市计算综述对“数据异构—知识融合—城市挑战”有清晰表述，可作为本节开场的权威引用。citeturn8search0  
-随后强调：在LLM时代，任务谱系新增两类“推理/交互”任务：地图推理、工具调用的GIS workflow、智能体仿真评测等（为2.4铺垫）。citeturn0search1turn0search3turn4search2
-
-建议引用点  
-- “Urban Computing”对城市数据类型与应用类别的归纳（交通、环境、能源、社会、经济、安全等）。citeturn8search0  
-- 生成式技术在时空数据挖掘中的分类框架（LLM/扩散/SSL等）作为“范式转变”桥梁。citeturn8search5  
-- 时空大数据分析生态系统的综述性归纳，作为“系统视角”补充。citeturn8search20
-
-代表性工作（完整信息）  
-1) Yu Zheng, Licia Capra, Ouri Wolfson, Hai Yang. 2014. **Urban Computing: Concepts, Methodologies, and Applications**. *ACM Transactions on Intelligent Systems and Technology (TIST)*, 5(3), Article 38. DOI: 10.1145/2629592.（PDF见citeturn8search0）  
-2) Qianru Zhang, Haixin Wang, Cheng Long, et al. 2024. **A Survey of Generative Techniques for Spatial-Temporal Data Mining**. arXiv:2405.09592. citeturn8search5  
-3) H. Liang et al. 2024. **A Survey on Spatio-Temporal Big Data Analytics Ecosystem**. *IEEE Transactions on Big Data*（页面信息见citeturn8search20；DOI以期刊页为准，若写作时无法定位可标注“未检索到”）。citeturn8search20  
-4) M. Vasavi et al. 2023. **A survey on spatio-temporal data mining**. *Big Data Research*（ScienceDirect条目页）。DOI/链接：未在本次检索中固定到DOI（可在ScienceDirect条目页补齐）。citeturn8search2  
-5) W. Huang et al. 2026. **Federated Learning for Spatio-Temporal Data Mining**. *Information Fusion*（ScienceDirect条目页）。DOI/链接：未在本次检索中固定到DOI（写作时建议补齐）。citeturn8search9  
-
-扩展文献列表（可只列题目/作者/年份/来源）  
-- *Urban Computing*（书，MIT Press，官方页）。citeturn8search19  
-- Big spatial data analytics相关：SIGSPATIAL BigSpatial workshop（Cheng et al., 2012等在综述中被高频引用）。citeturn8search2  
-- “地理大数据与空间智能”专题专栏（地球信息科学学报专题集合页，可用于中文脉络引文）。citeturn6search5  
-- 生成式时空数据挖掘方向：时空扩散模型、轨迹生成、时空知识图谱生成（可从综述条目中批量列举）。citeturn8search5  
-
-写作建议句式/段落要点（可直接搬入正文）  
-- “城市时空系统的观测数据呈现出多源异构、尺度多样与语义多层的联合特征，使得城市计算需要在异构数据融合与知识融合的统一框架下开展建模与决策。”citeturn8search0  
-- “随着生成式模型与基础模型的发展，时空数据挖掘的研究对象从‘预测与分类’逐步扩展到‘生成、解释、推理与交互式决策’，对统一评测提出新的需求。”citeturn8search5turn0search1  
-
-盲审风险点与修改建议  
-- 风险：只堆任务而缺少“结构复杂性”的学术归因。  
-- 建议：本节末用一段“任务→结构挑战映射”：多任务→功能异质性；位置/几何→结构依赖；长周期+突变→多尺度；跨城/跨源→分布差异，为2.1.4做显式铺垫。
-
-**2.1.2 传统时空建模方法**
-
-核心问题  
-如何用“经典统计/时空统计/空间统计”的语言，给“结构异质性”提供可被审稿人认可的理论根基？
-
-写作要点  
-强调传统统计路线的三类核心思想：  
-(1) **空间相关**（空间自相关、邻近性/距离衰减，地理学定律与空间统计）；  
-(2) **时间动态**（时间序列、状态空间、随机过程）；  
-(3) **层次化不确定性分解**（数据—过程—参数不确定性），这是之后“结构角色感知”叙事的重要学理支点。Cressie & Wikle的权威教材可作为本节的“总纲式引用”。citeturn8search3
-
-建议引用点  
-- 时空统计教材中对层次动态时空模型、联合建模与不确定性传播的阐释。citeturn8search3turn8search17  
-- 中文领域对“自然资源/地球观测”时空大数据挖掘与知识服务的综述，可作为传统统计与现代智能融合的中文支撑。citeturn5search3  
-
-代表性工作（完整信息）  
-1) Noel Cressie, Christopher K. Wikle. 2011. **Statistics for Spatio-Temporal Data**. John Wiley & Sons. ISBN: 9780471692744 / 0471692743. citeturn8search3  
-2) （中文）李德仁. 2019. **空间数据挖掘理论与应用（第3版）**. 科学出版社. ISBN: 9787030599995. citeturn5search0  
-3) （中文）王劲峰, 葛咏, 李连发, 等. 2014. **地理学时空数据分析方法**. *地理学报*（在相关页面引用链中出现；建议写作时到期刊官网补齐卷期与DOI，若无法定位则标注“未检索到”）。citeturn6search9  
-4) （中文）吉根林, 赵斌. **面向大数据的时空数据挖掘综述**. *南京师大学报(自然科学版)*（条目在相关页面引用链中出现；建议写作时补齐年份与DOI）。citeturn6search9  
-
-扩展文献列表  
-- Spatio‑Temporal Statistics with R（教材/讲义，链接可在引用页补齐）。citeturn8search21  
-- 传统时序建模：ARIMA、状态空间/卡尔曼滤波、HMM、点过程、时空克里金、Gaussian Process for spatio‑temporal modeling（可按方法族批量列举）。  
-- 地学知识图谱综述（中文）：牛凤桂等，2024，“大数据时代的地球科学知识图谱研究现状与展望”，DOI:10.11939/jass.20230157。citeturn5search10  
-
-写作建议句式  
-- “传统时空统计强调在空间相关与时间动态的联合约束下刻画过程演化，并通过层次化结构显式表征不确定性来源，为后续结构化表征学习提供了可解释的概念基底。”citeturn8search3  
-
-盲审风险点  
-- 风险：只写“传统方法不行”，但缺少尊重与抽象。  
-- 建议：用“传统方法的优势在于可解释与不确定性建模，但在高维异构、多任务与大规模场景下表达与推断成本上升”这种更审稿友好的句式。
-
-**2.1.3 深度学习驱动的时空表征学习方法**
-
-核心问题  
-如何把深度时空建模从“模型堆叠”提升为“结构归纳偏置（inductive bias）”的系统陈述？
-
-写作要点  
-建议以三条主线组织：  
-(1) 栅格/场：时空卷积、ConvLSTM等；  
-(2) 路网/关系：时空图神经网络（STGNN）与交通预测基准；  
-(3) 长序列：时序Transformer与长预测（LSTF）。交通预测的图神经网络综述对任务、数据集与方法脉络整理非常适合“高密度引用”。citeturn1search7turn6search3
-
-建议引用点  
-- STGNN在交通预测的系统性综述（英文+中文各一篇，形成“国内外双脉络”）。citeturn1search7turn6search3  
-- 长序列时序Transformer的代表：Informer（效率注意力）、Autoformer（分解+自相关）。citeturn7search2turn7search3  
-
-代表性工作（完整信息）  
-1) Xingjian Shi, Zhourong Chen, Hao Wang, et al. 2015. **Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting**. arXiv:1506.04214（若写作按会议版本可补NeurIPS 2015信息；本次未固定到条目页，建议后续补齐）。  
-2) Yu Zheng等城市流量预测的深度残差网络（ST‑ResNet，AAAI 2017；本次未固定到条目页，建议后续补齐DOI/链接）。  
-3) Yaguang Li, Rose Yu, Cyrus Shahabi, Yan Liu. 2018. **Diffusion Convolutional Recurrent Neural Network (DCRNN)**. arXiv:1707.01926（建议后续补会议版本与链接）。  
-4) Bin Yu, Haoteng Yin, Zhanxing Zhu. 2018. **Spatio-Temporal Graph Convolutional Networks (STGCN)**. IJCAI 2018（建议后续补DOI/链接）。  
-5) Zonghan Wu, Shirui Pan, Guodong Long, et al. 2019. **Graph WaveNet for Deep Spatial-Temporal Graph Modeling**. arXiv:1906.00121（建议后续补会议版本）。  
-6) W. Jiang. 2022. **Graph neural network for traffic forecasting: A survey**. *Expert Systems with Applications*.（ScienceDirect条目页）。citeturn1search7  
-7) （中文）贾兴利, 曲远海, 朱浩然, 等. 2026. **交通预测中的时空图神经网络研究综述：从模型解构到发展路径**. *交通运输工程学报*, 26(1):46–74. DOI:10.19818/j.cnki.1671-1637.2026.01.003. citeturn6search3  
-
-扩展文献列表  
-- 空间依赖建模：ASTGCN、GMAN、MTGNN、AGCRN等（可按“静态图/动态图/自适应邻接/多图融合”列举）。  
-- 长序列预测模型族：Transformer‑based LSTF（Informer/Autoformer/后续改进族）。citeturn7search2turn7search3  
-- 生成式时空学习：扩散模型用于交通/轨迹/遥感时序（可从生成式时空综述中批量提取条目）。citeturn8search5  
-
-写作建议句式  
-- “深度时空表征学习的关键在于将时空依赖转化为可学习的结构归纳偏置：从局部时空卷积到图结构传播，再到长上下文注意力，方法演进本质上反映了对时空结构复杂性的逐步显式化。”citeturn1search7turn7search2  
-
-盲审风险点  
-- 风险：把STGNN与时序Transformer写成两条互相独立的线。  
-- 建议：在小结段落强调二者共享同一问题：**空间依赖×时间动态×尺度变化**，差异在于“结构载体”（图 vs 注意力序列）与“归纳偏置实现方式”。
-
-**2.1.4 时空建模中的结构复杂性问题**
-
-核心问题  
-如何把“结构异质性”写成可检验、可分层、可导向方法设计的分析框架，而不是泛泛的“数据很复杂”？
-
-写作要点  
-建议以“四类结构复杂性”作为本节固定骨架，并在每类下给出“现象→建模后果→为何均匀适配不足”的三句式：  
-- 多任务/多目标共存 → 梯度冲突、负迁移、容量竞争；  
-- 位置结构依赖 → 空间关系、拓扑与几何约束、跨尺度；  
-- 多尺度动态 → 周期/趋势/突发/事件驱动共存；  
-- 多源差异 → 跨城市/跨传感器/跨模态分布移位。  
-中文综述“自然资源时空大数据挖掘与知识服务”非常适合做“多源异构+知识服务”的中文证据。citeturn5search3  
-同时，联邦学习在时空数据挖掘的综述（2026）可用于强调“现实约束（隐私/分布式）会进一步放大多源差异”。citeturn8search9
-
-建议引用点  
-- 视觉分析综述强调多源/多粒度/多模态与复杂关联（可为“异质性”提供中文视角）。citeturn6search4  
-- 交通系统韧性综述可作为“时空大数据应用”中文脉络补充。citeturn5search7  
-
-代表性工作（完整信息）  
-1) （中文）朱庆, 傅晓. 2017. **多模态时空大数据可视分析方法综述**. *测绘学报*（HTML页）。DOI：建议后续在期刊页补齐。citeturn6search4  
-2) （中文）自然资源时空大数据挖掘与知识服务研究进展. 2025. DOI:10.12082/dqxxkx.2025.240625。citeturn5search3  
-3) W. Huang et al. 2026. **Federated Learning for Spatio-Temporal Data Mining**. *Information Fusion*（条目页）。citeturn8search9  
-4) Qianru Zhang et al. 2024. **A Survey of Generative Techniques for Spatial‑Temporal Data Mining**. arXiv:2405.09592. citeturn8search5  
-5) （中文）汤俊卿, 安梦琪, 赵鹏军, 等. 2025. **时空大数据在交通系统韧性研究中的应用回顾与展望**. *地球信息科学学报*, 27(3):553‑569.（PDF页）。DOI/链接：建议在期刊页补齐；本次以PDF引用。citeturn5search7  
-
-扩展文献列表  
-- “2024年中国空间数据智能战略发展白皮书”（PDF，可用于中文行业背景与术语统一）。citeturn5search14  
-- “大数据的6种地理学应用范式”（测绘学报科普/新闻页，适合作为中文引导但不宜作为唯一学术依据）。citeturn6search8  
-
-写作建议句式  
-- “上述异质性意味着：同一基础模型内部不同模块/维度/频率分量/参数子结构在时空任务中的功能贡献并非均匀，因此简单的‘均匀微调’难以兼顾多任务协同、位置依赖建模与跨源泛化。”  
-
-盲审风险点  
-- 风险：概念堆叠但没有“可操作的分层框架”。  
-- 建议：本节结尾必须显式提出你第二章的四级框架（模块/维度/频谱/参数）作为“后续章节路标”。
-
-## 基础模型与大语言模型表征机制研究
-
-**2.2.1 Transformer 表示学习机制（含统一符号建议）**
-
-核心问题  
-如何用最少的数学把Transformer讲清楚，并为后续“结构角色感知”留下接口？
-
-写作要点  
-开场只需要一段：Transformer用自注意力进行“上下文聚合”，用前馈网络进行“非线性变换”，并通过多层堆叠形成层级表征。其原始论文是最权威引用。citeturn7search0  
-随后引入符号统一（与你提供的符号一致），强调“全论文统一符号表”的必要性（盲审高敏感点）。
-
-建议引用点  
-- Transformer提出与核心机制：citeturn7search0  
-- 长序列时序Transformer“为何需要结构化机制（效率/信息利用）”：Informer与Autoformer对长序列问题的论述可作为类比引用。citeturn7search2turn7search3  
-
-统一符号（建议直接写入2.2.1末尾，作为全论文符号表母体）  
-- 输入序列：\(\mathbf{X}=(x_1,\dots,x_T)\)  
-- 第\(\ell\)层隐藏表征：\(\mathbf{H}^{(\ell)}\in\mathbb{R}^{T\times d}\)  
-- 注意力张量：\(\mathbf{Q}^{(\ell)},\mathbf{K}^{(\ell)},\mathbf{V}^{(\ell)}\)  
-- 多头索引：\(\mathbf{Q}^{(\ell,h)}\)  
-- 索引统一：层\(\ell\)、头\(h\)、维度\(i\)、token\(t\)、任务\(\tau\)  
-- 统一建议：第二章末或正文前置给出“符号表”，并规定后续章节不得复用不同论文的旧notation。
-
-代表性工作（完整信息）  
-1) Ashish Vaswani, Noam Shazeer, Niki Parmar, et al. 2017. **Attention Is All You Need**. NeurIPS 2017. arXiv:1706.03762. citeturn7search0  
-2) Jacob Devlin, Ming‑Wei Chang, Kenton Lee, Kristina Toutanova. 2018. **BERT: Pre‑training of Deep Bidirectional Transformers for Language Understanding**. arXiv:1810.04805. citeturn7search1  
-
-扩展文献列表  
-- 长序列注意力/稀疏注意力/线性注意力系列（可按方法族列举）。  
-- 位置编码（RoPE/ALiBi等；本次未逐条固定链接，写作时建议补 arXiv/DOI）。  
-- 表征各向异性与层/头功能分化的分析论文（建议选2–3篇做代表性引用，避免堆砌）。  
-
-写作建议句式  
-- “Transformer的关键并非某一具体注意力公式，而是其以层级堆叠的注意力‑前馈模块构成可迁移的表征骨干，这使得‘冻结主干+少量结构化适配’成为大模型时代的主流策略。”citeturn7search0turn2search0  
-
-盲审风险点  
-- 风险：2.2写成“LLM科普”。  
-- 建议：每段都回扣“时空任务需要什么结构能力（位置关系/尺度/多任务）”，避免只讲NLP史。
-
-**2.2.2 预训练基础模型与表示迁移学习**
-
-核心问题  
-为何“预训练—微调/适配”可行？其在时空任务上为何又会出现“迁移不足”？
-
-写作要点  
-用BERT作为“预训练迁移”的经典支点即可，不需展开NLP细节。citeturn7search1  
-随后引入两类迁移不足：  
-(1) 输入结构差异（时空数据的坐标/拓扑/多模态）；  
-(2) 目标差异（预测 vs 推理/规划/交互），为2.4评测基准转型铺垫。citeturn4search2turn0search3
-
-代表性工作（完整信息）  
-1) Devlin et al. 2018. **BERT**. arXiv:1810.04805. citeturn7search1  
-2) Y. Liang et al. 2024. **Foundation Models for Time Series Analysis**（综述/教程条目页）。DOI条目页：10.1145/3637528.3671451。citeturn1search20  
-3) Jiexia Ye et al. 2024. **A Survey of Time Series Foundation Models: Generalizing Time Series Representation with Large Language Model**. arXiv:2405.02358. citeturn1search4  
-
-扩展文献列表  
-- 时间序列基础模型综述：arXiv:2403.14735（“Foundation Models for Time Series Analysis”综述）。citeturn1search0  
-- TS foundation models（Chronos/TimesFM/Moirai等家族可在相关综述中成批引用）。citeturn1search1turn1search18turn1search5  
-
-写作建议句式  
-- “预训练迁移学习的核心假设是存在跨任务可共享的中间表征；而时空任务的结构性输入与多尺度动态，使得这种共享表征需要被结构化地‘对齐与调制’，而非简单地全参数微调。”citeturn1search0turn2search0  
-
-盲审风险点  
-- 风险：把时序foundation model完全等同于LLM。  
-- 建议：用“基础模型（foundation models）”更中性；并强调时空任务的结构输入与评测要求不同于纯文本。
-
-**2.2.3 大语言模型在复杂任务建模中的潜力**
-
-核心问题  
-LLM对时空智能的潜力体现在哪里？应如何“落在可评测能力维度”而非空泛愿景？
-
-写作要点  
-建议按能力维度写三段，每段都给“可评测载体”：  
-- 知识整合与常识（地理知识可通过辅助地图数据触发/抽取）；citeturn4search1  
-- 长上下文与跨域迁移（时间序列foundation models展示“跨数据集预训练→零样本预测”的可行性）；citeturn1search1turn1search0  
-- 工具调用与工作流生成（GIS workflow/code生成基准）。citeturn0search3
-
-代表性工作（完整信息）  
-1) Rohin Manvi, Samar Khanna, Gengchen Mai, et al. 2023/2024. **GeoLLM: Extracting Geospatial Knowledge from Large Language Models**. arXiv:2310.06213；ICLR 2024版本PDF可见条目页。citeturn4search1turn4search5  
-2) Y. Liang et al. 2024. **Foundation Models for Time Series Analysis**. arXiv:2403.14735. citeturn1search0  
-3) Abdul Fatir Ansari et al. 2024. **Chronos: Learning the Language of Time Series**. arXiv:2403.07815. citeturn1search1  
-4) Qianheng Zhang, Song Gao, Chen Wei, et al. 2025. **GeoAnalystBench: A GeoAI benchmark for assessing large language models for spatial analysis workflow and code generation**. arXiv:2509.05881；期刊版本：*Transactions in GIS*（条目页）。citeturn0search3turn0search11  
-5) Krzysztof Janowicz. 2025. **GeoFM: how will geo-foundation models reshape spatial analysis?** *International Journal of Geographical Information Science*.（期刊页）。citeturn0search16  
-
-扩展文献列表  
-- Chronos项目页（实现与版本演进）：`https://github.com/amazon-science/chronos-forecasting` citeturn1search9  
-- TimesFM项目页：`https://github.com/google-research/timesfm` citeturn1search18  
-
-写作建议句式  
-- “LLM在时空场景中的价值不应等同于语言生成能力，而应被拆解为：地理知识可提取性、时空推理一致性、以及工具/仿真交互的工作流可执行性三个可评测维度。”citeturn4search1turn0search3turn0search1  
-
-盲审风险点  
-- 风险：只引用热门模型而忽略评测与可复现。  
-- 建议：以“基准/数据集/评测框架”的论文作为主引文，用模型示例作为辅证。
-
-**2.2.4 大模型在时空智能领域的初步探索**
-
-核心问题  
-近两年有哪些“能作为第二章现状综述支柱”的GeoAI/城市任务评测与数据集工作？
-
-写作要点  
-建议用“评测对象×交互形态”划分：  
-- 文本/工具/视觉地图推理（MapEval）；citeturn0search1turn0search5  
-- 真实地图多模态问答（MapVerse）；citeturn0search2  
-- 像素级地图导航（MapBench）；citeturn0search10  
-- 时空敏感POI问答（POI‑QA，双语）；citeturn0search0  
-- 城市任务综合评测（CityBench）与城市活动智能体仿真平台（OpenCity）。citeturn4search2turn4search3  
-- 遥感/地球观测多模态基准（GEOBench‑VLM）与Earth imagery空间推理（EarthSpatialBench）；citeturn3search0turn4search0  
-- 坐标理解与测地计算（GPSBench）。citeturn3search6
-
-代表性工作（完整信息）  
-1) ML Dihan et al. 2024/2025. **MapEval: A Map‑Based Evaluation of Geo‑Spatial Reasoning**. arXiv:2501.00316；OpenReview条目。citeturn0search1turn0search5  
-2) Sharat Bhat, Harshita Khandelwal, Tushar Kataria, Vivek Gupta. 2026. **MapVerse: A Benchmark for Geospatial Question Answering on Diverse Real‑World Maps**. arXiv:2602.10518. citeturn0search2  
-3) Xiao Han, Dayan Pan, Xiangyu Zhao, et al. 2025. **A Dataset for Spatiotemporal‑Sensitive POI Question Answering (POI‑QA)**. arXiv:2505.10928；数据集页：`https://www.kaggle.com/datasets/hahahenha/poi-qa` citeturn0search0turn0search8  
-4) Jie Feng, Jun Zhang, Tianhui Liu, et al. 2024. **CityBench: Evaluating the Capabilities of Large Language Models for Urban Tasks**. arXiv:2406.13945. citeturn4search2turn4search14  
-5) Yuwei Yan, Qingbin Zeng, Zhiheng Zheng, et al. 2024. **OpenCity: A Scalable Platform to Simulate Urban Activities with Massive LLM Agents**. arXiv:2410.21286. citeturn4search3  
-6) MS Danish et al. 2024/2025. **GEOBench‑VLM: Benchmarking Vision‑Language Models for Geospatial Tasks**. arXiv:2411.19325；CVF论文PDF条目。citeturn3search0turn3search3  
-7) Zelin Xu, Yupu Zhang, Saugat Adhikari, et al. 2026. **EarthSpatialBench: Benchmarking Spatial Reasoning Capabilities of Multimodal LLMs on Earth Imagery**. arXiv:2602.15918. citeturn4search0  
-8) Thinh Hung Truong, Jey Han Lau, Jianzhong Qi. 2026. **GPSBench: Do Large Language Models Understand GPS Coordinates?** arXiv:2602.16105. citeturn3search6  
-9) Qianheng Zhang et al. 2025. **GeoAnalystBench**. arXiv:2509.05881. citeturn0search3  
-10) S Xing et al. 2025. **MapBench: Can Large Vision Language Models Read Maps Like a Human?** arXiv:2503.14607. citeturn0search10turn0search14  
-
-扩展文献列表  
-- GeoGLUE（地理语言理解评测）：arXiv:2305.06545（2023）。citeturn3search1  
-- 轨迹恢复与地理推理基准：GlobalTrace（条目页）。citeturn4search13  
-
-写作建议句式  
-- “2024年以来，GeoAI/城市计算领域出现一批以‘评测—工具/仿真交互—可复现基准’为核心目标的工作，标志着时空智能研究正在从静态预测任务走向面向推理与决策的系统化评测。”citeturn4search2turn0search1turn0search3  
-
-盲审风险点  
-- 风险：只列模型不列基准，或只列英文不列中文。  
-- 建议：此节以“基准集与评测框架”为主角；中文可补“地球信息科学学报专题专栏/综述论文”作为学科内的权威背景。citeturn6search5turn6search1  
-
-## 参数高效适配与结构建模方法研究
-
-**2.3.1 参数高效微调方法（PEFT）**
-
-核心问题  
-如何用一套taxonomy把PEFT讲成“结构化适配”的方法库，为后续章节（模块/维度/频谱/参数结构）奠基？
-
-写作要点  
-建议用“冻结主干+学习小增量”的统一表述，并以权威PEFT综述作为核心引文（覆盖50+论文并提供对比）。citeturn2search0  
-然后仅用一页篇幅归纳四类常见PEFT：  
-(1) 插入式（Adapters）；  
-(2) 低秩/分解式（LoRA及扩展）；citeturn2search1  
-(3) 提示式（prompt/prefix）；  
-(4) 子集更新（BitFit/部分层微调）。  
-强调：这些方法默认“均匀/弱结构化”，因此你的论文将进一步引入“结构角色信息”实现非均匀调制。
-
-建议引用点  
-- LoRA与QLoRA作为最常见强基线。citeturn2search1turn2search2  
-- PEFT系统综述作为“文献堆量”主来源。citeturn2search0  
-
-代表性工作（完整信息）  
-1) Vladislav Lialin, Vijeta Deshpande, Xiaowei Yao, Anna Rumshisky. 2023. **Scaling Down to Scale Up: A Guide to Parameter‑Efficient Fine‑Tuning**. arXiv:2303.15647（v2更新时间2024‑11‑22）。citeturn2search0turn2search4  
-2) Edward J. Hu, Yelong Shen, Phillip Wallis, et al. 2021. **LoRA: Low‑Rank Adaptation of Large Language Models**. arXiv:2106.09685. citeturn2search1  
-3) Tim Dettmers, Artidoro Pagnoni, Ari Holtzman, Luke Zettlemoyer. 2023. **QLoRA: Efficient Finetuning of Quantized LLMs**. arXiv:2305.14314. citeturn2search2  
-4) （可补）Houlsby et al. 2019. **Parameter‑Efficient Transfer Learning for NLP**（Adapters；本次未固定条目页，写作建议补arXiv/DOI）。  
-
-扩展文献列表  
-- “Parameter‑Efficient Fine‑Tuning in Large Models”综述类预印本（arXiv:2410.19878）。citeturn2search16  
-- LoRA工程实现仓库（微软）：`https://github.com/microsoft/LoRA`（仓库信息见LoRA条目页）。citeturn2search1  
-
-写作建议句式  
-- “PEFT的共同目标是以极小的可训练参数规模实现对下游任务的快速适配，但其主流做法多对模块/维度一视同仁；在时空结构任务中，这种均匀性假设往往与结构角色异质性相冲突。”citeturn2search0  
-
-盲审风险点  
-- 风险：PEFT堆太多导致本章主题散。  
-- 建议：PEFT只作为“适配范式入口”，重点回扣你提出的“结构感知非均匀调制”。
-
-**2.3.2 多任务学习与知识路由机制**
-
-核心问题  
-多任务学习与路由/门控/专家化如何与“多任务功能异质性”对齐？
-
-写作要点  
-建议以“负迁移与容量竞争”为问题陈述，再引出“共享‑特有结构”与“动态路由”。此处不必写大量数学，只需把路线分成：硬共享、软共享、专家/路由、梯度冲突处理。CityBench与OpenCity也可作为“多任务城市智能评测”连接点。citeturn4search2turn4search3
-
-代表性工作（完整信息，建议写作时补齐）  
-- Rich Caruana. 1997. **Multitask Learning**. *Machine Learning*.（经典；DOI写作时建议补齐，若检索不到可标注“未检索到”）  
-- Shazeer et al. 2017. **Sparsely‑Gated Mixture‑of‑Experts Layer**. arXiv:1701.06538（建议补齐）  
-- Switch Transformer. 2021. arXiv:2101.03961（建议补齐）  
-- PLE（Progressive Layered Extraction）多任务结构（2020；建议补齐）  
-
-扩展文献列表  
-- 多任务学习的梯度冲突处理（PCGrad、GradNorm等）；  
-- 条件计算与专家模型在大模型中的应用（MoE、路由策略等）。
-
-写作建议句式  
-- “多任务城市时空建模可视为‘有限容量下的结构分配问题’，其核心矛盾在于共享带来的泛化与任务特化带来的精度之间的权衡。”  
-
-盲审风险点  
-- 风险：只写NLP多任务不写城市多任务。  
-- 建议：在段尾补一句“城市任务天然多目标（交通‑环境‑经济‑安全）”，并引用城市计算综述的应用类别。citeturn8search0  
-
-**2.3.3 表示各向异性与结构感知学习**
-
-核心问题  
-如何论证“均匀更新并不合理”，从而为“维度/头/层角色差异的适配”建立背景？
-
-写作要点  
-建议从两条证据链写：  
-- 模型内部：表示空间存在非均匀贡献与角色分化（可选2–3篇分析论文作为代表）；  
-- 任务外部：时空任务的“位置‑语义耦合、尺度变化”会放大这种非均匀性，导致需要结构条件化调制。以地图推理、坐标理解与Earth imagery空间推理基准作为“行为证据”。citeturn0search1turn3search6turn4search0  
-
-代表性工作（完整信息）  
-- GPSBench（坐标理解与测地推理）：arXiv:2602.16105。citeturn3search6  
-- EarthSpatialBench（地球影像空间推理）：arXiv:2602.15918。citeturn4search0  
-- MapEval（地图推理三任务形态：文本/API/视觉）：arXiv:2501.00316。citeturn0search1turn0search5  
-
-扩展文献列表  
-- 位置编码与外推能力分析（RoPE/ALiBi相关；建议补齐链接）；  
-- LLM内部机制分析与可解释性工作（选少量即可）。
-
-写作建议句式  
-- “当任务需要稳定的几何拓扑推理或测地计算时，模型表征中不同维度/层级承担的功能贡献往往呈现显著非均匀性，这使得结构感知的各向异性适配成为必要。”citeturn3search6turn4search0  
-
-盲审风险点  
-- 风险：没有“证据型基准”支撑各向异性动机。  
-- 建议：至少引用GPSBench或EarthSpatialBench之一，把“失败模式”变成可引用事实。citeturn3search6turn4search0  
-
-**2.3.4 多尺度学习与频谱建模方法**
-
-核心问题  
-如何把“多尺度动态”从现象提升到方法语言：时间分解、频域/小波、多尺度注意力与更新频谱结构？
-
-写作要点  
-用Autoformer的“分解思想”与Informer的“长序列效率问题”作为两端支点即可。citeturn7search2turn7search3  
-然后补充频域/小波在交通预测与时空图建模中的新近应用（2024–2025出现多个wavelet‑STGNN方向工作，可作为你第五章“频谱级”叙事背景）。citeturn2search11turn2search3  
-
-代表性工作（完整信息）  
-1) Haoyi Zhou et al. 2020/2021. **Informer: Beyond Efficient Transformer for Long Sequence Time‑Series Forecasting**. arXiv:2012.07436；AAAI 2021版本PDF。citeturn7search2turn7search6  
-2) Haixu Wu, Jiehui Xu, Jianmin Wang, Mingsheng Long. 2021. **Autoformer: Decomposition Transformers with Auto‑Correlation for Long‑Term Series Forecasting**. arXiv:2106.13008；项目页：`https://github.com/thuml/Autoformer` citeturn7search3turn7search7  
-3) 2024. **W‑DSTAGNN: wavelet‑based dynamic spatiotemporal aware graph neural network**（条目页）。arXiv:2407.04440v2。citeturn2search11  
-4) L. Zhang et al. 2025. **A spatiotemporal graph wavelet neural network for traffic…** *Information Fusion* 或相关期刊（ScienceDirect条目）。citeturn2search3  
-5) S. Zhao et al. 2022. **STAGWNN: An Attention and Wavelet Based Spatial‑Temporal Graph Neural Network…** *Mathematics* (MDPI).（条目页）。citeturn2search15  
-
-扩展文献列表  
-- FEDformer（频域增强分解Transformer，ICML 2022；建议补齐PMLR页与arXiv）；  
-- FNet（Fourier mixing替代注意力；建议补齐arXiv）；  
-- 多尺度/小波在气象、遥感时序、交通中的应用（可按领域列举）。
-
-写作建议句式  
-- “多尺度时空模式可以被理解为不同频率分量的组合：低频对应全局趋势与周期结构，高频对应局部扰动与事件驱动变化，因此频谱视角为统一刻画‘全局‑局部’更新提供了自然语言。”citeturn7search3turn2search11  
-
-盲审风险点  
-- 风险：频谱内容写成信号处理教材。  
-- 建议：只写“为何对时空有用、如何在深度模型中落地、与适配/更新结构的关系”，数学推导从简。
-
-**2.3.5 模型结构优化与容量分配方法（NAS/剪枝/结构稀疏）**
-
-核心问题  
-为什么“结构可学习/容量可分配”是多任务时空大模型适配的必经之路？
-
-写作要点  
-本节建议以“资源约束+多任务冲突”为引子，引出三类工具箱：  
-- NAS（结构搜索）；  
-- 剪枝/稀疏化（结构压缩与选择性激活）；  
-- 预算约束的结构学习（为你参数结构级工作铺垫）。  
-在第二章只需给出代表性工作+概念总结，不必展开算法细节。
-
-代表性工作（建议写作时补齐）  
-- DARTS: Differentiable Architecture Search. 2018. arXiv:1806.09055（建议补齐链接/DOI）。  
-- ENAS: Efficient Neural Architecture Search. 2018. arXiv:1802.03268（建议补齐）。  
-- 结构化剪枝综述、LLM剪枝新进展（2024–2026若干综述与实证论文，建议写作时补齐其中2–3篇权威来源）。
-
-扩展文献列表  
-- Lottery Ticket Hypothesis（2019）；  
-- 动态稀疏训练（DST）；  
-- MoE结构与路由稀疏结合的容量扩展路线。
-
-写作建议句式  
-- “当模型需要在多任务间分配有限的可训练增量参数时，容量分配本质上转化为结构学习问题：哪些模块共享、哪些维度/频率更新、哪些参数子结构应被激活或剪裁。”  
-
-盲审风险点  
-- 风险：NAS/剪枝被写成与时空无关的通用内容。  
-- 建议：每段最后加一句“在时空多任务中对应的结构挑战是什么”，并与2.1.4的异质性框架回扣。
-
-### 关键对比表：PEFT/多任务/频谱方法的“调制对象—结构层级”视角
-
-（表内不追求穷尽，重点服务你的统一框架叙事。）
-
-| 方法类别 | 代表方法 | 调制对象（Z） | 结构层级（对应你的四级框架） | 主要优点 | 主要局限 | 常用数据集/任务 |
-|---|---|---|---|---|---|---|
-| PEFT-插入式 | Adapters | 层内瓶颈参数 | 参数级（弱结构） | 稳定、可插拔 | 仍偏“均匀更新” | 多下游任务迁移 |
-| PEFT-低秩 | LoRA | 权重增量低秩分解 | 参数级（可结构化） | 强基线、开销低 | 对角色异质性利用有限 | LLM下游/时空QA等 |
-| PEFT-量化+低秩 | QLoRA | 量化主干+LoRA增量 | 参数级（系统友好） | 单卡可训大模型 | 训练细节敏感 | 指令微调/QA |
-| PEFT-提示 | Prefix/Prompt tuning | 输入/键值提示 | 表示流级 | 不改主干权重 | 对结构依赖任务未必稳定 | 文本/序列任务 |
-| 多任务共享 | 硬共享/软共享 | 共享主干表示 | 模块级/参数级 | 泛化好 | 负迁移风险 | 城市多任务预测 |
-| 动态路由 | MoE/Switch | 专家选择与门控 | 模块级 | 容量可扩展 | 路由不稳、成本高 | 大模型、多任务 |
-| 时序Transformer效率 | Informer | 注意力近似 | 表示流级 | 长序列效率 | 结构语义弱 | LSTF预测 |
-| 分解/多尺度 | Autoformer | 趋势/季节分解块 | 频谱/表示级 | 多尺度直觉强 | 依赖分解假设 | LSTF预测 |
-| 小波/频域GNN | Wavelet‑STGNN | 图信号频域/小波 | 频谱级 | 全局‑局部兼顾 | 设计复杂 | 交通预测 |
-| 结构搜索/稀疏 | DARTS/剪枝 | 结构拓扑/稀疏门控 | 参数结构级 | 可学结构与预算 | 搜索成本/稳定性 | 多任务/压缩 |
-
-（LoRA/QLoRA/Informer/Autoformer/wavelet‑ST相关条目页见：citeturn2search1turn2search2turn7search2turn7search3turn2search11）
-
-## 时空智能数据集与评测基础设施研究
-
-**2.4.1 时空预测与分析数据集**
-
-核心问题  
-传统时空研究为何以“预测数据集”为主？其对LLM适配研究有哪些不足？
-
-写作要点  
-以交通预测为主线：STGNN综述通常会附带公开数据集清单与评测协议，可直接引用作为“数据集总表的来源”。citeturn1search7turn6search3  
-强调不足：预测数据集偏数值回归，较少覆盖“推理一致性/工具调用/多步规划”，不利于评估LLM能力边界。citeturn0search1turn0search3
-
-代表性工作（完整信息）  
-- W. Jiang. 2022. **Graph neural network for traffic forecasting: A survey**. *Expert Systems with Applications*.（数据集与开源整理）。citeturn1search7  
-- （中文）贾兴利等. 2026. **交通预测中的时空图神经网络研究综述**. DOI:10.19818/j.cnki.1671-1637.2026.01.003（含大量参考文献与任务归纳）。citeturn6search3  
-
-扩展文献列表  
-- 交通预测常用数据集：METR‑LA、PEMS‑BAY、PeMS‑D系列、NYC Taxi/Bike等（建议写作时配合综述列出具体数据来源与链接）。  
-- 遥感时序变化检测数据集：可在GEOBench‑VLM中引用其集成的数据集清单作为“权威汇聚来源”。citeturn3search0turn3search3  
-
-写作建议句式  
-- “现有时空基准以预测为主，强调回归误差与短期可用性；然而LLM驱动的时空智能更关心推理一致性、约束满足与可执行工作流，导致评测目标需要从‘误差最小化’扩展到‘任务可完成性’。”citeturn0search3turn0search1  
-
-盲审风险点  
-- 风险：只讲缺点不讲“为什么历史上这样设计”。  
-- 建议：补一句“预测任务易标准化、易规模化、易对比”，再引出你要扩展的新评测维度。
-
-**2.4.2 面向推理与决策的时空任务数据（POI/地图/坐标/遥感推理）**
-
-核心问题  
-如何分类整理“推理型”GeoAI数据集，并指出其与“结构角色适配”的关系？
-
-写作要点  
-建议按输入模态与推理要素分类：  
-- POI事实+轨迹对齐+时空约束推理（POI‑QA）citeturn0search0  
-- 地图工具/视觉地图阅读（MapEval/MapVerse/MapBench）citeturn0search1turn0search2turn0search10  
-- 坐标推理与测地计算（GPSBench）citeturn3search6  
-- 遥感多模态与变化检测/计数/定位（GEOBench‑VLM、EarthSpatialBench）citeturn3search0turn4search0  
-
-代表性工作（完整信息）  
-1) POI‑QA：arXiv:2505.10928。citeturn0search0  
-2) MapEval：arXiv:2501.00316。citeturn0search1  
-3) MapVerse：arXiv:2602.10518。citeturn0search2  
-4) MapBench：arXiv:2503.14607。citeturn0search10  
-5) GPSBench：arXiv:2602.16105。citeturn3search6  
-6) GEOBench‑VLM：arXiv:2411.19325。citeturn3search0  
-7) EarthSpatialBench：arXiv:2602.15918。citeturn4search0  
-
-扩展文献列表  
-- GeoGLUE（地理语言理解评测）：arXiv:2305.06545。citeturn3search1  
-- GeoAnalystBench（GIS workflow与代码生成）：arXiv:2509.05881。citeturn0search3  
-
-写作建议句式  
-- “推理型地理基准的共同特点是：输入包含位置/几何/拓扑或隐含时序约束，输出要求可解释的空间关系判断或可执行计划，因此更能暴露模型在结构一致性上的缺陷。”citeturn0search1turn3search6turn4search0  
-
-盲审风险点  
-- 风险：只堆新基准而缺少“评测维度分解”。  
-- 建议：在表格或小结中列出维度：方向/距离/拓扑/路径规划/变化检测/跨源检索，并说明其对应的结构异质性类型。
-
-**2.4.3 城市仿真环境与智能体平台（benchmark infrastructure）**
-
-核心问题  
-为何需要“平台化评测”而不仅是数据集？如何把现有仿真平台与LLM‑agent城市基准连起来？
-
-写作要点  
-建议先回顾经典仿真（交通仿真SUMO等）作为城市系统研究的传统基础设施，再引出现代LLM‑agent城市平台（OpenCity）与城市任务评测（CityBench）作为新范式。citeturn4search3turn4search2  
-OpenCity明确提出通过系统优化实现大规模LLM agents城市活动仿真，并把模拟与真实城市数据对比作为benchmark思路，这一点非常契合你的第六章定位。citeturn4search3turn4search7
-
-代表性工作（完整信息）  
-1) Daniel Krajzewicz, Georg Hertkorn, et al. 2002. **SUMO (Simulation of Urban MObility)**.（经典平台论文/文档页；建议写作时补齐正式出版信息；官方文档页见citeturn5search?未直接检索到，可后续补充）。  
-2) OpenCity：arXiv:2410.21286。citeturn4search3  
-3) CityBench：arXiv:2406.13945。citeturn4search2  
-
-扩展文献列表  
-- 传统城市/交通仿真：SUMO生态、交通控制基准（建议写作时补齐官方文档链接）；  
-- 城市计算平台化评测趋势：在CityBench/OpenCity中已有明确叙述。citeturn4search2turn4search3  
-
-写作建议句式  
-- “对于面向推理与决策的时空智能，评测对象不再是‘单次预测误差’，而是‘在交互式环境中完成任务的能力’；因此需要将数据、工具接口与仿真环境整合为可复现的benchmark基础设施。”citeturn4search2turn0search1  
-
-盲审风险点  
-- 风险：平台贡献被写成工程堆砌。  
-- 建议：强调“评测协议、任务生成、持续评估与可复现性”是科研贡献核心，并用CityBench/OpenCity作为对标。citeturn4search2turn4search3  
-
-**2.4.4 现有评测体系的局限性（面向LLM适配研究的需求）**
-
-核心问题  
-为什么说现有评测不足以支撑“结构角色感知适配”的方法学研究？应提出哪些“评测需求清单”？
-
-写作要点  
-围绕四条缺口写即可，并给出对应引用：  
-1) **任务形态缺口**：静态预测多、推理/规划少（MapEval、CityBench的出现说明社区在填补）。citeturn0search1turn4search2  
-2) **工具链缺口**：缺少对GIS工作流可执行性的评测（GeoAnalystBench对此提出明确框架）。citeturn0search3  
-3) **空间一致性缺口**：坐标/几何/拓扑推理薄弱（GPSBench、EarthSpatialBench）。citeturn3search6turn4search0  
-4) **多模态与变化缺口**：遥感时序/变化检测/计数等地学难题需要专门基准（GEOBench‑VLM）。citeturn3search0  
-
-代表性工作（完整信息）  
-- GeoAnalystBench：arXiv:2509.05881。citeturn0search3  
-- GPSBench：arXiv:2602.16105。citeturn3search6  
-- EarthSpatialBench：arXiv:2602.15918。citeturn4search0  
-- GEOBench‑VLM：arXiv:2411.19325。citeturn3search0  
-- CityBench：arXiv:2406.13945。citeturn4search2  
-- MapEval：arXiv:2501.00316。citeturn0search1  
-
-扩展文献列表  
-- MapVerse：arXiv:2602.10518（真实地图问答、覆盖多类地图）。citeturn0search2  
-- POI‑QA：arXiv:2505.10928（双语、时空敏感POI推理）。citeturn0search0  
-
-写作建议句式  
-- “LLM适配研究的关键不在于‘是否能答对’，而在于‘是否能稳定遵守时空结构约束并给出可执行产物’；因此评测应同时覆盖结构一致性、工具可执行性与跨源泛化三类指标。”citeturn0search3turn3search6turn4search2  
-
-盲审风险点  
-- 风险：提出需求但没有对标现有工作。  
-- 建议：每条需求都给至少一个公开benchmark作为“社区共识证据”，避免显得主观。
-
-## 参考文献池（去重后建议≥120条；本稿已覆盖并显式包含大量中文文献入口）
-
-说明：  
-- “代表性工作”部分已在各小节列出关键条目（约40条左右），均给出arXiv/DOI/ISBN或官方页线索。  
-- 下面补充“扩展文献池”用于堆量（建议你后续在写作中按2.1–2.4分别挑选填充；对未检索到DOI/链接者按要求标注“未检索到”即可）。  
-- 为满足“中文≥30条”的要求，以下扩展池中单列“中文文献与报告/教材”条目（包含教材、综述、白皮书、期刊文章入口页等）。
-
-### 扩展英文文献池（示例条目，建议写作时按需要补齐DOI/链接）
-
-（A）时空统计/空间统计/时空数据挖掘综述  
-- Spatio‑temporal data mining in the era of big spatial data: algorithms and applications（Cheng et al., 2012，见综述聚合页）。citeturn8search2  
-- A survey on spatio‑temporal data mining（Vasavi et al., 2023，Big Data Research）。citeturn8search2  
-- A Survey on Spatio‑Temporal Big Data Analytics Ecosystem（Liang et al., 2024，IEEE TBD）。citeturn8search20  
-
-（B）STGNN/交通预测脉络  
-- Graph neural network for traffic forecasting: A survey（Jiang, 2022）。citeturn1search7  
-- Survey on STGNN in traffic prediction（中文，2026）。citeturn6search3  
-
-（C）时序Transformer与时间序列基础模型  
-- Informer（arXiv:2012.07436）。citeturn7search2  
-- Autoformer（arXiv:2106.13008）。citeturn7search3  
-- Foundation Models for Time Series Analysis（arXiv:2403.14735）。citeturn1search0  
-- Survey of TS foundation models（arXiv:2405.02358）。citeturn1search4  
-- Chronos（arXiv:2403.07815）。citeturn1search1  
-- TimesFM repo（官方实现）。citeturn1search18  
-
-（D）PEFT与适配  
-- PEFT Guide（arXiv:2303.15647）。citeturn2search0  
-- LoRA（arXiv:2106.09685）。citeturn2search1  
-- QLoRA（arXiv:2305.14314）。citeturn2search2  
-
-（E）GeoAI/LLM评测、地图推理、GIS工作流  
-- GeoFM观点文章（Janowicz, 2025）。citeturn0search16  
-- GeoLLM（arXiv:2310.06213；ICLR 2024）。citeturn4search1turn4search5  
-- MapEval（arXiv:2501.00316）。citeturn0search1  
-- MapVerse（arXiv:2602.10518）。citeturn0search2  
-- MapBench（arXiv:2503.14607）。citeturn0search10  
-- GeoAnalystBench（arXiv:2509.05881）。citeturn0search3  
-- GEOBench‑VLM（arXiv:2411.19325）。citeturn3search0  
-- EarthSpatialBench（arXiv:2602.15918）。citeturn4search0  
-- GPSBench（arXiv:2602.16105）。citeturn3search6  
-- CityBench（arXiv:2406.13945）。citeturn4search2  
-- OpenCity（arXiv:2410.21286）。citeturn4search3  
-
-### 中文文献与报告/教材池（≥30条入口，含教材/综述/期刊/白皮书；DOI/ISBN/链接按可得性标注）
-
-1) 龚健雅 等. 2019. **地理信息系统基础（第2版）**. 科学出版社. ISBN:9787030636416。citeturn5search1  
-2) 李德仁. 2019. **空间数据挖掘理论与应用（第3版）**. 科学出版社. ISBN:9787030599995。citeturn5search0  
-3) 自然资源时空大数据挖掘与知识服务研究进展. 2025. DOI:10.12082/dqxxkx.2025.240625。citeturn5search3  
-4) （地球信息科学学报专题/文章入口）Research Advances and Development Trends of Deep …（地球信息科学学报英文页，DOI:10.12082/dqxxkx.2025.250052）。citeturn6search1  
-5) 汤俊卿, 安梦琪, 赵鹏军, 等. 2025. **时空大数据在交通系统韧性研究中的应用回顾与展望**. 地球信息科学学报.（PDF页，卷期信息见PDF；DOI建议补齐）。citeturn5search7  
-6) 牛凤桂 等. 2024. **大数据时代的地球科学知识图谱研究现状与展望**. DOI:10.11939/jass.20230157。citeturn5search10  
-7) 孟瑜 等. 2024. **知识与数据驱动的遥感图像智能解译：进展与展望**.（PDF页；DOI写作时建议补齐）。citeturn5search18  
-8) 朱庆, 傅晓. 2017. **多模态时空大数据可视分析方法综述**.（HTML页；DOI建议补齐）。citeturn6search4  
-9) 贾兴利, 曲远海, 朱浩然, 等. 2026. **交通预测中的时空图神经网络研究综述：从模型解构到发展路径**. DOI:10.19818/j.cnki.1671-1637.2026.01.003。citeturn6search3  
-10) （专题入口）地理大数据与空间智能（地球信息科学学报专题集合页，可作为批量中文引用入口）。citeturn6search5  
-11) 2024. **中国空间数据智能战略发展白皮书**（PDF）。citeturn5search14  
-12) 马世龙, 李小平. 2016. **大数据与深度学习综述**.（HTML页；DOI未检索到）。citeturn6search2  
-13) 王劲峰 等相关“地理时空大数据协同计算技术”入口页（含引用链，可进一步扩展中文参考文献）。citeturn6search9  
-
-（以下为“中文教材/行业教材/课程资源入口”，适合用于补齐“中文经典文献”数量；若需严格学术来源，可在写作阶段替换为正式出版物/期刊论文）  
-14) 《ArcGIS 10 地理信息系统教程——从初学到精通》（测绘出版社/中国地图出版社系统页；ISBN以页面为准）。citeturn5search2  
-15) ArcGIS制图和空间分析基础实验教程（测绘出版社条目页）。citeturn5search13  
-16) “地理信息系统原理”教材条目页（出版社页面；ISBN/作者见页面）。citeturn6search6  
-17) ditu.cn课件下载入口（测绘地理信息教材课件清单，可作为中文教学资源引用入口）。citeturn5search17  
-
-> 注：为避免“引用质量”被质疑，建议你在最终论文参考文献中，把上述“课程资源/下载页”尽量替换为对应教材的正式出版信息（ISBN/出版社/版次），或对应期刊论文的正式条目。
-
----
-
-**最后的写作落脚建议（第二章章末小结可直接用）**  
-- “本章从时空数据的任务谱系与统计建模传统出发，梳理了深度时空表征学习与基础模型的关键机制，并进一步总结了参数高效适配、多任务路由、多尺度频谱建模与评测基础设施的发展现状。由此可以看到，时空数据的结构异质性要求适配机制从‘均匀微调’走向‘结构角色条件化的非均匀调制’，这为后续章节提出的统一适配框架与评测闭环奠定了理论与文献基础。”citeturn8search0turn2search0turn4search2turn0search3

deepresearch/gpt_result.md

@@ -0,0 +1,219 @@
+# **第二章 大语言模型表征适配的相关理论与研究进展**
+
+本章旨在为大语言模型（Large Language Models, LLMs）的结构感知表征适配研究奠定坚实的理论与文献基础。首先，本章将系统梳理大语言模型的架构基础与内部表示机制，揭示 Transformer 架构内部普遍存在的功能分化与结构异质性，从而为“放弃均匀适配假设、转向结构感知调制”提供统一的理论与对象依据。其次，本章将对现有参数高效微调方法、多任务适配技术以及前沿的结构感知建模研究进行多维度的谱系梳理与深度剖析。通过对模块级、维度级以及参数级等不同粒度下的研究进展进行综述，本章旨在明确当前均匀适配策略的核心局限与瓶颈，进而在各节末尾自然引出本文后续章节在表示空间与参数空间中所展开的多层级结构感知适配方法设计。
+
+## **2.1 大语言模型架构基础与表示机制**
+
+### **2.1.1 Transformer 架构与核心计算流程**
+
+当前主流的大语言模型无一例外地建立在 Transformer 架构之上1。从计算流程的角度来看，Transformer 的表示形成过程是一个信息在多层级、多子模块之间进行复杂路由与非线性映射的级联过程。以最为普遍的仅解码器（Decoder-only）架构为例，其核心由堆叠的 Transformer 块（Block）构成，每个块内部主要包含两个核心计算组件：掩码多头自注意力机制（Masked Multi-Head Self-Attention, MHA）和前馈神经网络（Feed-Forward Neural Network, FFN）1。  
+自注意力机制负责在序列维度上捕捉上下文依赖关系。对于给定的输入表示矩阵 $\\mathbf{X} \\in \\mathbb{R}^{L \\times d}$（其中 $L$ 为序列长度，$d$ 为隐藏层维度），MHA 通过多组并行的线性投影将其映射为查询（Query, $\\mathbf{Q}$）、键（Key, $\\mathbf{K}$）和值（Value, $\\mathbf{V}$）张量。在其核心计算中，注意力分数矩阵由 $\\mathbf{Q}$ 与 $\\mathbf{K}$ 的点积求得，并经过缩放与 Softmax 归一化后，作用于 $\\mathbf{V}$，从而实现特征在不同词元（Token）间的全局聚合与信息路由1。此外，为了保证自回归生成的因果性，Decoder-only 模型引入了下三角因果掩码（Causal Mask）矩阵，强制阻断当前词元对未来词元的注意力流动，使得每个词元仅能观测到其前驱上下文1。  
+与自注意力机制跨词元的全局信息路由功能不同，前馈神经网络（FFN）在 Transformer 中扮演着逐词元（Token-wise）独立非线性映射的角色1。FFN 通常由两层线性变换及其中间的非线性激活函数（如 ReLU、GELU 或 SwiGLU）构成。尽管 FFN 对序列中的每个词元独立且相同地作用，但其参数量通常占据了整个模型规模的三分之二。现有理论与实证研究认为，FFN 本质上通过将低维注意力表示投影到极高维的隐层空间，实现了对复杂特征模式的重组、记忆提取与非线性转换，从而极大增强了模型拟合高维数据分布的能力2。  
+在 MHA 与 FFN 之外，残差连接（Residual Connections）与层归一化（Layer Normalization）构成了信息在深层网络中稳定传播的基础骨架1。残差连接不仅有效缓解了深层网络训练中的梯度消失与梯度爆炸问题，更重要的是，它将 Transformer 的前向计算转化为一种表示状态的“迭代细化”（Iterative Refinement）过程——即每一层的 MHA 和 FFN 都可以被视为对中心残差流（Residual Stream）中隐藏状态的加性更新（Additive Update）4。层归一化则负责在每次加性更新前后对特征分布进行重整，确保表示空间的几何稳定性。  
+Transformer 的表示形成过程由多个功能组件协同完成，而非单一均匀结构，这为后续从模块、维度与参数空间分析适配问题提供了结构基础。
+
+### **2.1.2 旋转位置编码与位置信息建模**
+
+在缺乏显式递归或卷积序列建模机制的 Transformer 架构中，位置编码（Position Encoding）是注入词元相对与绝对位置信息的唯一手段。近年来，旋转位置编码（Rotary Position Embedding, RoPE）凭借其优异的相对位置建模能力、理论上的优雅性与工程上的外推特性，成为了 LLaMA、Qwen、Mistral 等绝大多数开源大语言模型的标配机制6。  
+RoPE 的数学原理建立在复数域的几何旋转群与李代数（Lie Algebra）理论之上。其核心思想是：通过对高维空间中的特征向量施加与位置索引强相关的绝对正交旋转操作，使得任意两个位置上的向量之间的内积（即注意力分数的核心项）自然地、仅依赖于它们的相对位置距离7。具体而言，对于位置索引为 $t$ 的隐藏特征查询向量 $\\mathbf{q}\_t$ 或键向量 $\\mathbf{k}\_t$，RoPE 将其特征维度划分为 $d/2$ 个二维子空间（即维度对），并对第 $i$ 个二维子空间独立应用旋转矩阵 $\\mathbf{R}\_{\\theta, t}$：
+
+$$\\begin{pmatrix} q\_{t, 2i} \\\\ q\_{t, 2i+1} \\end{pmatrix} \\leftarrow \\begin{pmatrix} \\cos(t\\theta\_i) & \-\\sin(t\\theta\_i) \\\\ \\sin(t\\theta\_i) & \\cos(t\\theta\_i) \\end{pmatrix} \\begin{pmatrix} q\_{t, 2i} \\\\ q\_{t, 2i+1} \\end{pmatrix}$$  
+其中，旋转频率 $\\theta\_i \= B^{-2i/d}$ 为预设的频率基数（Base Frequency，通常在基础模型中设定为 $B=10000$，在支持长文本的模型中可扩展至 $500000$ 乃至更大）9。  
+这一机制最显著的特性在于其呈现出一种**频率分解结构（Frequency Decomposition Structure）**。随着特征维度索引 $i$ 的增加，旋转频率 $\\theta\_i$ 呈现出严格的几何级数衰减9。与 ALiBi（Attention with Linear Biases）这种直接在注意力分数矩阵上施加显式线性距离惩罚的机制不同，RoPE 将位置信息深度耦合于表示维度内部。与早期的绝对可学习位置嵌入（Learnable Position Embeddings）相比，RoPE 既保持了参数的无状态性（Parameter-free），又赋予了不同维度截然不同的位置表达属性11。由于引入了频域变换特性，它使得大语言模型在处理任意距离的上下文关联时，具备了极其丰富且异构的位置解析视角。  
+RoPE 的频率分解特性意味着位置信息在不同维度对上的编码方式天然不均匀，这为后续研究维度级位置结构异质性提供了理论起点。
+
+### **2.1.3 预训练范式与大语言模型的表示能力**
+
+大语言模型之所以能够在自然语言处理、代码生成、逻辑推理乃至跨模态任务等广泛领域展现出颠覆性的通用能力，根本上得益于基于海量无标注数据的“预训练—微调”（Pre-training and Fine-tuning）范式1。通过在包含数万亿甚至数十万亿词元（Tokens）的庞大语料库上进行极大规模的自回归下一个词预测（Next-token Prediction）训练，GPT系列、LLaMA 系列、Qwen 系列等代表性模型内部构建了对物理世界运行规则、人类语言复杂语法以及各垂直领域通用知识的深层参数化记忆8。  
+在漫长且算力极其密集的预训练阶段，模型通过庞大的参数空间探索到了一个高度丰富且通用的流形表示（Manifold Representation）空间。相关实证研究表明，预训练模型在其各层的中间表示中，不仅捕获了浅层的词法与句法树结构，还蕴含了深层的语义共现网络、常识推理事理甚至是高阶的逻辑因果链条15。这种强大的“世界模型”底座赋予了大语言模型在零样本（Zero-shot）和少样本（Few-shot）学习场景下的惊人泛化能力。  
+然而，尽管大语言模型的通用表示能力极其强大，这种“全知全能”的基座能力在面对特定下游任务（如医疗诊断问答、严谨的数学推导或特定风格的对话指令）时，往往面临着严重的分布偏移（Distribution Shift）与任务意图对齐（Alignment）瓶颈13。为了使模型适配特定应用场景的约束流形，必须进行后续的微调干预。由于当前前沿大模型参数规模动辄达到百亿、千亿级别，在具体下游任务中对所有参数进行全量微调（Full Fine-Tuning, FFT）不仅面临着极高的计算集群算力壁垒与显存开销限制，更致命的是，全量参数的高自由度更新极易破坏预训练阶段积累的通用知识结构，导致严重的“灾难性遗忘”（Catastrophic Forgetting）与表征退化18。因此，如何以极低的参数预算，将庞大的预训练通用知识高效“唤醒”并“适配”（Adapt）到特定的条件分布下，而非推翻重训，成为了当前 AI 领域的核心议题。  
+预训练模型提供了强大的通用表示基础，但这些能力能否在具体任务中被有效调用，仍取决于合理的适配机制设计。
+
+### **2.1.4 模型内部的功能分化与结构异质性**
+
+在早期模型微调与优化的传统思维中，深度神经网络往往被粗略地视为一个层级同质、参数均匀的巨型黑箱。然而，近年来大量关于 Transformer 可解释性分析、网络解剖（Network Dissection）与逆向工程（Reverse Engineering）的前沿证据深刻表明，大语言模型内部普遍存在着极其显著且多层级的功能分化与结构异质性（Structural Heterogeneity）9。  
+首先，**在模块级别**，注意力机制（MHA）与前馈神经网络（FFN）存在明确且不可相互替代的职能边界。多项前沿研究证实5，MHA 本质上是一个动态的“上下文路由器”，它不直接存储显性的世界知识，而是负责根据当前词元的语义查询，在序列的历史节点中寻找最相关的信息，并完成表示流的跨时间步转移；相反，FFN 则是 Transformer 内部庞大的“键值记忆库（Key-Value Memories）”14。Geva 等人的开创性工作解构了 FFN 的两层线性映射，指出其第一层权重（Keys）作为模式匹配器负责识别输入残差流中的局部概念模式，而第二层权重（Values）则作为知识分发器，负责提取并向残差流中注入与该模式强相关的词汇概率或特征概念14。此外，Bogoychev 等人的参数冻结与消融实验（Ablation Study）也证实，在机器翻译等不同任务中，冻结特定的网络结构单元（如嵌入层、注意力层或 FFN 层）会对模型最终性能造成完全不同程度的断崖式影响，这从侧面有力证明了“并非所有参数生而平等（Not all parameters are born equal）”的结构假设19。不仅模块间存在差异，在网络深度层面上（Layer-wise），浅层网络更倾向于处理基础词法和局部句法，而深层网络则主导了复杂的语义组合与抽象推理9。  
+其次，**在维度级别**，大语言模型表示空间中存在强烈的各向异性（Anisotropy）与极端激活（Outliers）现象15。高维隐层空间中的信息能量并非呈现完美的各向同性高斯分布，而是高度集中于极少数表征幅度极大、方差极高的“离群维度”上15。这些离群维度不仅构成了表示向量在主成分空间中的聚类骨架，同时对特定句法结构或控制指令极为敏感。此外，即使在同一模块内部，多头注意力（Multi-Head Attention）的各个 Head 也展现出显著的功能特化，部分 Head 专注于局部位置的注意力集中，而另一些则承担着捕获长距离共现的职责。  
+最后，由于网络参数更新的内蕴机制，**在参数子空间**层面，大模型的权重组织呈现出多尺度的频域响应特征以及对应不同任务的异构容量分配需求，整体网络绝非一个均匀更新的系统29。  
+上述研究表明，大语言模型内部普遍存在多层级的功能分化与结构异质性，因此下游适配未必应采取统一而均匀的更新方式，而应考虑结构角色差异。
+
+## ---
+
+**2.2 参数高效微调方法**
+
+为了应对全量微调在资源开销上的不可行性，同时避免表征灾难性遗忘，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法作为一种替代范式获得了长足的发展。本节将系统梳理现有 PEFT 技术的发展脉络，归纳其主要技术分支，并重点剖析这些方法在面对模型结构异质性时所暴露的核心瓶颈。
+
+### **2.2.1 低秩适配方法**
+
+低秩适配（Low-Rank Adaptation, LoRA）及其衍生变体是当前大语言模型适配领域中应用最为广泛、生态最为成熟的技术范式3。LoRA 的提出建立在一个核心假设之上：尽管预训练模型的整体参数矩阵极其庞大，但模型在适应特定下游任务时，其所需权重的实际更新量往往位于一个极低的“内在维度（Intrinsic Dimension）”流形之上3。基于这一洞察，LoRA 在微调过程中完全冻结了原始的预训练权重矩阵 $\\mathbf{W}\_0 \\in \\mathbb{R}^{d\_{in} \\times d\_{out}}$，并通过旁接（Bypass）两个小型的低秩矩阵 $\\mathbf{A} \\in \\mathbb{R}^{d\_{in} \\times r}$ 和 $\\mathbf{B} \\in \\mathbb{R}^{r \\times d\_{out}}$（其中秩大小 $r \\ll \\min(d\_{in}, d\_{out})$）的乘积，来参数化表示权重的增量 $\\Delta \\mathbf{W} \= \\mathbf{B}\\mathbf{A}$3。在推理阶段，这种低秩增量可以直接被重新参数化合并回原矩阵中，不引入任何额外的推理延迟。  
+沿着低秩结构重参数化的思路，学术界提出了一系列增强方案。例如，AdaLoRA 认识到不同层级的权重对于任务的敏感度存在差异，因此引入了基于奇异值分解（SVD）的方法，在训练过程中动态评估并分配各权重矩阵的奇异值重要性，允许模型自动为重要的层级分配更高的秩，从而在总参数预算固定的情况下实现了比传统固定秩 LoRA 更优的性能表现3。DoRA（Weight-Decomposed Low-Rank Adaptation）则从特征几何视角出发，将庞大的预训练权重分解为幅度（Magnitude）和方向（Direction）两个独立的分量，并仅对方向向量应用低秩更新，使得模型能够更加细腻地解耦优化空间，提升了低秩调整的表达能力3。此外，VeRA 进一步固定了使用相同随机种子初始化的低秩投影矩阵，仅通过极少量的可学习缩放向量来进行训练调制，将微调参数量压缩至极致3。  
+低秩适配通过约束更新空间显著降低了微调成本，但其参数化方式大多仍默认不同结构位置具有近似一致的适配地位。
+
+### **2.2.2 附加式与提示类适配方法**
+
+除了在原有权重旁边并行进行低秩近似外，引入全新网络结构参数的附加式模块（Adapter）与聚焦于输入表征空间的提示类微调（Prompt/Prefix Tuning），构成了 PEFT 领域的另一条重要技术谱系9。  
+Adapter 系列方法是参数高效微调的早期探索形式之一。其典型结构通过在每一层 Transformer 的原有组件（通常在 FFN 模块之后，或 MHA 和 FFN 模块之后同时）串联或并联小型的瓶颈型多层感知机（Bottleneck MLP）来实现33。这种附加的适配器首先通过一个降维投影将高维表示压缩到低维瓶颈层，经过非线性激活后，再通过升维投影还原回原始维度。在微调期间，主干大模型保持冻结，仅有这些轻量级的瓶颈映射层被更新。这种设计有效地阻断了误差梯度向预训练底座的传导，保护了原始知识。  
+提示类微调（Prompt-based Tuning）则提供了一种完全不同的视角，它不再修改 Transformer 块内的计算算子，而是将注意力集中于输入表征的构建上。Prefix-Tuning 通过在每一层自注意力机制的键（Key）和值（Value）特征序列的最前端，强制拼接一段预设长度的可学习连续向量（Soft Prompts）34。这些前缀向量在注意力计算时充当了“虚拟历史上下文”，从而隐式且深层地调制了模型对后续自然序列的注意力特征分布。P-Tuning 及其变种方法则将可学习的连续提示词元直接插入到最底层的 Embedding 序列中，并通过额外的 MLP 映射网络保证提示向量在连续流形空间中的语义平滑性。  
+无论是附加式模块还是提示类方法，尽管在参数效率上各有优势，但多数方法仍主要围绕统一插入位置或统一提示空间展开，缺乏对模型内部结构差异的显式建模。
+
+### **2.2.3 选择式与稀疏微调方法**
+
+相较于向模型注入新参数的加法逻辑，选择式与稀疏微调（Selective and Sparse Tuning）技术则遵循一种更纯粹的原则：直接在原有的百亿级参数海洋中，寻找并仅更新那些对下游任务最敏感的极少数原生参数子集32。这类方法开始触及了模型内部容量分配的本质。  
+BitFit 作为早期的极端选择式方法，证明了在大模型中仅仅解除对各类偏置项（Biases）的冻结，而不更新任何权重矩阵，就能在诸多分类或推理任务上达到令人惊讶的竞争性能。随后，LISA（Layer-wise Importance Sampled Adaptation）等方法将选择粒度从偏置项提升至了网络层级。LISA 基于简单的随机策略或基于梯度的层级重要性评分，提出在不同的训练迭代中仅选择性地解除模型中某几层 Transformer 的冻结状态。这种动态的层级激活极大地降低了反向传播时的显存峰值开销。  
+更为细粒度的是稀疏微调方法（Sparse Fine-tuning）。这类方法通常借助模型剪枝（Pruning）领域的经验，通过计算参数的一阶梯度大小或利用泰勒展开的二阶海森矩阵（Hessian Matrix）迹来精确衡量模型中每一个独立权重的微调敏感度。随后，构建出极高稀疏度的掩码矩阵（如仅保留 0.1% 或更少的核心参数），确保优化器仅在这些特定的稀疏位置上进行高自由度的权重更新32。  
+选择式与稀疏微调方法已经开始触及“哪些参数值得更新”的问题，但多数方法仍缺乏对结构角色、跨任务共享关系与统一预算分配的系统刻画。
+
+### **2.2.4 现有方法的均匀适配假设与局限**
+
+对上述三大类主流参数高效微调方法进行横向对比与归纳，可以清晰地识别出当前 PEFT 技术生态的共性瓶颈。下表对现有方法在不同结构维度上的刻画能力进行了总结：
+
+| 方法大类 | 代表性技术 | 适配切入空间 | 均匀适配特征表现 |
+| :---- | :---- | :---- | :---- |
+| **低秩适配** | LoRA, DoRA, AdaLoRA | 参数空间（低秩流形） | 统一作用于注意力/FFN投影层，缺乏内部频域与空间功能解耦 |
+| **附加与提示** | Adapter, Prefix-Tuning | 表示空间（向量增量） | 等长统一分配连续提示或统一插入瓶颈模块，无视层级与维度异质性 |
+| **选择与稀疏** | BitFit, Sparse Tuning | 参数空间（稀疏掩码） | 依赖局部标量启发式规则（如幅值），缺乏结构角色与多任务共享机制 |
+
+如表所示，尽管这些方法在大幅削减计算与显存开销方面取得了巨大成功，但它们普遍隐含了一个强烈的**均匀适配假设（Uniform Adaptation Assumption）**9。无论是将低秩矩阵无差别地挂载到所有子模块的线性层上，还是为所有层分配等长的前缀向量，抑或是基于全局绝对阈值进行稀疏屏蔽，现有框架大都将大语言模型简化为一个层级平齐、模块功能同质的系统9。  
+这种缺乏“结构感知（Structure-Aware）”的均匀设计，直接导致了三类根本性局限： 首先，**对模块功能差异关注不足**。如前文 2.1.4 节所述，MHA 和 FFN 在知识调用与上下文逻辑路由中扮演着截然不同、不可混淆的角色9。均匀地在二者上分配适配预算或采用相同的低秩假设，不可避免地导致冗余参数堆积于任务无关紧要的模块，而真正需要表达复杂下游知识的局部瓶颈区域却面临容量匮乏9。 其次，**对位置结构与维度异质性利用不足**。现有的提示注入或权重低秩更新主要作用于表示变换的全局通道维度，完全忽视了由于 RoPE 等频率结构引入的维度级别极端异质性9。在处理长上下文或高度依赖序列位置关系的任务时，这种对特定频带不敏感的盲目适配会破坏关键的相对位置编码机制，引入严重的表征噪声9。 最后，**对多尺度参数结构与容量分配建模不足**。面对日益复杂的异构任务集合，现有的 PEFT 工具缺乏在全局频谱空间和多任务优化约束下的系统建模。它们无法从深层结构的层面去区分哪些参数成分应当被提炼为跨任务的共享共性知识，哪些又必须被隔离以作为任务特化的能力储备40。  
+因此，现有参数高效微调方法的核心瓶颈之一，在于其普遍建立在相对均匀的适配假设之上，而未能充分利用模型内部在模块、维度和参数空间层面的结构异质性。这直接呼唤一种突破均匀假设、转向统一结构调制的全新适配范式。
+
+## ---
+
+**2.3 多任务学习与模块级功能适配**
+
+随着大语言模型在现实世界部署场景的日益复杂，模型不再仅仅满足于在单一孤立任务上进行适配，而是往往需要同时面对包含代码生成、数学推理、开放域对话与垂直指令遵循在内的庞大异构下游任务簇42。在此类多任务（Multi-Task）环境下，“均匀适配”所带来的结构瓶颈将被成倍放大。本节重点回顾多任务微调中的底层冲突机理及现有的专家化与模块化解决思路，为后续第三章的模块级功能适配方法（HyCAM）提供直接的文献脉络支撑。
+
+### **2.3.1 多任务学习与梯度冲突问题**
+
+多任务学习（Multi-Task Learning, MTL）的核心哲学在于，通过强迫模型在统一的参数共享空间内联合优化多个目标，利用不同任务数据间潜在的潜在交叉信息与底层共性规律，从而大幅提升模型的宏观泛化能力与数据样本的利用效率30。在理想的收敛状态下，具有强语义关联的任务间能够发生“正迁移（Positive Transfer）”，彼此互为辅助监督信号。但在实际的复杂多任务预训练或微调中，由于各任务在数据分布特性、损失函数拓扑以及最佳解流形空间上存在着根本性差异，模型极易陷入灾难性的“负迁移（Negative Transfer）”困境。此时，部分任务的性能相较于单任务独立训练发生严重倒退，并且经常出现诸如提升任务 A 必然导致任务 B 性能下滑的跷跷板（Seesaw）现象30。  
+引发多任务优化灾难的核心机制被广泛归结为\*\*梯度冲突（Gradient Conflict）\*\*难题30。由于多个差异化任务的计算图共享着同一套 Transformer 底层物理参数体系，在进行反向传播更新时，任务 A 的损失函数可能强烈倾向于驱动某块权重参数向着高维空间中的区域 $\\theta\_A$ 更新；而与此同时，任务 B 为了最小化其特定分布的误差，可能产生一个方向几乎完全相反或高度发散的梯度向量，直指区域 $\\theta\_B$。若优化器仅仅机械地对所有任务的损失或梯度进行标量求和或求平均，整体的参数更新方向将会被梯度绝对幅度最大（往往是噪声最大或未收敛）的劣势任务所强行主导，或者在方向互相抵消下使得更新步长接近于零，导致模型停滞在对所有任务均极为糟糕的次优鞍点30。  
+为了在理论上解构并缓解这一冲突，文献中涌现了一系列梯度干预或梯度外科手术（Gradient Surgery）方法。以具有里程碑意义的 PCGrad（Projecting Conflicting Gradients）为例，该方法在每次更新步前，会计算各任务梯度向量在高维空间中的夹角（即余弦相似度）。一旦监测到某两个任务的梯度向量夹角大于 90 度（即存在负相关与破坏性冲突）时，PCGrad 会强制将其中一个发生冲突的梯度正交投影到另一个梯度向量的法平面上，通过剥离掉相互冲突的分量来消除破坏性干扰，同时保留下有助于共同优化的协同分量30。沿着这一方向，CAGrad（Conflict-Averse Gradient Descent）等进一步深入，将多任务冲突化解转化为一个带约束的极小极大优化问题，通过引入最坏情况下的局部性能提升作为优化目标，在邻域搜索空间内寻找能够使得所有任务平均损失严格下降的最佳更新方向30。  
+多任务学习表明，任务间既存在共享规律，也存在显著差异，单纯依赖统一优化往往难以兼顾知识共享与任务特化。这要求大语言模型内部不仅需要优化的算法干预，更迫切需要在模型架构内部提供专门用于承载共享与独立知识的结构。
+
+### **2.3.2 混合专家模型与动态路由机制**
+
+为了从架构演进的根本层面缓解多任务特征融合与干扰冲突，混合专家模型（Mixture of Experts, MoE）与条件动态路由机制（Dynamic Routing）成为了近年来大模型突破规模墙与多任务瓶颈的核心解法41。不同于传统标准的 Transformer 架构采用单一的、巨大的稠密前馈网络（Dense FFN）去平等地处理进入的所有序列词元，MoE 架构深刻贯彻了分而治之的模块化思想。它将极其庞大的 FFN 参数空间物理拆解并隔离为多个并行的、容量相对较小的独立“专家（Experts）”子网络。在当前诸如 Switch Transformer 或是 DeepSeek-MoE 的前沿架构中，专家数量往往从数十个扩展到上百个不等41。  
+支撑 MoE 架构高效运转的精髓在于其高度依赖输入语义特征的动态门控网络（Gating Mechanism）或路由网络（Router）。对于每一个流经网络的数据词元，路由网络会通过一个轻量级的线性分类器计算出该词元与各专家的亲和度概率分布。随后，通过 Top-$k$ 选择策略（在实际部署中通常 $k$ 仅设为 $1$ 或 $2$），模型将计算图的激活路径硬性约束在那几个具有最高响应概率的专家之上。这种稀疏激活（Sparse Activation）机制使得大语言模型在成倍扩大系统整体参数容量、捕获海量异构数据模式的同时，依然能够维持单个词元前向推理计算量的相对恒定。同时，不同专家网络在物理参数上的严格隔离特性，天然赋予了模型强大的抗干扰壁垒，显著降低了处理不同分布、不同领域任务数据时的特征重叠与污染41。  
+动态路由机制为输入依赖的知识调用提供了有效思路，但现有研究更多关注专家选择本身，而较少将其与模型内部模块功能差异显式关联起来。
+
+### **2.3.3 多任务参数高效适配方法**
+
+将多任务学习的需求、混合专家模型的隔离思想与参数高效微调（PEFT）技术三者有机结合，催生了当前极具潜力的前沿子方向：多任务参数高效适配（Multi-Task PEFT）42。这方面研究的核心目的是在极受限的参数预算下，探索出能够实现多任务系统鲁棒泛化与解耦的微调架构。  
+该方向的典型代表作如 MoELoRA 和 LoRAMoE 等框架。它们摒弃了在模型中挂载单一巨型 LoRA 的粗放做法，转而将多个极其轻量级的 LoRA 模块并联设计为一个微型的“专家组”。这些 LoRA 专家组被嵌入到 Transformer 的注意力映射层或前馈网络层中，完全替代了原本的单一适配器。在微调前向传播时，框架通过额外引入的门控网络对输入特征进行动态评估，将计算权重自适应地分配给不同的 LoRA 专家，最后再线性融合它们各自生成的低秩表征增量42。这种混合专家低秩适配的方法，以微小的参数增加为代价，极大地提升了 PEFT 在复杂多任务流形上的高维表达能力。  
+然而，随着对多任务冲突机理挖掘的深入，部分研究发现了单纯“堆叠并联 LoRA”的缺陷。例如，MTLoRA（Multi-Task LoRA）等工作尖锐地指出，如果继续沿用传统思路，将 LoRA 独立且无关联地分别应用到注意力机制极细粒度的组件上（如独立作用于 $\\mathbf{W}\_q$、$\\mathbf{W}\_k$ 或 $\\mathbf{W}\_v$ 投影层），这种做法反而会酿成灾难。由于缺少更高层级的表征协同，细粒度组件各自生成的适配方向会在反向传播时互相背离，从而严重放大了不同任务之间的内在梯度冲突46。基于这一深刻的观察，MTLoRA 提倡应该放弃组件级的散乱更新，转向使用更大感受野的块级（Block-level）适配结构，即在整个 Transformer 块（或完整的 MHA / FFN 宏观级别）上设计统一的适配模块。在块级视角下统一调节跨任务共享特征与任务特定特征的路由与融合，不仅显著削减了模块间冲突，还在同等性能下大幅缩减了近一半的可训练参数46。  
+现有多任务参数高效适配方法虽然引入了共享与专用结构以及动态路由思想，但其设计通常仍停留在任务粒度或专家粒度，尚未充分结合 Transformer 内部不同模块的功能角色差异进行系统建模。
+
+## ---
+
+**2.4 结构异质性感知与多层级适配方法**
+
+前文的论述系统揭示了模型组件在多任务微调中所暴露出的结构与容量盲区。然而，大语言模型的复杂性远不止于此。除了宏观模块级（MHA 对比 FFN）的功能分工外，深层隐式表示在特征维度层面，以及物理权重在多尺度频域层面，同样展现出不容忽视的结构异质性。本节将深入梳理在更细粒度视角下的结构感知现象与多层级适配相关的最新技术进展，从而为本文第四、五、六章将要提出的 RoSA、DyPAM、CASCADE 及 MESSA 等框架提供直接且严密的理论与方法论铺垫。
+
+### **2.4.1 位置编码结构与维度级表示异质性**
+
+在 2.1.2 节所引入的基于李代数旋转群的 RoPE 机制之上，近年来的深入实证分析与几何拓扑研究进一步揭示了由这一位置编码所直接诱导出的极其特殊的\*\*维度级表示异质性（Dimension-level Representation Heterogeneity）\*\*现象8。研究清晰地表明，并非所有注意力维度都在均等地参与上下文计算。相反，由于 RoPE 的复数旋转频率在各个维度对上呈严格的几何级数分布，导致注意力机制的特征维度对序列距离的敏感度和注意力能量聚集度，呈现出高度不均匀的“频带（Frequency Band）”结构8。  
+一方面，系统中的低频（高索引）维度承担着跨越巨大跨度的长程语义获取重任。由于这些维度对应的旋转周期极长、角度变化缓慢，它们在深层网络的自注意力计算中往往能够保留长序列的宏观语境信息。实证研究发现，正是这些低频维度在网络深层表现出更加密集和绝对幅值极高的激活反应（即大量产生了主导后续前向传播的极端激活现象，或称为“Outliers”）11。这些离群激活在维持大语言模型面对长文本时的整体逻辑和事实连贯性中，起着不可替代的决定性作用。  
+另一方面，系统中的高频（低索引）维度则由于剧烈的角度旋转，极易陷入局部的近距离词元强交互中。虽然它们在捕捉短程语法结构时极为敏感，但当面对数百乃至数万词元的长文本推断时，这些高频维度往往会出现严重的位置信息衰减和周期“混叠（Aliasing）”现象，反而干扰了长程依赖的判断9。有研究者通过强制干预实验发现，如果在推理或生成阶段强行抹去或屏蔽（Masking）部分极高频维度特征，将它们转化为非位置编码（NoPE）状态，大语言模型的整体困惑度（Perplexity）几乎不受任何负面影响，甚至在长序列外推上有所提升；但一旦改动或破坏了主导宏观语境的关键低频维度，则会直接引发模型性能的彻底崩溃8。  
+不仅如此，这种维度级别能量的不均匀分布还会受到输入条件（Input-dependent）的强烈动态调制。同一特定频率的特征维度，在面对不同类型指令（Prompt）、不同领域分布或者带有极强局部情感语义的输入段落时，其在各层注意力头（Attention Heads）中的激活波峰、频率响应以及各向异性程度均会产生剧烈且不可预测的波动12。然而，当前的微调手段大多仍然依赖于对全部维度特征进行简单的逐维缩放或均匀的矩阵乘法投影，未能有效地提取或捕获这一底层静态的频带分布规律及上层动态的输入依赖特征。  
+现有研究已经表明，位置结构在维度级、头级乃至输入条件下均可能呈现非均匀分布，但这些异质性特征尚未被系统纳入参数高效适配机制之中。
+
+### **2.4.2 多尺度频谱分析与频域适配方法**
+
+从表示空间的维度异质性过渡到物理参数空间的结构分析，多尺度频谱分析（Multi-scale Spectrum Analysis）正为大语言模型的权重更新机制提供一个突破传统欧氏几何的全新解析视角29。传统的神经网络微调方法无一例外地完全在空域（Spatial Domain）即权重的原始标量数值空间内进行高维优化。然而，在函数逼近论的框架下，大规模神经网络的参数矩阵实际上可以被视为由多种不同频率、不同波长的正交成分复合而成的复杂信号系统51。  
+深度学习优化理论中著名的“频谱偏置（Spectral Bias）”现象指出，以梯度下降为核心的深度神经网络在训练和拟合数据流形时，总是表现出一种本能的偏好：优先学习并快速逼近目标函数中频率较低的部分（这部分通常对应于样本中平滑的、全局的宏观拓扑结构、基础语义或主导分类面的大尺度特征），随后在训练的后期，才逐渐且极其缓慢地去适应目标函数中的高频部分（这部分通常对应于剧烈变化的边界、局部特异性的细粒度特征或噪声偏置）51。  
+受到这一物理特性的深刻启发，前沿研究人员开始尝试跨越空域的局限，将经典的数字信号处理与频率变换工具（如离散余弦变换 DCT、小波变换 Wavelet Transform 以及快速傅里叶变换 Fourier Transform）创新性地引入到大模型的高效微调（PEFT）机制中29。在这一系列的频域适配方法中，以 FourierFT 和 Selective DCT（sDCTFT）为代表的模型架构，通过将巨大的参数或权重增量矩阵转换映射到频率域，巧妙利用了频域信号天然的能量集中特性。它们通过设计特定的频域滤波器或掩码，仅仅选择那些能量占比最大、对应模型宏观表征的最关键频段（通常是绝对低频成分）进行更新微调。由于舍弃了海量的高频冗余参数更新，这种方法在极大压缩了可训练参数量和优化空间维度的前提下，依然卓越地保持了模型在主干下游任务上的泛化能力29。  
+然而，事物往往具有两面性。多尺度频谱不仅仅包含低频的宏观基础规律，其高频细节同样对微小领域的极速适应、罕见事实知识的注入以及细粒度推理边界的微调起着不可替代的修饰作用。如果简单粗暴地采用单一频段的截断或平滑更新策略，往往会导致模型不可避免地丢失那些对于特定任务至关重要的非平稳信号和突变信息52。  
+现有频域适配方法已经初步证明频谱视角对参数更新建模的有效性，但多数方法仍采用单一频域结构假设，缺乏对跨频段依赖关系和多尺度异构更新模式的联合建模。
+
+### **2.4.3 参数容量分配与结构学习**
+
+与频谱层面的多尺度异质性紧密并行并相互交织的，是大规模预训练模型在面对多任务和复杂适配场景时，所不可避免暴露出的参数容量分配不均及结构冗余问题40。传统的微调方法无论是全量微调还是简单的 LoRA 注入，都高度依赖于人类专家预先设定且全局固定的容量结构配置。然而，在面对实际部署中计算资源、显存或存储空间受到严苛约束的边界条件（Budgeted Adaptation）时，这种僵化、硬编码的参数配额往往导致极其宝贵的计算资源流向了冗余模块，造成了深度的浪费与次优的泛化40。  
+在更广泛、底层的神经网络结构学习（Structure Learning）与拓扑优化学术文献中，神经架构搜索（Neural Architecture Search, NAS）的兴起以及“彩票假说（Lottery Ticket Hypothesis）”的提出，已经从严谨的理论和海量实验中无可辩驳地证实：在即使是表现极其平庸的庞大密集网络中，也往往隐秘地嵌套着一组极其稀疏、具有极佳连通性与权重的子网络结构。如果在训练初期就能发现并提取这些子网络，其最终优化收敛的效果和速度足以媲美甚至大幅超越原始的全量稠密网络参数58。  
+在将这一深刻理念引申至当下的 LLM 多任务适配与对齐领域时，立刻激发了关于跨任务“共享（Shared）”容量与特定任务“特有（Specific）”容量进行动态分解和分配的迫切需求40。例如，在多模态理解融合或跨域知识迁移研究中，研究者们常常构建 Shared-Specific 特征解耦模型。他们通过多任务辅助损失或对抗学习策略，显式且强制地切分网络层：决定哪些神经元、投影矩阵或具体的 LoRA 适配器应当专门用于吸收提取所有任务的底层共性表达，而哪些又必须被绝对隔离，专用于捕捉个别维度的特殊数据偏差与分布特征40。  
+然而，针对当前大语言模型这种具有极端且庞大过参数化属性、内部注意力交互错综复杂的非线性系统，要想在严格限定的全局总体参数预算或稀疏度限制下，对其所有层、所有模块和维度进行全局最优的联合容量分配，本质上构成了一个算力开销极大的 NP-hard 组合优化问题。目前业界依然极度缺乏一种行之有效、计算轻量的基础机制，能够从模型底层的低秩表示特性和稀疏矩阵分解的数学本质出发，将这种原本复杂的结构容量异质性，优雅地转化、映射为一种高效可微的结构寻优和预算规划过程。  
+尽管已有研究开始关注参数选择与结构学习问题，但在多任务条件下，如何在统一预算约束下实现共享与任务特有参数的联合分配，仍缺乏系统化的方法框架。
+
+## ---
+
+**2.5 本章小结**
+
+本章从大语言模型的架构基础机制出发，系统并层层递进地综述了参数高效适配方法（PEFT）的主流范式、多任务学习的困境与专家路由策略，以及前沿的结构异质性感知与频域/空域适配研究。通过细致剖析 Transformer 内在的注意力与前馈神经网络的宏观功能分工、由旋转位置编码（RoPE）引入并放大的维度频带分化与离群激活特性，以及预训练网络权重自身蕴含的多尺度频谱偏置与容量冗余等特征，我们从物理与数学层面理清了大语言模型内部结构的异构本质。同时，对现有的低秩（如 LoRA）、附加式、稀疏等微调技术的全景式梳理深刻表明，单纯通过降低参数规模或压缩秩空间来提升微调效率的发展路线已经开始触及理论和性能的玻璃天花板，而复杂多任务场景下的严重梯度冲突和表征负迁移，则进一步放大了这一挑战。  
+贯穿上述庞杂文献与各项微调技术分析的交汇点，深刻揭示了一个不可忽视的核心事实：大语言模型内部绝非一个等价的参数黑箱。从信息路由的维度看，不同模块在知识承载与逻辑传递上各司其职；从空间表征的维度看，不同隐层维度在位置感应与远近上下文捕捉中具有显著的频带偏移；从参数组织的维度看，不同权重簇在多尺度频域空间与多任务学习机制中，需要极度不均匀、甚至是对立的更新模式与容量配额。然而，目前的参数高效微调方法普遍陷入并在很大程度上固守着一种“结构盲目”的均匀适配假设。这种缺乏细粒度感知能力的静态分配，从根本上阻碍了模型在极低且受限资源预算下，去最大化激活和释放预训练参数中潜藏的效能与灵活性。  
+因此，彻底放弃“一把抓”的均匀适配旧有范式，转而构建一套能够精确诊断、捕捉并利用上述各层级异质性差异的**结构感知（Structure-Aware）适配统一框架**，已成为突破大语言模型高效迁移瓶颈、推动下一代大语言模型落地的必由之路。  
+为奠定后续章节展开的统一方法论基础，本文基于前述归纳的四类结构异质性现象，抽象并定义了统一的结构感知调制算子：
+
+$$\\tilde{\\mathbf{Z}}^{(\\ell)}=\\mathcal{M}\_{\\theta}\\big(\\mathbf{Z}^{(\\ell)};\\mathbf{X},\\mathcal{R}\\big)$$  
+其中，$\\mathbf{Z}^{(\\ell)}$ 为第 $\\ell$ 层的中间表示向量或参数矩阵，$\\mathbf{X}$ 为输入样本，$\\mathcal{M}\_{\\theta}$ 为结构感知调制模块，而 $\\mathcal{R}$ 则是表征特定结构角色差异的描述符。全文围绕这一算子框架，在表示空间与参数空间的二分主线下，设计了下表所示的由宏观粗粒度走向微观细粒度、由静态走向动态的多层级递进式适配方法体系：
+
+| 结构异质性类型 | 描述符 | 调制形式 | 适配空间 | 方法 | 章节 |
+| :---- | :---- | :---- | :---- | :---- | :---- |
+| **模块级功能异质性** | $\\mathcal{R}\_{mod}$ | 乘性调制 | 表示空间 | HyCAM | 第三章 |
+| **维度级位置结构异质性** | $\\mathcal{R}\_{dim}$ | 乘性调制 | 表示空间 | RoSA | 第四章 |
+| **维度级位置结构异质性** | $\\mathcal{R}\_{dim}$ | 乘性调制 | 表示空间 | DyPAM | 第五章 |
+| **频谱级多尺度异质性** | $\\mathcal{R}\_{spec}$ | 组合式调制 | 参数空间 | CASCADE | 第六章 |
+| **参数级容量分配异质性** | $\\mathcal{R}\_{param}$ | 结构分解调制 | 参数空间 | MESSA | 第六章 |
+
+如表所示，该体系将沿着“**表示空间**：模块级 $\\rightarrow$ 维度级”以及“**参数空间**：频谱结构 $\\rightarrow$ 容量分配”的双螺旋路径深入展开。在表示空间的维度级适配中，RoSA 被设计为面向静态、粗粒度的位置结构感知适配；而 DyPAM 则进一步深化，聚焦于动态、细粒度的位置结构感知调制。基于本章梳理的上述理论体系与统一映射框架，本文将正式进入逐层的方法设计。下一章（第三章）将首先从最外层的模块级功能分化入手，探讨如何通过上下文注意力调制框架（HyCAM），来彻底解决多任务复杂条件下的宏观功能角色感知与特征融合适配难题。
+
+#### **引用的著作**
+
+1. LLM Interview Series(3): Transformers Explained — Attention Is All You Need \- DEV \- Dev.to, 访问时间为 三月 19, 2026， [https://dev.to/jackm\_345442a09fb53b/llm-interview-series3-transformers-explained-attention-is-all-you-need-523o](https://dev.to/jackm_345442a09fb53b/llm-interview-series3-transformers-explained-attention-is-all-you-need-523o)  
+2. LLM's Simplified — Feed Forward Network (FFN) | by Sampath Kumaran Ganesan | Medium, 访问时间为 三月 19, 2026， [https://sampathkumaran.medium.com/llms-simplified-feed-forward-network-ffn-24ec761e664a](https://sampathkumaran.medium.com/llms-simplified-feed-forward-network-ffn-24ec761e664a)  
+3. PEFT Techniques- LoRA, AdaLoRA, QLoRA, DoRA, DyLoRA | by Ayushi Gupta | Medium, 访问时间为 三月 19, 2026， [https://medium.com/@ayushigupta9723/peft-techniques-lora-adalora-qlora-dora-61fbb375f338](https://medium.com/@ayushigupta9723/peft-techniques-lora-adalora-qlora-dora-61fbb375f338)  
+4. Layerwise Importance Analysis of Feed-Forward Networks in Transformer-based Language Models \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2508.17734v1](https://arxiv.org/html/2508.17734v1)  
+5. Transformer Feed-Forward Layers Build Predictions by Promoting Concepts in the Vocabulary Space | Request PDF \- ResearchGate, 访问时间为 三月 19, 2026， [https://www.researchgate.net/publication/372924802\_Transformer\_Feed-Forward\_Layers\_Build\_Predictions\_by\_Promoting\_Concepts\_in\_the\_Vocabulary\_Space](https://www.researchgate.net/publication/372924802_Transformer_Feed-Forward_Layers_Build_Predictions_by_Promoting_Concepts_in_the_Vocabulary_Space)  
+6. Simple Guide to RoPE Scaling in Large Language Models \- Floating Bytes, 访问时间为 三月 19, 2026， [https://saraswatmks.github.io/2025/12/rope-scaling-llms.html](https://saraswatmks.github.io/2025/12/rope-scaling-llms.html)  
+7. Rethinking RoPE: A Mathematical Blueprint for N-dimensional Rotary Positional Embedding, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2504.06308v2](https://arxiv.org/html/2504.06308v2)  
+8. BASE FREQUENCY AND CONTEXT LENGTH SHAPE THE INTERPOLATION–EXTRAPOLATION TRADE-OFF \- OpenReview, 访问时间为 三月 19, 2026， [https://openreview.net/pdf/4dd46cea98fadb375d28fcf897debdf638db365b.pdf](https://openreview.net/pdf/4dd46cea98fadb375d28fcf897debdf638db365b.pdf)  
+9. RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Language Models \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2511.21733v1](https://arxiv.org/html/2511.21733v1)  
+10. RoPE (Rotary Position Embeddings): A Detailed Example \- Towards AI, 访问时间为 三月 19, 2026， [https://towardsai.net/p/machine-learning/rope-rotary-position-embeddings-a-detailed-example](https://towardsai.net/p/machine-learning/rope-rotary-position-embeddings-a-detailed-example)  
+11. The Dark Side of RoPE: The Hidden Cost of Rotating Space | by Cengizhan Bayram, 访问时间为 三月 19, 2026， [https://medium.com/@cenghanbayram35/the-dark-side-of-rope-the-hidden-cost-of-rotating-space-47d1173b5c8e](https://medium.com/@cenghanbayram35/the-dark-side-of-rope-the-hidden-cost-of-rotating-space-47d1173b5c8e)  
+12. The Heterogeneous Feature of RoPE-based Attention in Long-Context LLMs, 访问时间为 三月 19, 2026， [https://huggingface.co/blog/SII-xrliu/heterogeneous-features](https://huggingface.co/blog/SII-xrliu/heterogeneous-features)  
+13. Contextual Attention Modulation: Towards Efficient Multi-Task Adaptation in Large Language Models \- arXiv.org, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2510.17705v1](https://arxiv.org/html/2510.17705v1)  
+14. (PDF) Transformer Feed-Forward Layers Are Key-Value Memories \- ResearchGate, 访问时间为 三月 19, 2026， [https://www.researchgate.net/publication/348079179\_Transformer\_Feed-Forward\_Layers\_Are\_Key-Value\_Memories](https://www.researchgate.net/publication/348079179_Transformer_Feed-Forward_Layers_Are_Key-Value_Memories)  
+15. Stable Anisotropic Regularization \- OpenReview, 访问时间为 三月 19, 2026， [https://openreview.net/forum?id=dbQH9AOVd5](https://openreview.net/forum?id=dbQH9AOVd5)  
+16. \[Replication\] "Transformer Feed-Forward Layers Are Key-Value Memories" · Issue \#5 · EleutherAI/project-menu \- GitHub, 访问时间为 三月 19, 2026， [https://github.com/EleutherAI/project-menu/issues/5](https://github.com/EleutherAI/project-menu/issues/5)  
+17. A Framework for Domain-Specific Dataset Creation and Adaptation of Large Language Models \- MDPI, 访问时间为 三月 19, 2026， [https://www.mdpi.com/2073-431X/14/5/172](https://www.mdpi.com/2073-431X/14/5/172)  
+18. (PDF) Contextual Attention Modulation: Towards Efficient Multi-Task Adaptation in Large Language Models \- ResearchGate, 访问时间为 三月 19, 2026， [https://www.researchgate.net/publication/396716478\_Contextual\_Attention\_Modulation\_Towards\_Efficient\_Multi-Task\_Adaptation\_in\_Large\_Language\_Models](https://www.researchgate.net/publication/396716478_Contextual_Attention_Modulation_Towards_Efficient_Multi-Task_Adaptation_in_Large_Language_Models)  
+19. Not all parameters are born equal: Attention is mostly what you need \- ACL Anthology, 访问时间为 三月 19, 2026， [https://aclanthology.org/2021.blackboxnlp-1.28/](https://aclanthology.org/2021.blackboxnlp-1.28/)  
+20. Heterogeneity in Entity Matching: A Survey and Experimental Analysis \- arXiv.org, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2508.08076v1](https://arxiv.org/html/2508.08076v1)  
+21. A Pure Transformer Pretraining Framework on Text-attributed Graphs \- PMC, 访问时间为 三月 19, 2026， [https://pmc.ncbi.nlm.nih.gov/articles/PMC12416796/](https://pmc.ncbi.nlm.nih.gov/articles/PMC12416796/)  
+22. Transformer Feed-Forward Layers Are Key-Value Memories \- ACL Anthology, 访问时间为 三月 19, 2026， [https://aclanthology.org/2021.emnlp-main.446.pdf](https://aclanthology.org/2021.emnlp-main.446.pdf)  
+23. \[2012.14913\] Transformer Feed-Forward Layers Are Key-Value Memories \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/abs/2012.14913](https://arxiv.org/abs/2012.14913)  
+24. Not all parameters are born equal: Attention is mostly what you need \- Semantic Scholar, 访问时间为 三月 19, 2026， [https://www.semanticscholar.org/paper/Not-all-parameters-are-born-equal%3A-Attention-is-you-Bogoychev/947bec3b6ccb112aea56da230560207ac800ee2b](https://www.semanticscholar.org/paper/Not-all-parameters-are-born-equal%3A-Attention-is-you-Bogoychev/947bec3b6ccb112aea56da230560207ac800ee2b)  
+25. Not all parameters are born equal: Attention is mostly what you need \- ACL Anthology, 访问时间为 三月 19, 2026， [https://aclanthology.org/2021.blackboxnlp-1.28.pdf](https://aclanthology.org/2021.blackboxnlp-1.28.pdf)  
+26. Exploring Anisotropy and Outliers in Multilingual \- Scribd, 访问时间为 三月 19, 2026， [https://www.scribd.com/document/892260775/Exploring-Anisotropy-and-Outliers-in-Multilingual](https://www.scribd.com/document/892260775/Exploring-Anisotropy-and-Outliers-in-Multilingual)  
+27. Disentangling Geometry, Performance, and Training in Language Models \- ResearchGate, 访问时间为 三月 19, 2026， [https://www.researchgate.net/publication/401188613\_Disentangling\_Geometry\_Performance\_and\_Training\_in\_Language\_Models](https://www.researchgate.net/publication/401188613_Disentangling_Geometry_Performance_and_Training_in_Language_Models)  
+28. \[2305.19358\] Stable Anisotropic Regularization \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/abs/2305.19358](https://arxiv.org/abs/2305.19358)  
+29. Parameter-Efficient Fine-Tuning via Selective Discrete Cosine Transform \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2410.09103v1](https://arxiv.org/html/2410.09103v1)  
+30. Conflict-Averse Gradient Descent for Multi-task Learning \- NeurIPS, 访问时间为 三月 19, 2026， [https://proceedings.neurips.cc/paper/2021/file/9d27fdf2477ffbff837d73ef7ae23db9-Paper.pdf](https://proceedings.neurips.cc/paper/2021/file/9d27fdf2477ffbff837d73ef7ae23db9-Paper.pdf)  
+31. RoSA: Enhancing Parameter-Efficient Fine-Tuning via ... \- BIGSCity, 访问时间为 三月 19, 2026， [https://www.bigscity.com/app/download/12941806112/RoSA-+Enhancing+Parameter-Efficient+Fine-Tuning+via+RoPE-aware+Selective+Adaptation+in+Large+Language+Models.pdf?t=1764733647](https://www.bigscity.com/app/download/12941806112/RoSA-+Enhancing+Parameter-Efficient+Fine-Tuning+via+RoPE-aware+Selective+Adaptation+in+Large+Language+Models.pdf?t=1764733647)  
+32. RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2401.04679v4](https://arxiv.org/html/2401.04679v4)  
+33. LoRaDA: Low-Rank Direct Attention Adaptation for Efficient LLM Fine-tuning, 访问时间为 三月 19, 2026， [https://aclanthology.org/2025.findings-emnlp.676/](https://aclanthology.org/2025.findings-emnlp.676/)  
+34. PEML: Parameter-efficient Multi-Task Learning with Optimized Continuous Prompts, 访问时间为 三月 19, 2026， [https://openreview.net/forum?id=lnH5YFPcxZ](https://openreview.net/forum?id=lnH5YFPcxZ)  
+35. \[2511.21733\] RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Language Models \- arXiv.org, 访问时间为 三月 19, 2026， [https://arxiv.org/abs/2511.21733](https://arxiv.org/abs/2511.21733)  
+36. Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2602.03918v1](https://arxiv.org/html/2602.03918v1)  
+37. Efficient Fine-Tuning via Behavior-Guided Spectral Alignment | OpenReview, 访问时间为 三月 19, 2026， [https://openreview.net/forum?id=edgZd6BVzx](https://openreview.net/forum?id=edgZd6BVzx)  
+38. Locate, Steer, and Improve: A Practical Survey of Actionable Mechanistic Interpretability in Large Language Models \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2601.14004v2](https://arxiv.org/html/2601.14004v2)  
+39. Frequency Bands in RoPE: Base Frequency and Context Length Shape the Interpolation–Extrapolation Trade-off | OpenReview, 访问时间为 三月 19, 2026， [https://openreview.net/forum?id=PR1PPxvG9Q](https://openreview.net/forum?id=PR1PPxvG9Q)  
+40. Multi-modal Learning with Missing Modality via Shared-Specific Feature Modelling | CVF Open Access, 访问时间为 三月 19, 2026， [https://openaccess.thecvf.com/content/CVPR2023/papers/Wang\_Multi-Modal\_Learning\_With\_Missing\_Modality\_via\_Shared-Specific\_Feature\_Modelling\_CVPR\_2023\_paper.pdf](https://openaccess.thecvf.com/content/CVPR2023/papers/Wang_Multi-Modal_Learning_With_Missing_Modality_via_Shared-Specific_Feature_Modelling_CVPR_2023_paper.pdf)  
+41. HoME: Hierarchy of Multi-Gate Experts for Multi-Task Learning at Kuaishou \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2408.05430v1](https://arxiv.org/html/2408.05430v1)  
+42. Disentangling Task Conflicts in Multi-Task LoRA via Orthogonal Gradient Projection \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2601.09684v1](https://arxiv.org/html/2601.09684v1)  
+43. \[2110.14048\] Conflict-Averse Gradient Descent for Multi-task Learning \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/abs/2110.14048](https://arxiv.org/abs/2110.14048)  
+44. Implement PCGrad (Projecting Conflicting Gradients) for Multi-Task Optimization · Issue \#51 · 0-5788719150923125/praxis \- GitHub, 访问时间为 三月 19, 2026， [https://github.com/0-5788719150923125/praxis/issues/51](https://github.com/0-5788719150923125/praxis/issues/51)  
+45. Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval, 访问时间为 三月 19, 2026， [https://sigir-2024.github.io/proceedings.html](https://sigir-2024.github.io/proceedings.html)  
+46. Multi-Task Low-Rank Model Adaptation | OpenReview, 访问时间为 三月 19, 2026， [https://openreview.net/forum?id=L3RSb9yTlL](https://openreview.net/forum?id=L3RSb9yTlL)  
+47. Scalable Multi-Task Low-Rank Model Adaptation \- arXiv.org, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2603.01526v1](https://arxiv.org/html/2603.01526v1)  
+48. CVPR Poster MTLoRA: Low-Rank Adaptation Approach for Efficient Multi-Task Learning, 访问时间为 三月 19, 2026， [https://cvpr.thecvf.com/virtual/2024/poster/31243](https://cvpr.thecvf.com/virtual/2024/poster/31243)  
+49. Rethinking RoPE Scaling in Quantized LLM: Theory, Outlier, and Channel-Band Analysis with Weight Rescaling \- arXiv.org, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2510.00028v1](https://arxiv.org/html/2510.00028v1)  
+50. Adaptive multi-scale phase-aware fusion network for EEG seizure recognition \- PMC, 访问时间为 三月 19, 2026， [https://pmc.ncbi.nlm.nih.gov/articles/PMC12340438/](https://pmc.ncbi.nlm.nih.gov/articles/PMC12340438/)  
+51. On the Spectral Bias of Neural Networks \- Proceedings of Machine Learning Research, 访问时间为 三月 19, 2026， [http://proceedings.mlr.press/v97/rahaman19a/rahaman19a.pdf](http://proceedings.mlr.press/v97/rahaman19a/rahaman19a.pdf)  
+52. Training Behavior of Deep Neural Network in Frequency Domain \- ResearchGate, 访问时间为 三月 19, 2026， [https://www.researchgate.net/publication/337922791\_Training\_Behavior\_of\_Deep\_Neural\_Network\_in\_Frequency\_Domain](https://www.researchgate.net/publication/337922791_Training_Behavior_of_Deep_Neural_Network_in_Frequency_Domain)  
+53. Deep Learning in Practice, 访问时间为 三月 19, 2026， [https://www.lri.fr/\~gcharpia/deeppractice/chap\_2.html](https://www.lri.fr/~gcharpia/deeppractice/chap_2.html)  
+54. FreqLLM: Frequency-Aware Large Language Models for Time Series Forecasting \- IJCAI, 访问时间为 三月 19, 2026， [https://www.ijcai.org/proceedings/2025/0377.pdf](https://www.ijcai.org/proceedings/2025/0377.pdf)  
+55. Wavelet Enhanced Adaptive Frequency Filter for Sequential Recommendation \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2511.07028v2](https://arxiv.org/html/2511.07028v2)  
+56. Semantic Agreement Enables Efficient Open-Ended LLM Cascades \- arXiv, 访问时间为 三月 19, 2026， [https://arxiv.org/html/2509.21837v1](https://arxiv.org/html/2509.21837v1)  
+57. Open-source LLMs for text annotation: a practical guide for model setting and fine-tuning \- ZORA, 访问时间为 三月 19, 2026， [https://www.zora.uzh.ch/server/api/core/bitstreams/e4a2251b-12d0-4445-9371-6643b205176f/content](https://www.zora.uzh.ch/server/api/core/bitstreams/e4a2251b-12d0-4445-9371-6643b205176f/content)  
+58. Main Track \- AAAI.org, 访问时间为 三月 19, 2026， [https://aaai.org/wp-content/uploads/2023/12/Main-Track.pdf](https://aaai.org/wp-content/uploads/2023/12/Main-Track.pdf)  
+59. Scaling Low-Resource MT via Synthetic Data Generation with LLMs \- ACL Anthology, 访问时间为 三月 19, 2026， [https://aclanthology.org/2025.emnlp-main.1408.pdf](https://aclanthology.org/2025.emnlp-main.1408.pdf)  
+60. LLM-Driven Transient Stability Assessment: From Automated Simulation to Neural Architecture Design \- ResearchGate, 访问时间为 三月 19, 2026， [https://www.researchgate.net/publication/397984217\_LLM-Driven\_Transient\_Stability\_Assessment\_From\_Automated\_Simulation\_to\_Neural\_Architecture\_Design](https://www.researchgate.net/publication/397984217_LLM-Driven_Transient_Stability_Assessment_From_Automated_Simulation_to_Neural_Architecture_Design)

deepresearch/think_result.md

@@ -0,0 +1,165 @@
+下面给你一版可直接作为第二章初稿展开的综述文本。我按你确定的章节结构来写，写法尽量靠近博士论文综述章：不是简单堆文献，而是围绕“**大语言模型内部存在结构异质性，因此需要结构感知适配**”这条主线来组织。文中引用尽量选原始论文、会议主页或 ACL/NeurIPS/OpenReview 等一手来源。([arXiv][1])
+
+---
+
+# 第二章 大语言模型表征适配的相关理论与研究进展
+
+## 2.1 大语言模型架构基础与表示机制
+
+### 2.1.1 Transformer 架构与核心计算流程
+
+Transformer 由多层堆叠的自注意力子层与前馈网络子层构成，并通过残差连接与层归一化维持深层训练的稳定性。其基本思想是在序列维度上以注意力机制建立 token 间的全局依赖关系，再通过位置独立的前馈映射实现非线性特征变换。自《Attention Is All You Need》提出以来，这一结构已经成为现代基础模型的统一骨架；而 GPT 系列、LLaMA 系列等大语言模型进一步采用 decoder-only 形式，仅保留因果掩码自注意力与逐层残差传播路径，使模型能够在自回归预测中逐步累积上下文信息。([arXiv][1])
+
+从计算流程看，输入 token 经过嵌入映射后进入各层残差流，在每一层中先后接受注意力更新与前馈更新。注意力子层侧重于跨 token 的上下文聚合，前馈网络则对每个位置的表示进行通道混合与特征重构；残差连接使得不同层的增量更新能够被线性叠加，而层归一化则调节各层输入输出的统计尺度。近期关于 decoder-only Transformer 的技术综述与结构分析也普遍强调，残差流并不是单纯的“中转通道”，而是承载跨层信息累积与功能叠加的核心载体。([arXiv][2])
+
+就本文的研究对象而言，这一架构至少给出两点直接启示：其一，下游适配的对象并非单一参数集合，而是由注意力、前馈、残差与归一化等不同功能组件共同构成的层级系统；其二，表示在层间传播的过程本身已经蕴含功能分工的可能性。因此，Transformer 的表示形成过程不是均匀同质的，而是由多个结构单元协同完成，这为后续从模块、维度与参数空间分析适配问题提供了基础。([arXiv][1])
+
+### 2.1.2 旋转位置编码与位置信息建模
+
+由于自注意力本身对序列顺序不敏感，位置编码机制成为 Transformer 建模序列结构的必要组成。早期方法以绝对位置嵌入或可学习位置向量为主，随后逐步发展出相对位置偏置、线性偏置与旋转位置编码等形式。其中，RoPE 将位置信息表示为对 query/key 向量二维子空间的旋转变换，使得内积计算同时携带绝对位置与相对位置信息，因此兼具实现简洁与相对位置建模能力。([arXiv][3])
+
+从数学形式上看，RoPE 将隐藏维划分为若干二维维度对，并以不同角频率对这些维度对施加旋转。由此，不同维度对实际对应不同尺度的相位变化速度：低频分量更偏向长程、平滑的位置关系，高频分量更敏感于局部相对位移。相较之下，ALiBi 通过在线性注意力分数上施加与距离成比例的偏置来实现长度外推，不直接修改表示向量；可学习绝对位置嵌入则更依赖训练长度范围内的位置索引，通常在外推性上不如相对位置方法。([arXiv][3])
+
+近年的进一步分析也开始从谱视角理解位置编码，指出 RoPE 的内容—位置耦合实质上对应一种相位调制或谱约束过程，这使其不仅是“给序列加位置”，而是在表示空间中塑造了具有频率结构的几何变换。对本文而言，这一点尤其重要：RoPE 的频率分解特性意味着位置信息在不同维度对上的编码方式天然不均匀，后续对维度级位置结构异质性的建模并非外加设定，而是来源于位置机制本身的内在结构。([arXiv][4])
+
+### 2.1.3 预训练范式与大语言模型的表示能力
+
+现代大语言模型通常遵循“海量预训练—任务适配/对齐”的基本范式。GPT-3 展示了随着模型规模扩展而出现的强 few-shot 与 in-context learning 能力；LLaMA、Llama 2、Llama 3 与 Qwen2.5/Qwen3 等开源模型则进一步表明，在高质量数据、长周期预训练和后训练优化的支持下，decoder-only Transformer 已能在语言理解、推理、代码、工具使用与多语言任务上形成较强的通用表征基础。([arXiv][5])
+
+但预训练能力强并不意味着可以直接替代任务适配。其原因至少包括三点：首先，预训练目标与下游任务目标并不完全一致，通用表示未必能自动转化为最优任务决策边界；其次，面向特定领域、特定格式或特定推理模式的能力往往需要通过监督信号或偏好信号进行再组织；最后，随着模型规模上升，完全重训或全参数微调的计算、存储与部署成本迅速上升，使“在冻结大部分参数前提下调用已有知识”成为现实上更可行的路径。LoRA 等方法正是在这一背景下迅速成为主流。([arXiv][6])
+
+因此，预训练模型提供的是强大的通用表示底座，而不是自动完成任务特化的终点。真正决定这些预训练能力能否被有效调用并转化为任务性能的，仍然是适配机制如何作用于模型内部表示与参数结构。这个判断构成了本文研究表征适配问题的现实基础。([arXiv][5])
+
+### 2.1.4 模型内部的功能分化与结构异质性
+
+越来越多的研究表明，Transformer 内部并不是一个“均匀黑箱”。在模块层面，前馈网络被证明可视为一种键值记忆结构，能够存储与检索特定模式相关的语义或事实信息；而注意力头则更多承担跨位置的信息选择、复制、对齐与路由功能。围绕 induction heads、attention circuits 与 residual stream 的机制解释进一步显示，不同子模块在推理链路中的因果角色并不相同。([ACL Anthology][7])
+
+在层级与头级层面，已有工作发现大量注意力头具有明显的功能专化现象，一部分头在句法、指代或特定位置模式上高度敏感，而另一部分头即使被剪除也不会显著影响性能，这说明“头的重要性”与“头的角色类型”在层间并不均匀分布。Voita 等和 Michel 等的经典工作都指出，少量专化头承担了主要作用，其余头存在相当程度的冗余。([ACL Anthology][8])
+
+在维度层面，表示各向异性、异常维度与极端激活现象也不断被报告。相关研究指出，Transformer 的上下文化表示天然倾向于形成非均匀的方向分布；与此同时，LLM.int8、Massive Activations 与后续关于系统性 outliers 的工作则进一步揭示，少数特征维度或少数 token 位置会持续呈现异常大的激活值，并对注意力分布、量化稳定性乃至预测行为产生实质影响。([arXiv][9])
+
+综合这些证据，可以得到一个对本文十分关键的结论：大语言模型内部普遍存在模块级、层级、头级与维度级的多层级结构异质性。既然模型自身并非均匀结构，那么下游适配也不宜默认所有结构位置具有近似一致的更新价值，而应考虑不同结构角色的差异化作用。这正是本文第一章统一分析框架在第二章中的经验依据。([ACL Anthology][7])
+
+## 2.2 参数高效微调方法
+
+### 2.2.1 低秩适配方法
+
+参数高效微调的核心目标是在尽量冻结预训练参数的前提下，以少量新增或重参数化参数完成任务适配。其中影响最广的一条技术路线是低秩适配。LoRA 通过将权重增量表示为两个低秩矩阵的乘积，把原本高维更新约束在一个低维子空间中，从而显著减少训练参数与优化器状态开销，同时避免适配器类方法带来的额外推理时延。([arXiv][6])
+
+在 LoRA 之后，研究者主要围绕“低秩空间如何更合理地构造”展开改进。AdaLoRA 引入重要性驱动的预算分配，不再为所有权重矩阵平均分配秩；DoRA 通过将权重分解为方向与幅值两个部分，试图在保持参数效率的同时更接近全参数微调的学习模式；VeRA 则进一步将低秩更新中的大矩阵随机冻结，仅保留向量级参数学习，以降低多任务或多用户场景下的适配存储成本。([arXiv][10])
+
+低秩方法已经成为大语言模型适配的事实标准，但其共同特征也较为明显：它们主要关注如何在统一的线性子空间中高效表达更新，而较少显式建模不同模块、不同维度、不同结构位置之间的功能差异。即使像 AdaLoRA 已经开始引入预算再分配，其建模对象也主要仍是矩阵重要性，而不是更一般的结构角色异质性。因此，低秩适配在成本控制上极具优势，却仍保留了相对均匀的适配假设。([arXiv][6])
+
+### 2.2.2 附加式与提示类适配方法
+
+除低秩方法外，PEFT 的另一条主流路线是附加式模块与提示类方法。典型代表是 Houlsby Adapter，它在 Transformer 子层之间插入小型瓶颈模块，只训练这些新增模块而冻结主干参数。这类方法的优势在于结构清晰、任务隔离性好，适合多任务环境中按任务维护独立参数块。([arXiv][11])
+
+提示类方法则从输入条件化角度实现适配。Prefix-Tuning 通过在每层引入可训练前缀键值向量，让下游 token 像“读取虚拟上下文”一样接收任务信息；Prompt Tuning 直接优化输入侧软提示；P-Tuning v2 则将深层提示扩展到多层，并系统改进优化策略，使得提示方法在更广泛的模型规模与任务类型上接近全参数微调。([arXiv][12])
+
+这一路线说明，参数高效适配并不一定要求直接更新原权重，也可以通过附加侧路或输入条件改变内部表示演化轨迹。不过，无论是 adapter 的统一插入位置，还是 prompt/prefix 的统一提示空间，本质上仍更多依赖人为选定的“共通接口”，而较少深入刻画模型内部哪些模块、哪些维度、哪些位置结构真正更值得被调制。因此，这些方法虽拓展了 PEFT 的实现形式，但对内部结构差异的显式建模仍较弱。([arXiv][11])
+
+### 2.2.3 选择式与稀疏微调方法
+
+随着研究推进，PEFT 开始从“如何少量新增参数”进一步转向“哪些原有参数值得更新”。BitFit 是这一趋势的代表性早期工作，它仅更新偏置项，说明预训练模型中一小部分参数就可能足以显著重组下游行为。随后，movement pruning 将稀疏化过程直接嵌入微调，利用权重变化趋势而非静态幅值来决定剪枝方向，为“微调即选择”提供了更直接的优化视角。([arXiv][13])
+
+近期工作进一步将选择思想推向更大模型与更细结构。LISA 根据层间权重范数与更新重要性的偏斜分布，对不同层实施重要性采样与随机冻结，表明在 LLM 微调中并非所有层都需要持续参与更新；SHiRA 则直接训练极少比例的原模型权重，形成高度稀疏、可快速切换的适配器结构；SpIEL 等方法则试图把稀疏微调扩展到 LLaMA 级别模型，并在预算约束下动态维护活跃参数集。([arXiv][14])
+
+这些方法已经明显触及“参数选择”与“容量分配”问题，但总体上看，它们多数仍将选择依据建立在局部重要性、梯度变化或层级统计之上，对更高层次的结构角色、跨任务共享关系以及全局预算如何在共享与专用子空间间联合分配，尚缺乏统一刻画。这也为后续参数级结构分解方法提供了切入点。([arXiv][14])
+
+### 2.2.4 现有方法的均匀适配假设与局限
+
+总体来看，现有 PEFT 方法虽然在实现机制上各不相同，但大多仍默认一种相对均匀的适配假设。低秩方法通常将大多数目标矩阵置于同类低秩更新框架中；adapter 和 prompt 类方法通常在统一位置插入相似结构；稀疏微调方法虽然开始做选择，但往往聚焦于参数或层的重要性评分，而不是更广义的结构异质性分析。相关综述与统一视角工作也指出，现有参数高效迁移方法虽可被归纳到重参数化、附加模块与选择更新等几类，但对“模型内部为什么应该差异化适配”这一问题讨论仍不足。([arXiv][15])
+
+这种均匀假设至少带来三类局限。第一，它弱化了注意力、前馈与不同层级之间的功能差异，容易把结构角色不同的模块放入同一更新模板。第二，它对位置编码相关的维度异质性利用不足，难以针对 RoPE 这类具有显式频率结构的位置机制做更细粒度建模。第三，它对参数更新的多尺度组织形式与多任务预算分配问题刻画不足，难以解释为什么在相同参数预算下，不同更新位置与不同子空间会产生显著不同的收益。([ACL Anthology][7])
+
+因此，现有参数高效微调方法的一个核心瓶颈，并不只是“参数不够少”或“性能不够高”，而是它们普遍建立在相对均匀的适配假设之上，尚未充分利用模型内部在模块、维度与参数空间层面的结构异质性。本文后续各章正是在这一断点上展开。([arXiv][15])
+
+## 2.3 多任务学习与模块级功能适配
+
+### 2.3.1 多任务学习与梯度冲突问题
+
+多任务学习的基本目标是在共享参数或共享表示的前提下，同时优化多个任务目标，以利用跨任务共性并降低总体成本。然而，大量研究指出，多任务训练并不天然带来增益，任务间常常同时存在共享与冲突：当不同任务的梯度方向相互矛盾时，联合优化会引入负迁移，导致某些任务性能下降或整体收敛不稳定。PCGrad 通过对冲突梯度做投影修正，CAGrad 则将最坏任务改进纳入正则化目标，都是围绕这一问题提出的代表方法。([OpenReview][16])
+
+这一研究谱系的重要启示是：多任务场景中的关键矛盾并非简单的“共享越多越好”或“隔离越多越好”，而是在共享知识与任务特化之间寻求平衡。对 LLM 适配而言，这意味着统一的单一适配器或统一的低秩子空间往往难以同时容纳多个任务所需的差异化更新模式，尤其当任务集合在推理方式、知识依赖或输出形式上差异较大时更是如此。([OpenReview][16])
+
+因此，多任务学习的经验并不只是提供一个应用背景，而是直接说明：任务间既存在共享规律，也存在显著差异，单纯依赖统一优化与统一适配往往难以兼顾知识共享与任务特化。这正是后续模块级功能适配需要引入共享—专用协同机制的理论前提。([OpenReview][16])
+
+### 2.3.2 混合专家模型与动态路由机制
+
+Mixture-of-Experts 提供了另一条重要思路，即通过稀疏激活与动态路由实现“按输入调用不同参数子集”。从早期 Sparsely-Gated MoE 到 Switch Transformer，再到 DeepSeekMoE，研究持续表明：在总参数规模极大的前提下，仅激活少量专家即可实现较高计算效率，并通过路由器将不同输入分配给更适合的专家子网络。([OpenReview][17])
+
+对于适配问题而言，MoE 的核心价值不只是在“把模型做大”，而在于它提供了**输入依赖的知识调用**机制。也就是说，同一个主干模型可以根据样本内容、任务需求或上下文状态，选择不同专家承担不同计算角色。不过，现有 MoE 工作的重点通常放在专家扩容、负载均衡、训练稳定性和路由效率上，较少进一步追问：这些被选择的专家是否与 Transformer 内部既有模块的功能分化存在系统对应关系。([arXiv][18])
+
+因此，动态路由机制已经为输入条件化适配提供了成熟工具，但其与“模块角色差异”的结合仍然不充分。后续若能把路由思想与注意力模块、前馈模块或特定层级的功能角色直接关联起来，就有可能把传统“专家选择”推进到“结构角色驱动的适配选择”。([arXiv][18])
+
+### 2.3.3 多任务参数高效适配方法
+
+在 PEFT 与多任务学习交叉方向上，近期已出现多类共享—专用或专家化设计。LoRAMoE 将多个 LoRA 适配器与路由网络结合，以减轻指令微调中的知识遗忘；MoELoRA 将 LoRA 视作低秩专家并引入对比学习，鼓励专家分化；MTLoRA 和 MTL-LoRA 则分别引入 task-agnostic / task-specific 低秩模块或附加任务自适应参数，试图在参数效率下处理多任务之间的共享与差异。([arXiv][19])
+
+这些方法说明，多任务 PEFT 已经不再满足于“为每个任务单独挂一个 LoRA”，而是开始显式建模任务共享知识、任务特有知识以及不同任务之间的交互机制。从研究趋势看，参数高效适配已经逐步从单任务静态插入走向多任务、可组合、可路由的结构设计。([arXiv][20])
+
+但现有方法的主要建模粒度仍停留在任务级或专家级：它们通常为任务分配 LoRA、为样本选择专家，却较少进一步区分“这些适配应当优先作用于哪些模块、哪些层、哪些表示流节点”。换言之，多任务 PEFT 已经意识到共享与专用的重要性，但尚未系统结合 Transformer 内部不同模块的功能角色差异开展建模，这正是模块级结构感知方法仍然必要的原因。([arXiv][20])
+
+## 2.4 结构异质性感知与多层级适配方法
+
+### 2.4.1 位置编码结构与维度级表示异质性
+
+围绕 RoPE 的后续研究已经逐步表明，位置建模并不是在所有维度上均匀发生的。RoPE 通过不同角频率对不同维度对施加旋转，这意味着位置关系会以多频率、多尺度形式嵌入表示空间；而后续从谱视角对 RoPE 的分析也显示，位置—内容耦合本身会诱导特定频率成分的收缩与重分配。([arXiv][3])
+
+与此同时，更一般的表示分析也发现了显著的维度异质性。各向异性研究指出，自注意力天然易形成方向分布不均的上下文化表示；outlier 与 massive activation 相关工作进一步说明，少数维度会长期承担异常大的激活，且这种现象与注意力集中、量化误差及特定 token 行为存在因果关联。结合注意力头专化现象可以看出，位置结构的非均匀性并不仅体现在维度对层面，也会进一步投射到头级乃至输入依赖的激活模式之上。([arXiv][9])
+
+因此，现有研究实际上已经给出两条非常清晰的线索：一条是静态的、由位置编码机制本身诱导的维度级频率不均匀性；另一条是动态的、受具体输入与上下文条件影响的头级/维度级激活差异。但在现有 PEFT 中，这些结构特征大多仍停留在分析层面，尚未被系统转化为参数高效适配机制。对本文而言，这正对应第四章的静态粗粒度位置结构感知适配与第五章的动态细粒度位置调制两条路线。([arXiv][3])
+
+### 2.4.2 多尺度频谱分析与频域适配方法
+
+除表示空间外，频谱视角也正在进入参数更新建模。其基本思想是：权重增量可以在频域中进行更紧凑或更结构化的表达，低频分量通常对应更平滑、更全局的更新模式，高频分量则更适合刻画局部、尖锐或细粒度修正。FourierFT 是这一方向的代表性工作，它直接在离散傅里叶域学习稀疏谱系数，以少量频域参数表达空间域中的权重更新。([arXiv][21])
+
+在 FourierFT 之后，DCT 和小波等更具能量压缩或局部多尺度特性的变换也开始被引入。LoCA 基于 iDCT 建模频域适配，并允许对更有信息量的频率位置进行选择；Selective DCT Fine-Tuning 同样强调 DCT 在能量集中特性上的优势；近期 WaveFT 等工作则进一步尝试利用小波域同时编码全局与局部结构。整体而言，这些方法已经初步说明：与单纯低秩近似相比，频域表示为参数更新提供了另一种更具多尺度解释性的压缩方式。([arXiv][22])
+
+不过，现有频域适配方法多数仍采用单一频域结构假设：要么把更新视为统一稀疏谱系数集合，要么只在某一变换域内选择少量位置学习。对于不同频段之间的依赖关系、不同尺度成分是否应采用异构参数化、以及从粗到细的级联更新关系，现有研究仍未系统展开。这正为面向多尺度频谱结构的参数级适配留下了空间。([arXiv][21])
+
+### 2.4.3 参数容量分配与结构学习
+
+参数空间的另一个重要方向是容量分配，即在给定预算约束下决定“哪些参数结构值得保留、哪些结构应被剪除或稀疏化”。这一问题在更广泛的模型压缩与结构学习文献中已有长期积累。彩票假说指出，过参数化网络中存在稀疏但可训练的“中奖彩票”子网络；神经网络剪枝与结构化剪枝研究则进一步表明，模型容量并非必须均匀分布在所有连接、通道或头上。([arXiv][23])
+
+在 Transformer 相关研究中，这一结论同样成立。注意力头剪枝研究显示，大量头在功能上并非同等重要；而结构化 pruning 与基于 NAS 的剪枝方法则开始把“预算—性能”权衡转化为显式搜索或优化问题。针对参数高效迁移场景，也已有工作尝试在预算约束下学习更优的 PET 架构，说明“适配器本身的结构”同样可以被设计而不是固定。([arXiv][24])
+
+但如果把问题推进到多任务条件下，复杂度会进一步提升。此时不仅要回答“哪些参数值得更新”，还要回答“哪些更新应由所有任务共享，哪些更新应保留为任务特有”。现有多任务 LoRA 或多适配器方法已经开始讨论 shared/private 结构，但在统一预算约束下如何做联合分配、如何避免共享与特有容量相互挤占、以及如何形成可解释的结构分解，仍缺乏系统方法框架。对本文而言，这正是参数级容量分配研究需要解决的核心问题。([arXiv][25])
+
+## 2.5 本章小结
+
+本章围绕大语言模型表征适配问题，综述了 Transformer 架构与位置建模机制、预训练与迁移范式、参数高效微调方法、多任务适配研究，以及与结构异质性相关的维度级和参数级研究进展。整体来看，相关文献已经从多个角度表明：现代大语言模型并不是均匀同质的参数集合，而是由具有不同功能角色的模块、维度与参数子空间共同组成的层级系统。([arXiv][1])
+
+现有研究一方面证明了参数高效微调的现实必要性与技术可行性，另一方面也暴露出主流方法在结构敏感性上的不足：它们大多仍以相对均匀的更新假设为前提，未能充分利用模型内部的模块功能差异、维度级位置结构差异以及参数空间中的多尺度与容量分配规律。正因如此，将适配问题从“如何少量更新参数”推进为“如何依据结构角色进行差异化调制”，就成为本文后续研究的核心任务。([arXiv][15])
+
+基于上述分析，下一章将首先从模块级结构异质性出发，讨论多任务条件下 Transformer 不同功能模块的适配角色差异，并在此基础上展开面向模块级表示空间调制的方法设计。([ACL Anthology][7])
+
+---
+
+如果你要，我下一步可以继续把这版直接改成**博士论文 LaTeX 正文格式**，包括 `\section`、`\subsection`、参考文献占位和更正式的段落衔接。
+
+[1]: https://arxiv.org/abs/1706.03762?utm_source=chatgpt.com "[1706.03762] Attention Is All You Need"
+[2]: https://arxiv.org/html/2411.00246v2?utm_source=chatgpt.com "ResiDual Transformer Alignment with Spectral ..."
+[3]: https://arxiv.org/abs/2104.09864?utm_source=chatgpt.com "RoFormer: Enhanced Transformer with Rotary Position Embedding"
+[4]: https://arxiv.org/html/2505.13027v1?utm_source=chatgpt.com "Unpacking Positional Encoding in Transformers: A Spectral ..."
+[5]: https://arxiv.org/abs/2005.14165?utm_source=chatgpt.com "[2005.14165] Language Models are Few-Shot Learners"
+[6]: https://arxiv.org/abs/2106.09685?utm_source=chatgpt.com "LoRA: Low-Rank Adaptation of Large Language Models"
+[7]: https://aclanthology.org/2021.emnlp-main.446/?utm_source=chatgpt.com "Transformer Feed-Forward Layers Are Key-Value Memories"
+[8]: https://aclanthology.org/P19-1580.pdf?utm_source=chatgpt.com "Analyzing Multi-Head Self-Attention"
+[9]: https://arxiv.org/html/2401.12143v2?utm_source=chatgpt.com "Anisotropy Is Inherent to Self-Attention in Transformers"
+[10]: https://arxiv.org/abs/2303.10512?utm_source=chatgpt.com "AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning"
+[11]: https://arxiv.org/abs/1902.00751?utm_source=chatgpt.com "Parameter-Efficient Transfer Learning for NLP"
+[12]: https://arxiv.org/abs/2101.00190?utm_source=chatgpt.com "Prefix-Tuning: Optimizing Continuous Prompts for Generation"
+[13]: https://arxiv.org/abs/2106.10199?utm_source=chatgpt.com "BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models"
+[14]: https://arxiv.org/abs/2403.17919?utm_source=chatgpt.com "LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning"
+[15]: https://arxiv.org/pdf/2403.14608?utm_source=chatgpt.com "Parameter-Efficient Fine-Tuning for Large Models"
+[16]: https://openreview.net/pdf/78aa2ffcfff2647e283ab11388b26ea883f44bd5.pdf?utm_source=chatgpt.com "GRADIENT SURGERY FOR MULTI-TASK LEARNING"
+[17]: https://openreview.net/forum?id=B1ckMDqlg&utm_source=chatgpt.com "Outrageously Large Neural Networks: The Sparsely-Gated..."
+[18]: https://arxiv.org/abs/2101.03961?utm_source=chatgpt.com "Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity"
+[19]: https://arxiv.org/abs/2312.09979?utm_source=chatgpt.com "LoRAMoE: Alleviate World Knowledge Forgetting in Large ..."
+[20]: https://arxiv.org/abs/2402.12851?utm_source=chatgpt.com "MoELoRA: Contrastive Learning Guided Mixture of Experts on Parameter-Efficient Fine-Tuning for Large Language Models"
+[21]: https://arxiv.org/pdf/2405.03003?utm_source=chatgpt.com "Parameter-Efficient Fine-Tuning with Discrete Fourier ..."
+[22]: https://arxiv.org/abs/2502.06820?utm_source=chatgpt.com "LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning"
+[23]: https://arxiv.org/abs/1803.03635?utm_source=chatgpt.com "The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks"
+[24]: https://arxiv.org/abs/1905.10650?utm_source=chatgpt.com "Are Sixteen Heads Really Better than One?"
+[25]: https://arxiv.org/abs/2403.20320?utm_source=chatgpt.com "MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning"

main.tex

@@ -137,6 +137,8 @@
 \usepackage{amsmath}
 \usepackage{enumitem}
 \usepackage[T1]{fontenc}
+% \usepackage{tikz}
+% \usetikzlibrary{positioning, calc, arrows.meta}
 
 %%=================================================================
 \input{0.0_title.tex}
@@ -153,7 +155,7 @@
 % 院系-{中文}{英文}，专业，研究方向，一级学科，学科方向（学术型学位）
 \Department{计算机学院}{School of Computer Science and Engineering}
 \Major{计算机应用技术}
-\Feild{\highlight{时空数据挖掘TBD}}
+\Feild{大语言模型参数高效微调}
 \Discipline{计算机科学与技术}
 \Direction{\highlight{计算机应用技术TBD}}
 
@@ -206,16 +208,16 @@
 % 第二章 国内外研究现状
 \input{chap02}
 
-% 第三章 模块角色感知的多任务时空表征学习方法
+% 第三章 基于模块功能角色感知的多任务表征适配方法
 \input{chap03}
 
-% 第四章 位置结构驱动的各向异性时空表征学习方法
+% 第四章 基于位置结构感知的静态选择性表征适配方法
 \input{chap04}
 
-% 第五章 多尺度结构建模与参数结构自适应学习方法
+% 第五章 基于动态位置调制的维度级表征适配方法
 \input{chap05}
 
-% 第六章 面向时空智能的大模型评测体系与实验基础设施
+% 第六章 基于多尺度频谱结构与容量分配的参数空间适配方法
 \input{chap06}
 
 % 第七章 总结与展望

mypaper/KDD2026_AgentCity.tex

@@ -1,825 +0,0 @@
-\title[AgentCity: An AI-Maintained Continuous Benchmark for Traffic Prediction]{AgentCity: An AI-Maintained Continuous Benchmark \\ for Traffic Prediction}
-
-\input{misc}
-
-
-\section{Introduction}
-\begin{figure}[t]
-    \centering
-    \includegraphics[width=1.\linewidth]{assets/Agent_Promo_NG.png}
-\caption{AgentCity: A multi-agent system for continuous traffic prediction benchmarking.}
-    \label{fig:placeholder}
-\end{figure}
-
-Traffic prediction is a fundamental component of data-driven intelligent transportation systems, supporting a wide range of applications such as traffic management, route planning, mobility analysis, and urban decision-making.
-In recent years, advances in deep learning have led to a rapid growth of traffic prediction models, covering diverse tasks including traffic state prediction, trajectory forecasting, travel time estimation, and map matching. These models vary substantially in architectural design, modeling assumptions, data requirements, and evaluation settings.
-
-Consequently, benchmarks play a critical role in enabling systematic evaluation. By providing standardized datasets, clearly defined tasks, and consistent evaluation protocols, benchmarks allow fair and reproducible comparison of model performance across studies, and support empirical analysis within the research community. To this end, several benchmarking frameworks have been proposed for traffic and spatiotemporal prediction. Representative examples include DL-Traff~\cite{Dl-traff}, LibCity~\cite{Libcity}, and TorchSpatial~\cite{Torchspatial}, which aim to standardize data preprocessing, task definitions, and evaluation pipelines across a range of prediction tasks. These efforts establish a more consistent basis for empirical comparison.
-
-However, existing benchmarks share a fundamental limitation: they rely on \textbf{manual, human-centered maintenance}, which introduces several structural challenges.
-
-First, \textbf{\emph{limited scalability}} constrains benchmark coverage. The traffic prediction literature continues to expand rapidly, with a large number of new models published each year. These models are implemented using diverse frameworks, code structures, and data interfaces, making their manual integration into a unified benchmark labor-intensive and difficult to sustain at scale. As a result, benchmark coverage often lags behind recent research progress.
-
-Second, \textbf{\emph{static evaluation pipelines}} limit continuous assessment. Most existing benchmarks are built upon fixed datasets and evaluation procedures, whereas real-world transportation systems evolve continuously, with changes in road networks, travel demand, and mobility patterns. Although some datasets are periodically updated, incorporating these updates into existing benchmarks typically requires additional manual effort, limiting long-term and continuous evaluation.
-
-Third, \textbf{\emph{inconsistent evaluation settings}} weaken result comparability. Results reported in original papers are often obtained under carefully tuned configurations tailored to specific datasets and tasks, while benchmark implementations typically rely on default or minimally tuned settings. This difference can lead to deviations from reported results and reduces the benchmark’s reliability as a fair reference for model assessment.
-
-
-Together, these challenges indicate that a key limitation of traffic prediction benchmarking is no longer the absence of standardized frameworks, but the lack of a \emph{continuous}, \emph{scalable}, and \emph{consistently evaluated} maintenance mechanism that treats benchmark construction as an ongoing process rather than a one-time effort.
-
-In this work, we propose \textbf{AgentCity}, an \textbf{AI-maintained} framework for the continuous construction and evaluation of traffic prediction benchmarks.
-AgentCity replaces manual, human-centered benchmark maintenance with an automated pipeline that systematically retrieves recent literature, integrates external model and dataset implementations, and evaluates models under unified and consistent protocols.
-
-
-AgentCity structures benchmark maintenance as a coordinated workflow consisting of three core components: \emph{literature retrieval}, \emph{model and data integration}, and \emph{standardized evaluation}.
-These components respectively support the automated discovery of relevant studies, the reproduction and integration of external models and datasets into a unified evaluation framework, and the fair assessment of models under consistent data processing, training, and evaluation settings.
-Within this process, controlled hyperparameter tuning is applied to each model on each task under a unified protocol, ensuring fair and comparable evaluation.
-The overall workflow is coordinated by a multi-agent system, enabling scalable and robust benchmark maintenance over time.
-
-
-
-Built upon AgentCity, we construct a continuously evolving traffic prediction benchmark that currently aggregates 74 representative models across multiple tasks and datasets.
-All models are evaluated using unified evaluation protocols, enabling reproducible and comparable assessment across methods.
-The AgentCity framework and benchmark are publicly available online, with configurations and evaluation results for reproducibility.
-
-
-Our main contributions are summarized as follows:
-\begin{itemize}[leftmargin=*, topsep=0pt]
-    \item We propose \textbf{AgentCity}, the first \textbf{AI-maintained} framework designed for continuous construction and evaluation of \textbf{traffic prediction benchmarks}.
-    \item We develop a multi-agent workflow that automates key benchmark maintenance processes, including literature retrieval, model and data integration, and standardized evaluation.
-    \item We release a large-scale, continuously updated traffic prediction benchmark and public leaderboard built upon AgentCity, supporting reproducible evaluation across tasks and datasets.
-\end{itemize}
-
-
-\begin{table*}[ht]
-\centering
-\caption{Categorization of traffic-related data and their typical representations.}
-\label{tab:st_data_abstraction}
-\resizebox{0.9\linewidth}{!}{
-\begin{tabular}{c c c c}
-\toprule
-\textbf{Data Group} &
-\textbf{Data Category} &
-\textbf{Description} &
-\textbf{Typical Data Form} \\
-\midrule
-\multirow{2}{*}{Static Spatial Structure}
-& Geographical Units &
-Geographical entities defining the spatial domain. &
-$N \times D$ \\
-& Unit Relations &
-Structured relations between spatial units. &
-$N \times N$ \\
-\midrule
-\multirow{3}{*}{Group-level Spatiotemporal Dynamics}
-& Unit-level Dynamics &
-Time-varying attributes defined on spatial units. &
-$T \times N \times D$ \\
-& Grid-level Dynamics &
-Time-varying attributes defined on spatial regions. &
-$T \times I \times J \times D$ \\
-& Origin--Destination Dynamics &
-Time-varying interactions between spatial unit pairs. &
-$T \times N \times N \times D$ \\
-\midrule
-Individual Trajectory Dynamics
-& Trajectory Data &
-Ordered temporal sequences of spatial states. &
-$\{(x_i, t_i)\}_{i=1}^{L}$ \\
-\bottomrule
-\end{tabular}
-}
-\end{table*}
-
-
-\begin{table*}[ht]
-\centering
-\caption{Categorization of traffic prediction tasks and their input--output data categories.}
-\label{tab:task_summary}
-\resizebox{\linewidth}{!}{
-\begin{tabular}{c c c c}
-\toprule
-\textbf{Task} &
-\textbf{Input Data Category} &
-\textbf{Output Data Category} &
-\textbf{Typical Data Form} \\
-\midrule
-Traffic State Prediction &
-Group-level Dynamics \,+\, Unit Relations  &
-Future Unit-level Dynamics &
-$X \in \mathbb{R}^{T_{\text{in}} \times N \times D},\;
-y \in \mathbb{R}^{T_{\text{out}} \times N \times D}$ \\
-\midrule
-Trajectory Location Prediction &
-Trajectory Data \,+\, Geographical Units &
-Next Trajectory Location &
-$[loc_1, \ldots, loc_n] \rightarrow loc_{n+1}$ \\
-\midrule
-ETA Prediction &
-Trajectory Data &
-Travel Time &
-$\{(x_i, t_i)\}_{i=1}^{L} \rightarrow \Delta t$ \\
-\midrule
-Map Matching &
-Trajectory Data \,+\, Geographical Units \,+\, Unit Relations &
-Road segment sequence &
-$\{(lon_i, lat_i, t_i)\}_{i=1}^{L} \rightarrow \{r_j\}_{j=1}^{K}$ \\
-\bottomrule
-\end{tabular}
-}
-\end{table*}
-
-
-\section{Traffic Prediction Data and Tasks}
-\label{sec:background}
-
-This section introduces a unified abstraction of data types and prediction tasks commonly studied in traffic prediction, highlighting the diversity of data organizations and task interfaces that characterize existing traffic prediction benchmarks.
-
-\label{sec:background}
-\subsection{Traffic-Related Data Categories}
-Traffic prediction data differ from homogeneous modalities such as images or text by combining spatial entities, relational structures, and time-indexed observations.
-In traffic scenarios, these data can be broadly categorized into three groups: static spatial structure, group-level traffic dynamics, and individual trajectory dynamics.
-
-
-\paratitle{Static Spatial Structure.}
-Static spatial structure describes the fixed spatial context of a traffic system.
-It includes geographical units that define the spatial domain, such as sensors, road segments, or regions, as well as structured relations between these units, such as network connectivity or adjacency.
-This category provides the spatial foundation upon which traffic observations are organized.
-
-\paratitle{Group-level Traffic Dynamics.}
-Group-level traffic dynamics capture time-varying attributes defined over spatial units or their relations, including traffic speed, flow, or density measured at sensors or regions.
-Such data are usually represented as time-indexed tensors defined on nodes, grids, or origin--destination pairs.
-
-
-\paratitle{Individual Trajectory Dynamics.}
-Individual trajectory dynamics describe fine-grained mobility behavior of individual trips, represented as spatiotemporal state sequences.
-
-Table~\ref{tab:st_data_abstraction} summarizes these data categories and their typical representations.
-Throughout this paper, $N$ denotes the number of spatial units, $T$ the number of time steps, $D$ the feature dimension, $I$ and $J$ the numbers of grid rows and columns, and $L$ the trajectory length.
-\subsection{Traffic Prediction Tasks}
-Based on the data categories above, we consider four representative traffic prediction tasks with different data categories and input--output structures, as summarized in Table~\ref{tab:task_summary}.
-
-
-\paratitle{Traffic state prediction}
-forecasts future traffic dynamics over a fixed set of spatial units.
-The input consists of historical group-level dynamics,
-$X \in \mathbb{R}^{T_{\text{in}} \times N \times D}$,
-and the output is a sequence of future unit-level dynamics,
-$y \in \mathbb{R}^{T_{\text{out}} \times N \times D}$.
-
-\paratitle{Trajectory location prediction}
-focuses on next-step prediction for individual trajectories.
-Given a historical trajectory represented as an ordered sequence of locations $[loc_1, \ldots, loc_n]$, the task predicts the next location $loc_{n+1}$.
-The input trajectories are variable in length, and the outputs are discrete spatial states.
-
-
-\paratitle{Estimated time of arrival (ETA) prediction} aims to estimate the travel duration of a trajectory.
-The input is an individual trajectory represented as a sequence of spatiotemporal points
-$\{(x_i, t_i)\}_{i=1}^{L}$,
-and the output is a scalar value representing the estimated travel time.
-
-\paratitle{Map matching}
-aims to infer the most likely network-constrained path that corresponds to an observed trajectory.
-Given noisy or sparse trajectory observations, the task outputs an ordered sequence of road segments that is consistent with the underlying network topology.
-
-\section{Methodology}
-\subsection{Overview}
-\label{sec:overview}
-
-AgentCity is a multi-agent framework designed to support the continuous construction and evaluation of traffic prediction benchmarks.
-Built on top of LibCity~\cite{Libcity}, AgentCity enables the automated discovery, reproduction, and evaluation of traffic prediction models under unified task definitions and evaluation protocols.
-Given user-specified keywords and constraints, the system incrementally identifies relevant studies, integrates their models and associated datasets, and evaluates them in a consistent manner.
-
-As illustrated in Figure~\ref{fig:overview}, AgentCity organizes the overall process into three sequential stages: \emph{Literature Retrieval}, \emph{Model and Data Integration}, and \emph{Standardized Evaluation}.
-Each stage is managed by a dedicated \emph{Stage Leader Agent}, which is responsible for planning the stage workflow, coordinating specialized \emph{Subagents}, and validating intermediate results.
-Literature Retrieval focuses on identifying relevant models within a controlled search scope.
-Model and Data Integration handles the reproduction and adaptation of external model implementations and datasets into unified task interfaces.
-Standardized Evaluation assesses all integrated models under consistent data processing, training, and evaluation settings.
-
-To accommodate heterogeneous implementations and incomplete specifications commonly found in research code, AgentCity supports iterative refinement within each stage.
-When intermediate results do not satisfy predefined validation criteria, the corresponding Stage Leader Agent selectively re-invokes relevant Subagents to refine the outcome, with explicit limits on the number of iterations.
-
-Artifacts produced at each stage, including structured metadata, configuration files, and validation summaries, are recorded and propagated across stages by a Global Coordinator.
-This allows subsequent stages to operate based on established information while maintaining a clear separation of responsibilities.
-Together, these components form a structured workflow that enables scalable and reproducible benchmark construction for traffic prediction.
-
-\begin{figure*}
-    \centering
-    \includegraphics[width=0.8\linewidth]{agentv2.pdf}
-\caption{AgentCity framework overview.
-Benchmark construction is organized into three stages: Literature Retrieval, Model and Data Integration, and Standardized Evaluation.
-Each stage is coordinated by a Leader Agent that invokes specialized Subagents to perform stage-specific operations.
-}
-
-    \label{fig:overview}
-\end{figure*}
-
-
-
-\subsection{Stage I: Literature Retrieval}
-\label{sec:literature}
-The Literature Retrieval stage collects research work related to a given traffic prediction task and produces a structured set of candidate models for downstream integration and evaluation.
-This stage defines a documented search and filtering procedure and records the resulting candidates and associated metadata.
-It is managed by a \emph{Retrieval Leader Agent}, which coordinates multiple Subagents to perform concrete operations.
-
-\paratitle{Paper Searcher.}
-The Paper Searcher retrieves candidate papers using keyword-based queries derived from user input or a predefined set of task-specific keywords.
-Additional constraints, such as publication venues or time ranges, can be specified to delimit the search scope.
-This step collects studies related to the target traffic prediction task across different modeling approaches.
-
-\paratitle{Paper Evaluator.}
-The Paper Evaluator examines each retrieved paper to determine whether it provides the information required for subsequent model and data integration.
-The evaluation checks whether the paper specifies the prediction task, model formulation, input--output definitions, experimental setup, and evaluation metrics.
-Papers that lack information required for model implementation, data preparation, or evaluation are excluded at this stage.
-
-\paratitle{Paper Analyzer.}
-For papers retained after evaluation, the Paper Analyzer extracts information needed for later stages.
-This includes references to model architectures, code repositories, descriptions of datasets and preprocessing steps, training and evaluation settings, and reported metrics.
-The extracted information is organized into a structured representation for use in model and data integration.
-
-\paratitle{Stage execution.}
-The Retrieval Leader Agent executes the search, evaluation, and analysis steps in sequence.
-When the resulting paper set does not satisfy predefined criteria, such as coverage of the target task or completeness of extracted metadata, the leader reviews the execution outcomes and re-executes the relevant steps.
-The output of this stage is a structured collection of candidate models and associated metadata, which is passed to the subsequent integration stage.
-
-
-
-
-\subsection{Stage II: Model and Data Integration}
-\label{sec:migration}
-
-The Model and Data Integration stage reproduces external traffic prediction models together with their associated datasets and aligns them with unified task interfaces for evaluation.
-This stage transforms heterogeneous research implementations into executable benchmark components that follow consistent data organization, training procedures, and evaluation protocols.
-It is coordinated by a \emph{Integration Leader Agent}, which manages a set of Subagents responsible for concrete integration steps.
-
-\paratitle{Source Collector.}
-The Source Collector retrieves the resources required for reproduction, including model implementations, configuration files, and dataset references extracted in Stage~I.
-It analyzes the structure of the retrieved codebase to identify model definitions, training pipelines, data loading logic, and external dependencies.
-The collected sources serve as the basis for subsequent integration.
-
-\paratitle{Model and Data Adapter.}
-The Model and Data Adapter performs the core integration work.
-For models, it aligns architecture definitions, input--output formats, and training interfaces with the benchmark’s task specifications.
-For datasets, it handles dataset acquisition, preprocessing alignment, feature construction, and data split configuration according to the benchmark protocol.
-
-\paratitle{Configuration Assembler.}
-The Configuration Assembler constructs unified configuration files that combine model settings, dataset parameters, and training options.
-Reported hyperparameters and experimental settings from the original paper are incorporated when available.
-When details are unspecified, task-consistent defaults defined by the benchmark are applied.
-The resulting configurations define a complete and executable evaluation setup.
-
-\paratitle{Integration Validator.}
-The Integration Validator executes a validation run using the assembled model and dataset configuration.
-It verifies model initialization, data loading, and basic training execution, and records logs to assess integration completeness.
-
-
-
-\paratitle{Stage execution.}
-The Integration Leader Agent executes source collection, adaptation, configuration assembly, and validation in sequence, and re-invokes relevant Subagents when validation criteria are not satisfied.
-The output of this stage is an executable model--dataset pair together with structured configurations and validation records, which are passed to the evaluation stage.
-
-
-
-\begin{figure*}
-    \centering
-    \includegraphics[width=1\linewidth]{pie_combined.png}
-\caption{Distributions of studies included in the benchmark.
-The figure shows the distribution of collected papers by publication venue (left), publication year (middle), and traffic prediction task (right).}
-    \label{fig:analysis}
-\end{figure*}
-
-\subsection{Stage III: Standardized Evaluation}
-\label{sec:evaluation}
-
-The Standardized Evaluation stage evaluates integrated traffic prediction models under unified training and evaluation protocols to produce comparable performance results across models.
-It is coordinated by an \emph{Evaluation Leader Agent}, which oversees a small set of Subagents responsible for execution and result aggregation.
-
-\paratitle{Evaluation Planner.}
-The Evaluation Planner specifies the evaluation configuration for each model--task pair, including training settings, evaluation metrics, and the hyperparameter ranges defined by the benchmark protocol.
-
-\paratitle{Evaluation Executor.}
-The Evaluation Executor runs model training and evaluation using the specified configurations.
-During execution, it records performance metrics, training dynamics, and runtime information required for result reporting and analysis.
-
-\paratitle{Result Collector.}
-The Result Collector aggregates evaluation outputs across runs, identifies the best-performing configurations according to task-specific metrics, and organizes the results into standardized records for benchmarking.
-
-\paratitle{Stage execution.}
-The Evaluation Leader Agent coordinates planning, execution, and result collection, and re-invokes relevant steps when evaluation results are invalid or incomplete.
-The output of this stage is a set of standardized evaluation results that can be directly compared across models.
-
-\subsection{Implementation Details}
-\label{sec:implementation}
-
-AgentCity is implemented as a coordinated multi-agent system centered around a \emph{Global Coordinator}.
-The coordinator maintains a shared execution context and dispatches stage-specific \emph{Leader Agents} to execute the three benchmark stages in sequence.
-Each Leader Agent manages its workflow by invoking Subagents, validating intermediate outputs, and controlling stage execution.
-
-\paratitle{Agent Coordination and Control.}
-Leader Agents follow a unified control pattern, decomposing each stage into executable steps, invoking Subagents for concrete operations, and collecting structured outputs.
-Subagents encapsulate task-specific functions such as literature querying, source acquisition, code adaptation, dataset preparation, model execution, and result aggregation.
-
-
-\paratitle{Cross-Stage Context Propagation.}
-The Global Coordinator maintains a shared execution context that records structured artifacts produced at each stage.
-These artifacts are propagated across stages to support subsequent execution without repeating earlier steps.
-
-
-\paratitle{Model Backend Configuration.}
-Different language model backends can be assigned to agents according to task requirements.
-Code-related and diagnostic tasks use more capable backends, while routine operations may use lighter-weight ones.
-Backend selection is specified through system configuration and is independent of the overall workflow structure.
-
-
-\begin{table}[t]
-    \centering
-    \caption{Traffic prediction datasets in AgentCity.}
-    \label{tab:dataset_stats}
-    \resizebox{\linewidth}{!}{
-    \begin{tabular}{l p{7cm}}
-        \toprule
-        \textbf{Task} & \textbf{Dataset} \\
-        \midrule
-        Traffic State Prediction & METR-LA\cite{METR_LA/PEMS_BAY}, PEMSD7(M)\cite{PEMSD7M}, PEMS-BAY\cite{METR_LA/PEMS_BAY}, PEMSD3\cite{PEMSD3/7}, PEMSD4\cite{PEMSD4/8}, PEMSD7\cite{PEMSD3/7}, PEMSD8\cite{PEMSD4/8}, TAXIBJ\cite{TaxiBJ}, T-DRIVE\cite{T-drive}, NYCTaxi\cite{NYCTaxi/Bike}, NYCBike\cite{NYCTaxi/Bike}, LargeST\cite{LargeST}  \\
-        Traj. Loc. Prediction & Gowalla\cite{Gowalla/BrightKite}, Foursquare-TKY\cite{Foursquare-NYC/TKY}, Foursquare-NYC\cite{Foursquare-NYC/TKY}, BrightKite\cite{Gowalla/BrightKite}, Instagram\cite{Instagram}, Singapore\cite{Singapore}, Porto\cite{Porto}    \\
-        ETA Prediction & Chengdu\cite{Chengdu/DeepTTE}, Beijing\cite{Beijing/TTPNet}, Porto\cite{Porto}, NYCTaxi\cite{NYCTaxi/Bike}, NYCBike\cite{NYCTaxi/Bike}    \\
-        Map Matching & Global\cite{Global}(Neftekamsk, Ruzhany, Spaichingen, Valky), Seattle\cite{Seattle}   \\
-        \bottomrule
-    \end{tabular}}
-\end{table}
-
-\begin{table}[t]
-    \centering
-    \caption{Traffic prediction models in AgentCity.}
-    \label{tab:model_stats}
-    \resizebox{\linewidth}{!}{
-    \begin{tabular}{l p{9cm}}
-        \toprule
-        \textbf{Task} & \textbf{Model} \\
-        \midrule
-        Traffic State Prediction & 
-        STSSDL\cite{STSSDL}, STAEformer\cite{STAEformer}, AutoSTF\cite{AutoSTF}, STDMAE\cite{STDMAE}, 
-        EAC\cite{EAC}, GriddedTNP\cite{GriddedTNP}, PatchSTG\cite{PatchSTG}, SRSNet\cite{SRSNet}, 
-        FlashST\cite{FlashST}, ConvTimeNet\cite{Convtimenet}, Fredformer\cite{Fredformer}, Pathformer\cite{Pathformer}, 
-        HTVGNN\cite{HTVGNN}, PatchTST\cite{PatchTST}, DCST\cite{DCST}, STLLM\cite{STLLM}, 
-        T-graphormer\cite{T-graphormer}, CKGGNN\cite{CKGGNN}, EasyST\cite{EasyST}, LEAF\cite{LEAF}, 
-        MetaDG\cite{MetaDG}, TRACK\cite{TRACK}, HiMSNet\cite{HiMSNet}, DST2former\cite{DST2former}, 
-        DSTMamba\cite{DSTMamba}, BigST\cite{BigST}, ASeer\cite{ASeer}, STHSepNet\cite{STHSepNet}, 
-        STWave\cite{STWave}, HSTWAVE\cite{HSTWAVE}, DSTAGNN\cite{DSTAGNN}, RSTIB\cite{RSTIB}, 
-        LSTTN\cite{LSTTN}, LightST\cite{LightST}, TimeMixer++\cite{TimeMixer++}, STID\cite{STID}, UniST\cite{UniST} \\
-        Traj. Loc. Pred & 
-        DeepMove\cite{DeepMove}, PLMTrajRec\cite{PLMTrajRec}, START\cite{START}, LoTNext\cite{LoTNext}, 
-        RNTrajRec\cite{RNTrajRec}, CoMaPOI\cite{CoMaPOI}, JGRM\cite{JGRM}, TrajSDE\cite{TrajSDE}, 
-        DCHL\cite{DCHL}, GNPRSID\cite{GNPRSID}, PLSPL\cite{PLSPL}, GETNext\cite{GETNEXT}, 
-        CANOE\cite{CANOE}, TPG\cite{TPG}, CLSPRec\cite{CLSPRec}, AGRAN\cite{AGRAN}, 
-        LightPath\cite{LightPath}, ROTAN\cite{ROTAN}, FPMC\cite{FPMC}, PRME\cite{PRME} \\
-        ETA Prediction & 
-        DOT\cite{DOT}, MetaTTE\cite{MetaTTE}, MVSTM\cite{MVSTM}, DutyTTE\cite{DutyTTE}, 
-        TTPNet\cite{TTPNet}, MTSTAN\cite{MTSTAN}, MulT-TTE\cite{MulT-TTE}, MDTI\cite{MDTI}, 
-        ProbETA\cite{ProbETA}, HierETA\cite{HierETA}, HetETA\cite{HetETA} \\
-        Map Matching & 
-        DeepMM\cite{DeepMM}, GraphMM\cite{GraphMM}, DiffMM\cite{DiffMM}, TRMMA\cite{TRMMA}, 
-        L2MM\cite{L2MM}, RLOMM\cite{RLOMM}, FMM\cite{FMM}, HMMM\cite{HMMM}, STMatching\cite{STMatching} \\
-        \midrule
-    \end{tabular}}
-\end{table}
-
-\begin{table*}[t]
-\centering
-\caption{Task-wise datasets, data scale statistics, and evaluation metrics used in the benchmark.
-$N$, $E$, and $U$ denote the numbers of nodes, edges, and users, respectively.
-$T$ denotes the total volume of data records, corresponding to the accumulated traffic flow observations for Traffic State Prediction and the total number of trajectory points or check-ins for the other tasks.}
-
-\label{tab:task_dataset_overview}
-\resizebox{\linewidth}{!}{
-\begin{tabular}{l l l l l}
-\toprule
-\textbf{Task} & \textbf{Dataset} & \textbf{Scale ($N/E/U/T$)}
- & \textbf{Time Span} & \textbf{Metrics} \\
-\midrule
-
-\multirow{3}{*}{Traffic State Prediction}
-& METR-LA
-& $N{=}207$, $E{=}11{,}753$, $T{=}7.1$M
-& Mar. 2012 -- Jun. 2012
-& MAE$\downarrow$, RMSE$\downarrow$ \\
-
-& PEMSD7
-& $N{=}228$, $E{=}51{,}984$, $T{=}2.9$M
-& May. 2017 -- Aug. 2017
-& MAE$\downarrow$, RMSE$\downarrow$ \\
-
-& PEMS-BAY
-& $N{=}325$, $E{=}8{,}358$, $T{=}16.9$M
-& Jan. 2017 -- Jun. 2017
-& MAE$\downarrow$, RMSE$\downarrow$ \\
-
-\midrule
-
-\multirow{3}{*}{Trajectory Location Prediction}
-& Foursquare\_NYC
-& $N{=}38{,}332$, $U{=}1{,}082$, $T{=}227$K
-& Apr. 2012 -- Feb. 2013
-& Acc@1$\uparrow$, Acc@5$\uparrow$ \\
-
-& Foursquare\_TKY
-& $N{=}61{,}857$, $U{=}2{,}292$, $T{=}574$K
-& Apr. 2012 -- Feb. 2013
-& Acc@1$\uparrow$, Acc@5$\uparrow$ \\
-
-& Singapore
-& $N{=}20{,}153$, $U{=}17{,}744$, $T{=}696$K
-& Jan. 2017 -- Jun. 2017
-& Acc@1$\uparrow$, Acc@5$\uparrow$ \\
-
-\midrule
-
-\multirow{2}{*}{ETA Prediction}
-& Beijing
-& $N{=}16{,}383$, $U{=}76$, $T{=}518$K
-& Oct. 2013
-& MAE$\downarrow$, MAPE$\downarrow$, RMSE$\downarrow$ \\
-
-& Chengdu
-& $N{=}440{,}056$, $U{=}4{,}565$, $T{=}712$K
-& Aug. 2014
-& MAE$\downarrow$, MAPE$\downarrow$, RMSE$\downarrow$ \\
-
-\midrule
-
-\multirow{5}{*}{Map Matching}
-& Neftekamsk
-& $N{=}18{,}195$, $E{=}41{,}971$, $T{=}2.5$K
-& 2015
-& RMF$\downarrow$, AL$\uparrow$ \\
-
-& Santander
-& $N{=}24{,}217$, $E{=}48{,}100$, $T{=}653$
-& 2015
-& RMF$\downarrow$, AL$\uparrow$ \\
-
-& Spaichingen
-& $N{=}4{,}575$, $E{=}9{,}992$, $T{=}517$
-& 2015
-& RMF$\downarrow$, AL$\uparrow$ \\
-
-& Valky
-& $N{=}1{,}578$, $E{=}3{,}142$, $T{=}1.0$K
-& 2015
-& RMF$\downarrow$, AL$\uparrow$ \\
-
-\bottomrule
-\end{tabular}}
-\end{table*}
-\begin{table}[t]
-    \centering
-    \caption{Traffic state prediction leaderboard on METR\_LA, PEMSD7, and PEMS\_BAY under unified evaluation protocols.}
-
-    \label{tab:traffic_leaderboard}
-    \resizebox{1\linewidth}{!}{
-    \begin{tabular}{l cc cc cc}
-        \toprule
-        \textbf{Model} &
-        \multicolumn{2}{c}{\textbf{METR\_LA}} &
-        \multicolumn{2}{c}{\textbf{PEMSD7}} &
-        \multicolumn{2}{c}{\textbf{PEMS\_BAY}} \\
-        \cmidrule(lr){2-3} \cmidrule(lr){4-5} \cmidrule(lr){6-7}
-        & MAE$\downarrow$ & RMSE$\downarrow$
-        & MAE$\downarrow$ & RMSE$\downarrow$
-        & MAE$\downarrow$ & RMSE$\downarrow$ \\
-        \midrule
-        STAEformer\cite{STAEformer} & 2.962 & 5.984 & 18.96 & 32.28 & 1.532 & 3.446 \\
-        DCST\cite{DCST}       & 3.090 & 6.334 & 19.39 & 32.72 & 1.561 & 3.483 \\
-        DST2former\cite{DST2former} & 3.095 & 6.240 & 19.67 & 32.61 & 1.639 & 3.587 \\
-        STDMAE\cite{STDMAE}     & 3.096 & 6.230 & 20.19 & 32.99 & 1.579 & 3.502 \\
-        EasyST\cite{EasyST}     & 3.115 & 6.419 & 19.49 & 32.48 & 1.565 & 3.509 \\
-        PatchSTG\cite{PatchSTG}   & 3.127 & 6.316 & 19.99 & 32.90 & 1.589 & 3.580 \\
-        HiMSNet\cite{HiMSNet}    & 3.143 & 6.221 & 23.34 & 36.04 & 1.670 & 3.613 \\
-        STLLM\cite{STLLM}       & 3.151 & 6.284 & 20.92 & 33.65 & 1.616 & 3.592 \\
-        LightST\cite{LightST}    & 3.167 & 6.372 & 22.00 & 34.59 & 1.607 & 3.580 \\
-        STWave\cite{STWave}     & 3.186 & 6.417 & 23.02 & 37.04 & 1.619 & 3.621 \\
-        RSTIB\cite{RSTIB}       & 3.194 & 6.606 & 20.37 & 33.40 & 1.610 & 3.666 \\
-        FlashST\cite{FlashST}    & 3.203 & 6.511 & 22.40 & 35.47 & 1.636 & 3.645 \\
-        BigST\cite{BigST}       & 3.218 & 6.359 & 21.11 & 34.18 & 1.622 & 3.538 \\
-        TRACK\cite{TRACK}       & 3.278 & 6.710 & 25.82 & 39.31 & 1.749 & 4.007 \\
-        DSTAGNN\cite{DSTAGNN}    & 3.331 & 6.599 & 22.73 & 36.04 & 1.745 & 3.800 \\
-        GriddedTNP\cite{GriddedTNP} & 3.412 & 6.989 & 29.83 & 53.10 & 2.379 & 5.099 \\
-        EAC\cite{EAC}         & 3.532 & 6.915 & 26.61 & 40.23 & 1.834 & 4.045 \\
-        AutoSTF\cite{AutoSTF}    & 3.977 & 9.406 & 19.72 & 32.56 & 1.544 & 3.446 \\
-        Fredformer\cite{Fredformer} & 4.159 & 9.014 & 24.16 & 38.54 & 1.866 & 4.214 \\
-        ConvTimeNet\cite{Convtimenet} & 4.250 & 9.249 & 29.18 & 45.33 & 2.014 & 4.650 \\
-        LEAF\cite{LEAF}        & 4.407 & 9.989 & 28.49 & 43.17 & 1.886 & 4.101 \\
-        SRSNet\cite{SRSNet}     & 4.882 & 10.348& 32.12 & 48.80 & 2.163 & 4.923 \\
-        \bottomrule
-    \end{tabular}}
-\end{table}
-
-
-\begin{table}[t]
-    \centering
-\caption{Trajectory location prediction leaderboard on Foursquare\_NYC, Foursquare\_TKY, and Singapore.}
-
-    \label{tab:traj_leaderboard}
-    \resizebox{1\linewidth}{!}{
-    \begin{tabular}{l cc cc cc}
-        \toprule
-        \textbf{Model} &
-        \multicolumn{2}{c}{\textbf{Foursquare\_NYC}} &
-        \multicolumn{2}{c}{\textbf{Foursquare\_TKY}} &
-        \multicolumn{2}{c}{\textbf{Singapore}} \\
-        \cmidrule(lr){2-3} \cmidrule(lr){4-5} \cmidrule(lr){6-7}
-        & Acc@1$\uparrow$ & Acc@5$\uparrow$
-        & Acc@1$\uparrow$ & Acc@5$\uparrow$
-        & Acc@1$\uparrow$ & Acc@5$\uparrow$ \\
-        \midrule
-        ROTAN\cite{ROTAN} & 0.1302 & 0.2805 & 0.1897 & 0.3653 & 0.1631 & 0.3331 \\
-        GNPRSID\cite{GNPRSID} & 0.1591 & 0.3419 & 0.1658 & 0.3746 & 0.1539 & 0.3471 \\
-        RNTrajRec\cite{RNTrajRec} & 0.1605 & 0.3231 & 0.1539 & 0.3305 & 0.1378 & 0.2978 \\
-        DeepMove\cite{DeepMove} & 0.1572 & 0.3739 & 0.1800 & 0.3869 & 0.1298 & 0.3096 \\
-        PLSPL\cite{PLSPL} & 0.1034 & 0.3211 & 0.1732 & 0.3596 & 0.1527 & 0.3294 \\
-        CANOE\cite{CANOE} & 0.1147 & 0.2883 & 0.1535 & 0.3485 & 0.1366 & 0.3089 \\
-        LoTNext\cite{LoTNext} & 0.0856 & 0.2402 & 0.1322 & 0.3890 & 0.1365 & 0.3576 \\
-        DCHL\cite{DCHL} & 0.1009 & 0.3141 & 0.0706 & 0.2507 & 0.0889 & 0.2678 \\
-        \bottomrule
-    \end{tabular}}
-\end{table}
-
-
-\begin{table}[t]
-    \centering
-    \caption{ETA prediction leaderboard on Beijing and Chengdu.}
-    \label{tab:eta_leaderboard}
-    \resizebox{\linewidth}{!}{
-    \begin{tabular}{l ccc ccc}
-        \toprule
-        \multirow{2}{*}{\textbf{Model}} &
-        \multicolumn{3}{c}{\textbf{Beijing}} &
-        \multicolumn{3}{c}{\textbf{Chengdu}} \\
-        \cmidrule(lr){2-4} \cmidrule(lr){5-7}
-        & MAE$\downarrow$ & MAPE$\downarrow$ & RMSE$\downarrow$
-        & MAE$\downarrow$ & MAPE$\downarrow$ & RMSE$\downarrow$ \\
-        \midrule
-        HetETA\cite{HetETA}    & 125.67 & 0.105 & 222.91 & 190.56 & 0.113 & 308.56 \\
-        DeepTTE\cite{Chengdu/DeepTTE}   & 224.46 & 0.208 & 351.74 & 317.38 & 0.220 & 429.09 \\
-        MVSTM\cite{MVSTM}     & 279.08 & 0.270 & 430.98 & 255.18 & 0.189 & 343.43 \\
-        MulT-TTE\cite{MulT-TTE} & 280.36 & 0.274 & 432.43 & 465.59 & 0.381 & 580.25 \\
-        DOT\cite{DOT}       & 364.85 & 0.382 & 547.62 & 209.74 & 0.163 & 286.02 \\
-        MetaTTE\cite{MetaTTE}   & 372.15 & 0.347 & 562.24 & 394.52 & 0.300 & 511.63 \\
-        DutyTTE\cite{DutyTTE}   & 431.59 & 0.460 & 572.96 & 243.13 & 0.171 & 443.44 \\
-        \bottomrule
-    \end{tabular}}
-\end{table}
-
-
-\begin{table}[t]
-    \centering
-    \caption{Map matching leaderboard on Santander, Spaichingen, Neftekamsk, and Valky.}
-    \label{tab:mm_leaderboard}
-    \resizebox{0.9\linewidth}{!}{
-    \begin{tabular}{l cc cc cc cc}
-        \toprule
-        \multirow{2}{*}{\textbf{Model}} &
-        \multicolumn{2}{c}{\textbf{Santander}} &
-        \multicolumn{2}{c}{\textbf{Spaichingen}} &
-        \multicolumn{2}{c}{\textbf{Neftekamsk}} &
-        \multicolumn{2}{c}{\textbf{Valky}} \\
-        \cmidrule(lr){2-3} \cmidrule(lr){4-5} \cmidrule(lr){6-7} \cmidrule(lr){8-9}
-        & RMF$\downarrow$ & AL$\uparrow$
-        & RMF$\downarrow$ & AL$\uparrow$
-        & RMF$\downarrow$ & AL$\uparrow$
-        & RMF$\downarrow$ & AL$\uparrow$ \\
-        \midrule
-        FMM\cite{FMM}         & 0.018 & 1.000 & 0.000 & 1.000 & 0.852 & 0.193 & 0.329 & 0.671 \\
-        HMMM\cite{HMMM}        & 0.021 & 0.997 & 0.035 & 1.000 & 0.391 & 0.999 & 0.433 & 1.000 \\
-        STMatching\cite{STMatching}  & 0.674 & 0.998 & 0.088 & 1.000 & 0.457 & 1.000 & 0.436 & 1.000 \\
-        DeepMM\cite{DeepMM}      & 0.981 & 0.019 & 0.947 & 0.053 & 0.889 & 0.111 & 0.909 & 0.091 \\
-        L2MM\cite{L2MM}        & 1.132 & 0.057 & 1.632 & 0.158 & 0.778 & 0.222 & 2.455 & 0.182 \\
-        RLOMM\cite{RLOMM}       & 0.920 & 0.280 & 2.760 & 0.240 & 7.440 & 0.120 & 3.000 & 0.600 \\
-        \bottomrule
-    \end{tabular}}
-\end{table}
-\section{The AgentCity Benchmark}
-\label{sec:benchmark_release}
-
-\subsection{Benchmark Scope and Coverage}
-\label{sec:benchmark_scope}
-
-AgentCity supports a unified benchmark that spans multiple traffic prediction tasks and datasets.
-At the time of writing, the benchmark covers four representative traffic prediction tasks, including traffic state prediction, trajectory location prediction, ETA prediction, and map matching.
-Across these tasks, AgentCity aggregates a diverse collection of publicly available datasets and model implementations. 
-
-Table~\ref{tab:dataset_stats} summarizes the datasets included in the benchmark.
-In total, AgentCity covers 26 publicly available datasets across the four traffic prediction tasks.
-These datasets span heterogeneous spatial representations and temporal resolutions, including graph-based, grid-based, and origin--destination data for traffic state prediction, as well as trajectory datasets represented as variable-length sequences of locations or GPS points.
-For ETA prediction and map matching, the benchmark includes GPS trajectory datasets with different scales in terms of trajectory volume and network size.
-
-
-Table~\ref{tab:model_stats} summarizes the traffic prediction models currently included in AgentCity.
-For each task, the benchmark integrates a representative set of models that follow heterogeneous modeling assumptions and architectural designs.
-All models are reproduced and evaluated under unified task definitions and evaluation protocols, enabling consistent comparison within and across tasks.
-
-Across tasks, the benchmark includes datasets defined on sensor networks, region-based spatial partitions, road network graphs, and individual trajectories.
-Traffic state prediction datasets are typically defined on fixed sensor networks with regular temporal sampling, while trajectory-based datasets represent individual mobility as sequences of locations or GPS points.
-Map matching datasets are constructed on explicit road networks and focus on network-constrained trajectory inference.
-Together, these datasets capture both group-level and individual-level traffic dynamics under heterogeneous spatial settings.
-
-
-\subsection{Literature Coverage Analysis}
-\label{sec:literature_analysis}
-
-To characterize the literature coverage of the benchmark, we analyze the distribution of studies included through AgentCity across publication venues, years, and traffic prediction tasks.
-Figure~\ref{fig:analysis} summarizes these statistics based on the models that have been reproduced and integrated into the benchmark.
-
-In total, the benchmark includes 74 research papers published in recent years.
-These papers span multiple traffic prediction tasks, with 36 studies on traffic state prediction, 18 on trajectory location prediction, 11 on estimated time of arrival (ETA) prediction, and 9 on map matching.
-This task distribution reflects the relative research activity across different traffic prediction problems.
-
-The venue distribution indicates that many collected studies originate from major data mining and machine learning venues, with KDD representing the largest share.
-In addition, a notable portion of models are released through arXiv, reflecting active research activity beyond traditional conference venues.
-
-
-The year distribution indicates that most included studies were published between 2023 and 2025.
-This concentration reflects the recent growth of research activity in traffic prediction and related areas.
-These statistics provide a descriptive overview of the literature represented in the benchmark and clarify the scope of models evaluated in AgentCity.
-
-
-
-\subsection{Task-wise Leaderboards}
-\label{sec:leaderboards}
-
-
-This subsection presents representative leaderboard results for four core traffic prediction tasks under unified evaluation protocols.
-The reported results provide a task-wise view of model performance under consistent data processing, training, and evaluation settings.
-
-Traffic state prediction results are reported on METR\_LA, PEMSD7, and PEMS\_BAY; trajectory location prediction on Foursquare (NYC, TKY) and Singapore; ETA prediction on Beijing and Chengdu; and map matching on selected cities from the Global dataset.
-All models are evaluated within a unified framework, with hyperparameters systematically tuned via AgentCity.
-Training is controlled using early stopping based on validation loss, and the checkpoint with the best validation performance is selected for evaluation.
-
-Table~\ref{tab:task_dataset_overview} summarizes the datasets used in the reported benchmark results, together with their basic statistics and evaluation protocols.
-Tables~\ref{tab:traffic_leaderboard}--\ref{tab:mm_leaderboard} present the corresponding task-wise leaderboard results under consistent evaluation settings.
-
-For clarity and space considerations, we report results on a representative subset of widely used datasets and models for each task, following standard evaluation settings in prior studies.
-The complete benchmark results, covering additional datasets and model implementations, are available through the online leaderboard.
-
-\begin{figure}
-\centering
-\begin{subfigure}[b]{0.48\linewidth}
-\hspace{-3px}
-\includegraphics[width=\linewidth]{figures/Frontend.png}
-\caption{Benchmark Homepage}
-\end{subfigure}
-\hfill
-\begin{subfigure}[b]{0.48\linewidth}
-\hspace{-3px}
-\includegraphics[width=\linewidth]{figures/LeaderBoard.png}
-\caption{AgentCity Interface}
-\end{subfigure}
-\caption{The AgentCity platform.
-The benchmark homepage presents benchmark statistics and public leaderboards.
-The AgentCity interface provides an interactive environment for the agent-driven workflow.}
-
-\label{fig:AgentCity}
-\end{figure}
-\subsection{Benchmark Access and Usage}
-\label{sec:benchmark_access}
-
-The AgentCity benchmark is publicly accessible.
-Figure~\ref{fig:AgentCity} presents the project homepage and the AgentCity user interface, which together provide benchmark information, evaluation results, and guidance for executing the benchmark workflow with AgentCity.
-
-The project homepage introduces the overall scope of AgentCity, including the supported traffic prediction tasks, benchmark organization, and evaluation protocols.
-It provides documentation for installing and running AgentCity and presents detailed task-wise leaderboards that report benchmark results under unified evaluation settings.
-The AgentCity user interface allows users to interactively execute the benchmark construction workflow described in this paper.
-Through the interface, users can run the three stages of literature retrieval, model and data integration, and standardized evaluation, and examine the corresponding outputs.
-Execution logs, intermediate artifacts, and analysis results from each stage are displayed to support inspection of the benchmark process.
-
-Detailed usage instructions, task-wise leaderboards, and documentation of the unified evaluation framework are available through the project website and source code repository.\footnote{\fulllink}
-
-\begin{table}[t]
-    \centering
-    \caption{Comparison between reported results and reproduced results in terms of MAE and RMSE.}
-    \label{tab:mae_rmse_comparison}
-    \resizebox{\linewidth}{!}{%
-    \begin{tabular}{l l cc cc c}
-        \toprule
-        \multirow{2}{*}{\textbf{Model}} & \multirow{2}{*}{\textbf{Dataset}} & 
-        \multicolumn{2}{c}{\textbf{Paper Reported}} & 
-        \multicolumn{2}{c}{\textbf{Reproduced}} & 
-        \multirow{2}{*}{\textbf{Gap (\%)}} \\
-        \cmidrule(lr){3-4} \cmidrule(lr){5-6}
-        & & MAE & RMSE & MAE & RMSE & \\
-        \midrule
-        DSTAGNN & PEMSD4   & 19.30 & 31.46 & 19.90 & 31.29 & 0.85 \\
-        LightST & PEMSD7   & 20.78 & 33.95 & 21.99 & 34.59 & 3.38 \\
-        RSTIB   & PEMSD7   & 19.84 & 33.90 & 20.37 & 33.40 & 0.06 \\
-        STDMAE  & METR\_LA & 3.00  & 5.98  & 3.09  & 6.23  & 3.79 \\
-        LSTTN   & METR\_LA & 2.96  & 5.92  & 3.08  & 6.12  & 3.60 \\
-        AutoSTF & PEMS\_BAY & 1.55  & 3.51  & 1.54  & 3.44  & -1.58 \\
-        DCST    & PEMS\_BAY & 1.55  & 3.50  & 1.56  & 3.48  & -0.20 \\
-        \bottomrule
-    \end{tabular}%
-    }
-\end{table}
-
-
-\begin{table*}[t]
-    \centering
-    \caption{Comparison of reproduction consistency between AgentCity and other code-oriented agents.}
-    \label{tab:selected_models}
-    \resizebox{0.8\linewidth}{!}{
-    \begin{tabular}{l ccc ccc ccc ccc}
-        \toprule
-        \multirow{2}{*}{\textbf{Source}} & 
-        \multicolumn{3}{c}{\textbf{STDMAE(PEMSD7)}} & 
-        \multicolumn{3}{c}{\textbf{LightST(PEMSD7)}} & 
-        \multicolumn{3}{c}{\textbf{LSTTN(METR\_LA)}} & 
-        \multicolumn{3}{c}{\textbf{DSTAGNN(PEMSD4)}} \\
-        \cmidrule(lr){2-4} \cmidrule(lr){5-7} \cmidrule(lr){8-10} \cmidrule(lr){11-13}
-        & \small MAE$\downarrow$ & \small RMSE$\downarrow$ & \small Gap\%$\downarrow$
-        & \small MAE$\downarrow$ & \small RMSE$\downarrow$ & \small Gap\%$\downarrow$ 
-        & \small MAE$\downarrow$ & \small RMSE$\downarrow$ & \small Gap\%$\downarrow$ 
-        & \small MAE$\downarrow$ & \small RMSE$\downarrow$ & \small Gap\%$\downarrow$ \\
-        \midrule
-        Reported~(Paper) &
-        18.65 & 31.44 & 0.00 & 
-        20.78 & 33.95 & 0.00 & 
-        2.96 & 5.92 & 0.00 & 
-        19.30 & 31.46 & 0.00 \\
-        SWE-agent & 
-        31.96 & 45.87 & 55.38 & 
-        22.21 & 34.76 & 4.09 & 
-        4.50 & 9.84 & 61.49 & 
-        20.11 & 31.48 & 1.64 \\
-        OpenHands & 
-        21.79 & 34.55 & 12.48 & 
-        26.18 & 38.89 & 18.89 & 
-        6.55 & 11.80 & 106.64 & 
-        20.27 & 31.97 & 2.91 \\
-        \textbf{AgentCity} & 
-        \textbf{20.19} & \textbf{32.99} & \textbf{6.17} & 
-        \textbf{21.99} & \textbf{34.59} & \textbf{3.38} & 
-        \textbf{3.08} & \textbf{6.12} & \textbf{3.60} & 
-        \textbf{19.90} & \textbf{31.29} & \textbf{0.85} \\
-        \bottomrule
-    \end{tabular}}
-\end{table*}
-
-
-\section{Benchmark Validation}
-\label{sec:validation}
-
-\subsection{Reproduction Fidelity}
-\label{sec:fidelity}
-
-We evaluate the reproduction fidelity of AgentCity by comparing reproduced results with the metrics reported in the original papers.
-This analysis examines whether AgentCity reproduces results that are consistent with those reported in prior studies.
-
-
-We focus on the traffic state prediction task, which has well-established datasets and evaluation protocols and is commonly used in the literature.
-Seven representative models are selected for analysis, covering different architectural designs and training strategies.
-For each model--dataset pair, we report the MAE and RMSE values stated in the original paper together with the corresponding results reproduced by AgentCity.
-The relative gap between reported and reproduced results is summarized in Table~\ref{tab:mae_rmse_comparison}.
-
-Across the examined models and datasets, the reproduced results are generally close to the reported values.
-Differences between reproduced results and reported values can arise from software and hardware environments, nondeterministic training behavior, and minor implementation variations.
-All results are obtained using a consistent reproduction and evaluation process without manual intervention, indicating that AgentCity reproduces published traffic prediction models with reasonable fidelity.
-
-\subsection{Reproduction Consistency Across Code Agents}
-\label{sec:agent_comparison}
-
-We compare the reproduction results obtained by AgentCity with those produced by two general-purpose code-oriented agents, SWE-agent~\cite{Swe-agent} and OpenHands~\cite{OpenHands}.
-The comparison examines reproduction consistency, defined as how closely reproduced results match the metrics reported in the original papers.
-
-All agents are evaluated under the same reproduction setting with Claude-4.5-Opus as the underlying language model, operate on the same code repositories and datasets, and follow the same reproduction objective of matching reported MAE and RMSE values.
-The prompts used to specify reproduction tasks are identical across agents and are described in Appendix~\ref{Model Adapter}.
-Each agent is allowed to iteratively execute, debug, and rerun code until a valid training and evaluation pipeline is completed.
-No manual intervention or task-specific adjustment is performed for any agent during the reproduction process.
-Table~\ref{tab:selected_models} summarizes the reproduction results.
-For each model--dataset pair, the table reports the metrics stated in the original paper together with the reproduced MAE, RMSE, and relative gaps.
-Across the evaluated cases, AgentCity produces reproduced results that are closer to the reported values than those obtained by the other agents under the same reproduction setting.
-\section{Related Work}
-
-
-\subsection{Traffic Prediction Benchmarks}
-
-Benchmark research in traffic prediction has progressed from unified deep learning toolkits toward more diverse evaluation settings.
-Early benchmarks such as LibCity~\cite{Libcity}, DL-Traff~\cite{Dl-traff}, and TorchSpatial~\cite{Torchspatial} focus on standardizing data processing, task definitions, and evaluation protocols for traffic prediction models, providing a common basis for reproducible comparison of predictive performance.
-More recent efforts, including CityBench~\cite{CityBench}, STBench~\cite{STBench}, and USTBench~\cite{USTBench}, extend benchmarking beyond predictive accuracy to assess semantic understanding, reasoning, and planning capabilities of general-purpose models in urban and transportation scenarios.
-Despite this progress, most existing traffic prediction benchmarks are constructed and maintained through largely manual processes.
-The automation and continuous maintenance of the benchmarking workflow remain insufficiently addressed.
-
-
-\subsection{LLM Agents for Automated Reproduction and Benchmarking}
-
-Recent advances in large language model (LLM) agents have enabled tighter coupling between natural language reasoning and automated code generation in scientific workflows.
-General-purpose frameworks such as SWE-agent~\cite{Swe-agent} and OpenHands~\cite{OpenHands} demonstrate the ability to navigate and modify complex code repositories, while more specialized systems, including ML-Master~\cite{ML-Master} and PiML~\cite{PiML}, focus on automating and optimizing machine learning pipelines.
-Building on these capabilities, research-oriented agents such as DeepCode~\cite{DeepCode}, Paper2Code~\cite{Paper2code}, and Agent Laboratory~\cite{Agentlaboratory} aim to support broader stages of the scientific process, ranging from algorithm understanding to experiment execution and reproduction~\cite{Autoreproduce}.
-Despite this progress, most existing LLM-based agents are designed for general-purpose code interaction and research automation.
-Their workflows do not explicitly account for the domain-specific requirements of traffic and spatiotemporal reproduction, such as heterogeneous data organization, task-specific preprocessing pipelines, and structured spatial representations.
-
-\section{Conclusion}
-
-In this work, we present AgentCity, an AI-maintained framework for the continuous construction and evaluation of traffic prediction benchmarks.
-AgentCity formulates benchmark maintenance as a structured, agent-driven workflow that automates literature retrieval, model and data integration, and standardized evaluation under unified protocols, including systematic hyperparameter tuning, enabling benchmark construction to be treated as an ongoing and scalable process rather than a one-time manual effort.
-Built on this framework, we release a publicly accessible traffic prediction benchmark that spans multiple representative tasks, integrates diverse datasets and model implementations, and provides task-wise leaderboards under consistent evaluation settings.
-We further validate the reliability of the framework by comparing reproduced results with those reported in original papers and with results obtained by general-purpose code-oriented agents under the same reproduction settings, demonstrating stable and consistent reproduction performance.
-AgentCity enables continuous and scalable maintenance of traffic prediction benchmarks under unified evaluation protocols, providing a reproducible basis for integrating and evaluating models as the benchmark evolves.

mypaper/arXiv_POI-QA.bib

@@ -1,244 +0,0 @@
-@article{bjerva2020subjqa,
-  author = {Johannes Bjerva and Nikita Bhutani and Behzad Golshan and Wang-Chiew Tan and Isabelle Augenstein},
-  title = {SubjQA: A Dataset for Subjectivity and Review Comprehension},
-  journal = {arXiv preprint arXiv:2004.14283},
-  eprint = {2004.14283},
-  archivePrefix = {arXiv},
-  year = {2020}
-}
-
-@inproceedings{contractor2021answering,
-  author = {Danish Contractor and Krunal Shah and Aditi Partap and Parag Singla and Mausam},
-  title = {Answering POI-Recommendation Questions Using Tourism Reviews},
-  booktitle = {Proceedings of the 30th ACM International Conference on Information \& Knowledge Management},
-  pages = {281--291},
-  year = {2021}
-}
-
-@inproceedings{deng2023spatio,
-  author = {Pan Deng and Yu Zhao and Junting Liu and Xiaofeng Jia and Mulan Wang},
-  title = {Spatio-Temporal Neural Structural Causal Models for Bike Flow Prediction},
-  booktitle = {Proceedings of the AAAI Conference on Artificial Intelligence},
-  volume = {37},
-  pages = {4242--4249},
-  year = {2023}
-}
-
-@article{dong2022spatiotemporal,
-  author = {Qidi Dong and Jun Cai and Shuo Chen and Pengman He and Xuli Chen},
-  title = {Spatiotemporal Analysis of Urban Green Spatial Vitality and the Corresponding Influencing Factors: A Case Study of Chengdu, China},
-  journal = {Land},
-  volume = {11},
-  number = {10},
-  pages = {1820},
-  year = {2022}
-}
-
-@article{feng2024citygpt,
-  author = {Jie Feng and Yuwei Du and Tianhui Liu and Siqi Guo and Yuming Lin and Yong Li},
-  title = {CityGPT: Empowering Urban Spatial Cognition of Large Language Models},
-  journal = {arXiv preprint arXiv:2406.13948},
-  eprint = {2406.13948},
-  archivePrefix = {arXiv},
-  year = {2024}
-}
-
-@article{grattafiori2024llama,
-  author = {Aaron Grattafiori and Abhimanyu Dubey and Abhinav Jauhri and Abhinav Pandey and Abhishek Kadian and Ahmad Al-Dahle and Aiesha Letman and Akhil Mathur and Alan Schelten and Alex Vaughan and others},
-  title = {The Llama 3 Herd of Models},
-  journal = {arXiv preprint arXiv:2407.21783},
-  eprint = {2407.21783},
-  archivePrefix = {arXiv},
-  year = {2024}
-}
-
-@article{gruber2024complextempqa,
-  author = {Raphael Gruber and Abdelrahman Abdallah and Michael F{\"a}rber and Adam Jatowt},
-  title = {ComplexTempQA: A Large-Scale Dataset for Complex Temporal Question Answering},
-  journal = {arXiv preprint arXiv:2406.04866},
-  eprint = {2406.04866},
-  archivePrefix = {arXiv},
-  year = {2024}
-}
-
-@article{hu2022lora,
-  author = {Edward J. Hu and Yelong Shen and Phillip Wallis and Zeyuan Allen-Zhu and Yuanzhi Li and Shean Wang and Lu Wang and Weizhu Chen and others},
-  title = {LoRA: Low-Rank Adaptation of Large Language Models},
-  journal = {ICLR},
-  volume = {1},
-  number = {2},
-  pages = {3},
-  year = {2022}
-}
-
-@inproceedings{jia2018tempquestions,
-  author = {Zhen Jia and Abdalghani Abujabal and Rishiraj Saha Roy and Jannik Str{\"o}tgen and Gerhard Weikum},
-  title = {TempQuestions: A Benchmark for Temporal Question Answering},
-  booktitle = {Companion Proceedings of the The Web Conference 2018},
-  pages = {1057--1062},
-  year = {2018}
-}
-
-@article{joshi2017triviaqa,
-  author = {Mandar Joshi and Eunsol Choi and Daniel S. Weld and Luke Zettlemoyer},
-  title = {TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension},
-  journal = {arXiv preprint arXiv:1705.03551},
-  eprint = {1705.03551},
-  archivePrefix = {arXiv},
-  year = {2017}
-}
-
-@article{kwiatkowski2019natural,
-  author = {Tom Kwiatkowski and Jennimaria Palomaki and Olivia Redfield and Michael Collins and Ankur Parikh and Chris Alberti and Danielle Epstein and Illia Polosukhin and Jacob Devlin and Kenton Lee and others},
-  title = {Natural Questions: A Benchmark for Question Answering Research},
-  journal = {Transactions of the Association for Computational Linguistics},
-  volume = {7},
-  pages = {453--466},
-  year = {2019}
-}
-
-@article{lewis2020retrieval,
-  author = {Patrick Lewis and Ethan Perez and Aleksandra Piktus and Fabio Petroni and Vladimir Karpukhin and Naman Goyal and Heinrich K{\"u}ttler and Mike Lewis and Wen-tau Yih and Tim Rockt{\"a}schel and others},
-  title = {Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks},
-  journal = {Advances in Neural Information Processing Systems},
-  volume = {33},
-  pages = {9459--9474},
-  year = {2020}
-}
-
-@article{li2024stbench,
-  author = {Wenbin Li and Di Yao and Ruibo Zhao and Wenjie Chen and Zijie Xu and Chengxue Luo and Chang Gong and Quanliang Jing and Haining Tan and Jingping Bi},
-  title = {STBench: Assessing the Ability of Large Language Models in Spatio-Temporal Analysis},
-  journal = {arXiv preprint arXiv:2406.19065},
-  eprint = {2406.19065},
-  archivePrefix = {arXiv},
-  year = {2024}
-}
-
-@inproceedings{DBLP:conf/ijcai/LiCLYH21,
-  author = {Yang Li and Tong Chen and Yadan Luo and Hongzhi Yin and Zi Huang},
-  title = {Discovering Collaborative Signals for Next {POI} Recommendation with Iterative Seq2Graph Augmentation},
-  booktitle = {Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, {IJCAI} 2021},
-  pages = {1491--1497},
-  year = {2021},
-  doi = {10.24963/IJCAI.2021/206},
-  url = {https://doi.org/10.24963/ijcai.2021/206}
-}
-
-@article{li2025mapqa,
-  author = {Zekun Li and Malcolm Grossman and Mihir Kulkarni and Muhao Chen and Yao-Yi Chiang and others},
-  title = {MapQA: Open-Domain Geospatial Question Answering on Map Data},
-  journal = {arXiv preprint arXiv:2503.07871},
-  eprint = {2503.07871},
-  archivePrefix = {arXiv},
-  year = {2025}
-}
-
-@article{ma2023evolution,
-  author = {Dongling Ma and Baoze Liu and Qingji Huang and Qian Zhang},
-  title = {Evolution Characteristics and Causes---An Analysis of Urban Catering Cluster Spatial Structure},
-  journal = {ISPRS International Journal of Geo-Information},
-  volume = {12},
-  number = {8},
-  pages = {302},
-  year = {2023}
-}
-
-@inproceedings{mai2018poireviewqa,
-  author = {Gengchen Mai and Krzysztof Janowicz and Cheng He and Sumang Liu and Ni Lao},
-  title = {POIReviewQA: A Semantically Enriched POI Retrieval and Question Answering Dataset},
-  booktitle = {Proceedings of the 12th Workshop on Geographic Information Retrieval},
-  pages = {1--2},
-  year = {2018}
-}
-
-@article{mateos2025systematic,
-  author = {Pablo Mateos and Alejandro Bellog{\'\i}n},
-  title = {A Systematic Literature Review of Recent Advances on Context-Aware Recommender Systems},
-  journal = {Artificial Intelligence Review},
-  volume = {58},
-  number = {1},
-  pages = {1--53},
-  year = {2025}
-}
-
-@article{tang2022discovering,
-  author = {Wen Tang and Alireza Chakeri and Hamid Krim},
-  title = {Discovering Urban Functional Zones from Biased and Sparse Points of Interests and Sparse Human Activities},
-  journal = {Expert Systems with Applications},
-  volume = {207},
-  pages = {118062},
-  year = {2022}
-}
-
-@article{wan2023spatio,
-  author = {Zhongwei Wan and Xin Liu and Benyou Wang and Jiezhong Qiu and Boyu Li and Ting Guo and Guangyong Chen and Yang Wang},
-  title = {Spatio-Temporal Contrastive Learning-Enhanced GNNs for Session-Based Recommendation},
-  journal = {ACM Transactions on Information Systems},
-  volume = {42},
-  number = {2},
-  pages = {1--26},
-  year = {2023}
-}
-
-@article{wang2024environmental,
-  author = {Hongcheng Wang and Linfei Li and Xin Xu},
-  title = {Do Environmental Regulation Policies Increase Urban Boundary Pollution? Micro Evidence from Chinese Industrial Enterprises},
-  journal = {Environmental Impact Assessment Review},
-  volume = {106},
-  pages = {107524},
-  year = {2024}
-}
-
-@article{wang2021spatio,
-  author = {Huandong Wang and Qiaohong Yu and Yu Liu and Depeng Jin and Yong Li},
-  title = {Spatio-Temporal Urban Knowledge Graph Enabled Mobility Prediction},
-  journal = {Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies},
-  volume = {5},
-  number = {4},
-  pages = {1--24},
-  year = {2021}
-}
-
-@article{yang2024qwen2,
-  author = {An Yang and Baosong Yang and Beichen Zhang and Binyuan Hui and Bo Zheng and Bowen Yu and Chengyuan Li and Dayiheng Liu and Fei Huang and Haoran Wei and others},
-  title = {Qwen2.5 Technical Report},
-  journal = {arXiv preprint arXiv:2412.15115},
-  eprint = {2412.15115},
-  archivePrefix = {arXiv},
-  year = {2024}
-}
-
-@inproceedings{yang2015wikiqa,
-  author = {Yi Yang and Wen-tau Yih and Christopher Meek},
-  title = {WikiQA: A Challenge Dataset for Open-Domain Question Answering},
-  booktitle = {Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing},
-  pages = {2013--2018},
-  year = {2015}
-}
-
-@article{yu2024survey,
-  author = {Jian Yu and Lucas Guo and Jiayu Zhang and Guiling Wang},
-  title = {A Survey on Graph Neural Network-Based Next POI Recommendation for Smart Cities},
-  journal = {Journal of Reliable Intelligent Environments},
-  volume = {10},
-  number = {3},
-  pages = {299--318},
-  year = {2024}
-}
-
-@book{yu2017chinese,
-  author = {Li Yu},
-  title = {Chinese City and Regional Planning Systems},
-  publisher = {Routledge},
-  year = {2017}
-}
-
-@article{yu2024bigcity,
-  author = {Xie Yu and Jingyuan Wang and Yifan Yang and Qian Huang and Ke Qu},
-  title = {BigCity: A Universal Spatiotemporal Model for Unified Trajectory and Traffic State Data Analysis},
-  journal = {arXiv preprint arXiv:2412.00953},
-  eprint = {2412.00953},
-  archivePrefix = {arXiv},
-  year = {2024}
-}

mypaper/arXiv_POI-QA.tex

@@ -1,532 +0,0 @@
-\title{A Dataset for Spatiotemporal-Sensitive\\POI Question Answering}
-
-\begin{document}
-\maketitle
-
-\begin{abstract}
-Spatiotemporal relationships are critical in data science, as many prediction and reasoning tasks require analysis across both spatial and temporal dimensions—for instance, navigating an unfamiliar city involves planning itineraries that sequence locations and timing cultural experiences.
-However, existing Question-Answering (QA) datasets lack sufficient spatiotemporal-sensitive questions, making them inadequate benchmarks for evaluating models' spatiotemporal reasoning capabilities.
-To address this gap, we introduce \name, a novel spatiotemporal-sensitive QA dataset centered on Point of Interest (POI), constructed through three key steps: mining and aligning open-source vehicle trajectory data from GAIA with high-precision geographic POI data, rigorous manual validation of noisy spatiotemporal facts, and generating bilingual (Chinese/English) QA pairs that reflect human-understandable spatiotemporal reasoning tasks.
-Our dataset challenges models to parse complex spatiotemporal dependencies, and evaluations of state-of-the-art multilingual LLMs (\emph{e.g.,} Qwen2.5-7B, Llama3.1-8B) reveal stark limitations: even the top-performing model (Qwen2.5-7B fine-tuned with RAG+LoRA) achieves a top 10 Hit Ratio (HR@10) of only 0.41 on the easiest task, far below human performance at 0.56.
-This underscores persistent weaknesses in LLMs’ ability to perform consistent spatiotemporal reasoning, while highlighting \name\ as a robust benchmark to advance algorithms sensitive to spatiotemporal dynamics. The dataset is publicly available at \datalink.
-\end{abstract}
-\section{Introduction}
-
-
-Spatiotemporal reasoning plays a pivotal role in a wide range of prediction and decision-making tasks that require sensitivity to both spatial and temporal contexts.
-This capability depends heavily on spatiotemporal information, which encompasses spatial data, such as geographic locations, and temporal data like time of day or sequential time-based patterns.
-As a result, spatiotemporal reasoning has become an essential focus in recent research across domains including mobility analysis, personalized recommendation, and spatiotemporal prediction tasks~ \cite{wan2023spatio,deng2023spatio,wang2021spatio}.
-The integration of spatiotemporal reasoning into decision-making processes is not confined to technological applications but is also deeply embedded in the daily routines and choices of individuals~\cite{mateos2025systematic}.
-For instance, when planning a journey, travelers often consider factors such as the geographical proximity of restaurants offering local specialties and the time required to reach these establishments.
-This example underscores how both spatial and temporal elements are crucial for making informed decisions.
-Among the domains where spatiotemporal reasoning is essential, Point of Interest (POI) recommendation stands out as a representative and challenging example. To effectively identify appropriate POIs, models must possess robust spatiotemporal reasoning capabilities. These capabilities enable models to analyze historical user behavior patterns, predict future preferences, and recommend POIs that align with users' interests while accounting for constraints like time and location.
-In essence, the ability to reason about space and time is fundamental for developing intelligent recommendation systems that cater to diverse user needs and preferences~\cite{yu2024survey}.
-
-In this paper, we focus on addressing the spatiotemporal challenges of POI prediction with precision and rigor.
-We formally define POI prediction at travel destinations as spatiotemporal questions based on the following four criteria:
-\textbf{i) Spatiotemporal Presence:} The question contains both a timestamp, [time], and a geolocation, [place], such as ``Tuesday evening'' and ``221B Baker Street'';
-\textbf{ii) Spatiotemporal Context Sensitivity:} Answers to similar questions may vary depending on differences in time and/or location, \ie altering the [time] or [place] can result in different answers.
-\textbf{iii) Spatiotemporal Knowledge Reasoning:} Such questions require broad POI data coverage and the ability to perform spatiotemporal reasoning.
-\textbf{iv) Human-Readable Answer:} The answer should align with effective human-computer interaction principles, such as providing the POI name along with a specific address rather than raw latitude and longitude coordinates.
-We found that, despite their ubiquity, spatiotemporal-sensitive questions are under-studied in existing POI QA datasets. 
-For example, SubjQA~\cite{bjerva2020subjqa} focuses on attribute-oriented questions derived from POI reviews, requiring only semantic knowledge and lacking spatial or temporal information. MapQA~\cite{li2025mapqa} supports geographic queries but omits any temporal context. TourismQA~\cite{contractor2021answering}, although built from tourism reviews and containing questions related to time or place, lacks the ability to perform spatiotemporal reasoning.
-All of these datasets do not consider spatiotemporal-sensitive issues as specified in criterion ii).
-
-One of the datasets closest to ours is Foursquare\footnote{https://opensource.foursquare.com/os-places/}, which provides a large amount of POI location information worldwide, along with a large number of user check-in data with timestamps.
-However, question samples extracted from the above-mentioned dataset fail to meet criteria ii), iii), and iv).
-Furthermore, the spatiotemporal information in the Foursquare dataset is relatively sparse and fragmented, as many users check in at different POIs on the platform with gaps of several days.
-Therefore, we propose to construct our own dataset, called \name. We first identify spatiotemporal-evolving relationships from both GAIA trajectory data\footnote{https://outreach.didichuxing.com/} and POI information around those real-time trajectories.
-Then, a massive number of human workers are employed to annotate the POIs surrounding each GPS point in every trajectory, especially focusing on double-checking the POIs near pick-up and drop-off locations.
-Finally, we created bilingual datasets (in Simplified Chinese and English) with multiple levels of granularity, corresponding to different levels of question difficulty. These levels include POI name, POI subcategory, POI medium category, and POI major category. Each level contains over 5,000,000 question-answer pairs, covering about 400,000 distinct POI locations and 30 consecutive days of vehicle trajectory data.
-Using POI names as labels in QA pairs is more challenging, as it requires more spatiotemporal reasoning and natural language understanding compared to other classification tasks.
-Figure~\ref{fig:illustration} shows two trajectories and their corresponding QA examples from the \name\ dataset, constructed using both trajectory facts and synthesized contextual information. Although both vehicles depart at similar times on Tuesday, the spatial variation in their departure points leads to different routes and destination contexts. This example highlights the strong spatiotemporal sensitivity of our dataset, where even slight spatial shifts under similar temporal conditions can significantly impact the question context, requiring models to perform spatiotemporal reasoning.
-3The challenges posed by our dataset fall into three folds:
-\begin{itemize}[leftmargin=*]
-    \item \textbf{Geographic Knowledge Processing}: This involves accurately identifying and categorizing POIs based on their geographic locations. For example, recognizing that a ``McDonald's'' in a bustling city center may have different operating hours compared to one in a quieter suburban area.
-
-    \item \textbf{Temporal Information Understanding}: This requires the system to understand how temporal factors affect POI availability or relevance. For instance, recognizing that a restaurant may be open for dinner on weekdays but closed on weekends.
-
-    \item \textbf{Spatiotemporal Reasoning}: This involves combining both geographic and temporal information to provide accurate predictions. For example, recognizing that a user asking about the best places to eat near their home at 8pm is likely looking for a restaurant that is still open and close to home.
-
-\end{itemize}
-
-\begin{figure}
-    \centering
-    \includegraphics[width=0.95\linewidth]{figs/illustration.png}
-    \caption{A toy example of spatiotemporal sensitive questions.}
-    \label{fig:illustration}
-\end{figure}
-
-We evaluate the performance of different state-of-the-art open-source Large Language Models (LLMs) on \name\ across all levels of granularity and observe that the average HR@10 drops from 0.39 on the coarse-grained ``POI Major Category'' task to 0.21 on the fine-grained ``POI Subcategory'' task, indicating that current models struggle with spatiotemporal understanding and reasoning.
-In contrast, human performance on the POI Subcategory task reaches an HR@10 of 0.57, highlighting a substantial gap between existing advanced models and human capabilities.
-Therefore, we believe \name\ could serve as a valuable benchmark for studying this problem.
-\section{\name\ Dataset}
-
-In this section, we demonstrate the pipeline constructing our dataset, \name.
-It consists of three steps:
-i) geographic annotation of POIs,
-ii) trajectory-based POI mapping, and
-iii) spatiotemporal question-answer pair generation.
-
-\subsection{Geographic Annotation of POIs}
-
-
-Before POI annotation, the choice of POI locations is critical \cite{tang2022discovering,DBLP:conf/ijcai/LiCLYH21}: In sparsely populated areas, POIs tend to be distributed sparsely as well, and the resulting datasets are usually of low quality.
-On a global scale, Chinese cities have the characteristics of high population density and thriving regional economic activities \cite{ma2023evolution,yu2017chinese}.
-These lead to a large number of POIs and rich types, making such cities particularly suitable for POI annotation.
-Therefore, we chose Chengdu, a Chinese city with a population in the tens of millions \cite{dong2022spatiotemporal}, as a suitable location for the dataset.
-
-Although POIs in a city, such as store openings, relocations, or closures, may evolve over time, these dynamic changes are simplified in our constructed dataset to ensure consistency with the time frame of GAIA Data.
-To align with this requirement, we first collected 418,854 POI entries from map engines as of the end of 2016.
-After rigorous screening, we retained 418,579 POIs that remained stable over the period and excluded 275 POIs that had undergone changes.
-The POI annotation process followed four core steps:
-
-\textbf{Data Collection via Map Search Engines}:
-We crawled POI data from two major map search engines in mainland China: Baidu Maps\footnote{https://lbsyun.baidu.com/} and Amap\footnote{https://lbs.amap.com/}. To ensure comprehensive coverage, we partitioned Chengdu into a grid system of 500x500 cells, each approximately 300 meters in length and width. For each grid, we retrieved and queried nearby POIs of the center point from the search engines.
-
-\textbf{Data Cleaning and Standardization}:
-Duplicate entries from the search engine results were removed. Subsequently, we standardized the geographic coordinates of each POI to the WGS84 coordinate system to ensure uniformity \cite{wang2024environmental}.
-
-\textbf{Coordinate Validation and Error Thresholds}:
-We calculated the coordinate discrepancy between the same POI across platforms. POIs with a coordinate difference of <1e-4 were retained and recorded. For discrepancies between 1e-4 and 1e-3, a manual review process was conducted to verify and retain valid POIs. Those with errors exceeding 1e-3 were excluded due to potential inaccuracies.
-
-\textbf{Hierarchical Categorization}: In order to describe the POI more clearly, we manually marked all the collected POIs again.
-Each POI point has 3 category labels: major category, medium category and subcategory.
-For the entire POI dataset, we have divided it into 19 major categories, 122 medium categories and 959 subcategories.
-For more details, please refer to Appendix \ref{app:Dataset}.
-
-This systematic approach ensured the reliability and temporal consistency of the POI dataset in alignment with GAIA Data’s requirements.
-
-\subsection{Trajectory-based POI Mapping}
-
-The POI mapping takes three steps: mining spatiotemporal-evolving travel targets from GAIA data, aligning geographic information with POIs, and human verification.
-
-\textbf{Mining Spatiotemporal-evolving Travel Targets from GAIA Data}: We first utilize existing vehicle location records from GAIA Data to identify trajectories with distinctive spatiotemporal migration patterns.
-Subsequently, we employ this data to mine trips that exhibit temporal and spatial evolution.
-For instance, the vehicle ID ``6c8a8d17e6bbe4cd2fcdb4991b52725e'' in the GAIA Data produces various trip patterns: some travel directly from entertainment venues via main roads to nearby residential areas during weekday evenings, while others divert from community gates to nearby educational institutions on holiday mornings.
-These behaviors reflect clear spatiotemporal orientations, such as individuals returning home after nightlife activities or students attending weekend cram schools.
-By screening and filtering vehicle trajectory records with discernible objectives, we successfully extracted over 6 million trajectories characterized by prominent spatiotemporal migration patterns.
-These trajectories are formatted as: ``carID, timestamp and the location at the pickup point, the positioning sequence during the trip, and the drop-off location.''
-
-\textbf{Aligning Geographic Information with POIs}: 
-In the task of predicting points of interest at travel destinations, it is essential to map POIs along trajectories, particularly focusing on those near the start and end points.
-This approach addresses the need to avoid private information found in order details or GPS sequences.
-Our objectives include anonymization and associating POIs during data processing.
-The process involves four key steps: 
-i) downsampling the trajectory by retaining positioning information at critical intersections and congestion points while eliminating redundancies;
-ii) matching all POIs within a 100-meter radius of start and end points, listed from nearest to farthest;
-iii) using the closest POI for journey positioning points to obscure exact paths;
-and iv) simplifying timestamps to day of the week and hour.
-Each track record is then formatted as: ``anonymous carID, timestamp, POIs near pickup location, POIs during trip, POIs near drop-off location.'' This method ensures privacy while maintaining data utility for effective destination prediction.
-
-\textbf{Human Verification}:
-In the prior step, automated programs generate noisy data in batches. The primary sources of errors include: 
-i) anomalies and drifts in trajectory points within GAIA data; 
-and ii) start or end points situated in city suburbs with low POI coverage, leading to unclear descriptions of trajectory endpoints.
-To address these issues, we employ manual verification by hiring workers.
-This process involves the following measures:
-i) Display the start (end) point of the trajectory alongside nearby POIs (from nearest to farthest, shaded from dark to light) on a single map. Identify and mark records with missing or problematic information, correcting POI details if manually matched.
-ii) Visualize downsampled trajectories directly within the road network. Identify and mark trajectories with obvious anomalies or discontinuities, rectifying waypoints as needed.
-iii) Assign each trajectory record to at least five different workers for evaluation. If a record is flagged by more than 60\% of evaluators, it is either deleted or adjusted according to the majority opinion.
-It ensures data accuracy and reliability through systematic manual verification.
-
-\subsection{Spatiotemporal Question-Answer Pair Generation}
-
-Once we have the precise trajectory-POI matching records, the next step involves generating question-answer pairs that exhibit spatiotemporal correlation.
-
-\begin{table}[ht]
-\centering
-\footnotesize
-\caption{The dataset statistics.}
-\label{tab:difficulty}
-\begin{tabular}{cccc}
-\toprule
-\multicolumn{1}{c}{\bfseries{Type}} & \multicolumn{1}{c}{\bfseries{Difficulty}} & \multicolumn{1}{c}{\makecell{\bfseries{Label }\\ \bfseries{Categories}}} & \multicolumn{1}{c}{\bfseries{Specifier}}\\
-\midrule
-Major Category Classification & Easy & 19 & \makecell{POIs at travel destination are: \\$[$ \re{Lifestyle Services}, \re{Shopping Service}, ...$]$} \\
-&&&\\
-Medium Category Classification & Medium & 122 & \makecell{POIs at travel destination are: \\$[$\re{Beauty Salon}, \re{Supermarket}, ...$]$} \\
-&&&\\
-Subcategory Classification & Hard & 959 & \makecell{POIs at travel destination are: \\$[$\re{Plastic Surgery | Healthcare Services}, \\\re{Hui Kang Supermarket}, \\\re{Wanning Supermarket}, ...$]$} \\
-&&&\\
-POI Name Generation & Very Hard & 400K+
-        & \makecell{POIs at travel destination are: \\$[$\re{tai shi xing cai yi xue mei rong}\\\re{(No. 75 Fuqiang Street)}, \re{Wanning}\\ \re{(cheng du fu li guang chang)}, ...$]$} \\
-\bottomrule
-\end{tabular}
-\end{table}
-
-
-\textbf{Main QA Dataset}:
-Our dataset consists of two components. The first part contains POI information, describing the locations and spatial relationships of various POIs. The second part is our main dataset, specifically designed for predicting POIs at travel destinations. Both datasets are generated using templates. Since the data originates from China, we provide both simplified Chinese and English versions to support multilingual model training.
-
-
-The synthesizing procedure is described in Figure~\ref{fig:QA_sample_synthesizing}.
-As shown in Figure~\ref{fig:QA_sample_synthesizing}, we use '<>' to represent the POI name.
-Since the English translation of most POIs has no specific meaning, we use the three phrases in '()' to represent the major category, medium category, and subcategory of the POI.
-In order to be closer to life and easier for people to understand directly, we also use both addresses in natural language and longitude-latitude coordinates to describe the geographical location of the POI.
-Finally, for each POI, we list the nearby POIs and the distances from these POIs to the current POI in the form of an array from near to far.
-For the POI prediction sample, we take the POI information near the starting point of the vehicle trajectory and the waypoint as the problem, and take the POI near the end of the vehicle trajectory as the predicted label.
-The predicted label is a list form represented by '[]'.
-Each record in the list is a POI point, including the POI name and its corresponding three categories.
-Therefore, we can use this dataset for two major tasks: classification task and generation task, as shown in Table~\ref{tab:difficulty}.
-For the classification task, we hope to build a model that can determine the classification category (major category, medium category, and subcategory) of the POI near the destination; for the generation task, we hope to build a model that can directly output the name of the POI near the destination.
-The difficulty of these four tasks increases in turn, and their comprehensive data are shown in Table~\ref{tab:difficulty}.
-The license information of the dataset is listed in Appendix~\ref{app:accessibility}.
-
-\begin{figure}
-    \centering
-    \includegraphics[width=0.85\linewidth]{figs/QA_sample_synthesizing.png}
-    \caption{QA sample synthesizing.}
-    \label{fig:QA_sample_synthesizing}
-\end{figure}
-
-\textbf{Quality Control}:
-In order to obtain a high-quality dataset, we performed very detailed quality control during the collection process. In the interface, we highlight the annotated POIs and timestamps with special fonts to help annotators identify them. We assign each sample to multiple workers at the same time, and let them score the data quality without knowing each other. If the negative score is higher than 60\%, the sample will be removed. In the final verification step, about 20\% of the records were modified, and we finally obtained 5,417,335 high-quality data samples.
-\section{Models}
-
-In this section, we first present the formal problem definition for POI prediction at travel destinations.
-We then introduce the models used to evaluate the proposed dataset.
-
-\subsection{Learning Problem}
-
-Here we formally define the problem setup.
-The model is given a set of POI information $D_{poi} = \{ poi_1, \cdots, poi_N \}$, and questions $Q = \{ q_1, \cdots, q_M \}$, where each POI information $poi_i, i \in [N]$ and question $q_j, j \in [M]$ is a textual sequence of fewer than 8,000 tokens.
-The model must possess the following capabilities:
-i) Semantic Understanding: Accurately interpret user queries to identify intent and relevant context.
-ii) Information Retrieval: Efficiently search through $D_{poi}$ to extract pertinent POI data based on query requirements.
-iii) Spatiotemporal Analysis: Incorporate location and time-based constraints to effectively filter and rank candidate POIs. %spatial and temporal constraints?
-iv) Human-Computer Interaction: Generate responses that are not only accurate but also presented in a user-friendly manner, ensuring clarity and relevance.
-The model's objective is to generate a response string $\hat{A}$ that accurately answers the query by leveraging these capabilities. This involves selecting the most appropriate POI(s) from $D_{poi}$ based on the query's context and constraints, while maintaining a balance between precision and user experience.
-The approach integrates natural language processing techniques with spatiotemporal reasoning to achieve robust performance across diverse scenarios.
-\subsection{Pre-trained LLMs with SFT and RAG}
-
-To cope with the existing challenges, especially the four capabilities mentioned in the previous paragraph, we adopt two open-source LLMs as base-models: Llama3.1~\cite{grattafiori2024llama} and Qwen2.5~\cite{yang2024qwen2}, which are known to achieve state-of-the-art performance on a wide range of open-world QA tasks (\eg Natural Question~\cite{kwiatkowski2019natural}, TriviaQA~\cite{joshi2017triviaqa}, and WikiQA~\cite{yang2015wikiqa}).
-
-Llama3.1 and Qwen2.5 are both built with transformer-based decoder architectures with support for a 128K context length.
-Llama3.1 introduces Group Query Attention and follows a pretraining pipeline consisting of reward modeling, supervised fine-tuning (SFT), and direct preference optimization (DPO), while Qwen2.5 adopts a two-stage pretraining strategy with RoPE adjusted base frequency (ABF) technology and enhanced Chinese language support.
-Appendix~\ref{app:basemodel} provides a detailed description of their design and training process.
-
-Beyond evaluating model performance on \name\ in a zero-shot setting, we also employ Low-Rank Adaptation (LoRA) fine-tuning \cite{hu2022lora} and Retrieval-Augmented Generation (RAG) \cite{lewis2020retrieval} methods for further assessment. More details are provided in Appendix~\ref{app:LoRA} and \ref{app:RAG}.
-
-\section{Experiments}
-
-In this section, we conduct several baseline experiments to better illustrate our proposed dataset.
-
-\subsection{Experimental Setup}
-Experiments are conducted using two state-of-the-art LLMs as base models that we mentioned before: Llama3.1-8B and Qwen2.5-7B. 
-For the Llama model, we use the English version of the dataset, while the Qwen model uses the Chinese version to generate the best results.
-The content of the two versions of the dataset is exactly the same except for languages.
-Additionally, we employ one specialized model, Deepseek-r1-32B for fine-grained task decomposition and retrieval results summarization and final generation in the RAG pipeline, as detailed in both the Models section and the Appendix~\ref{app:RAG}. 
-We evaluate multiple model variants to analyze the impact of different methods on spatiotemporal reasoning capabilities, including zero-shot, LoRA-based fine-tuning, retrieval-augmented generation (RAG), and a combined LoRA+RAG method.
-
-We utilize a mixed precision training strategy with bf16 to fine-tune all the models using the AdamW optimizer with a learning rate of 1e-4 and a cosine scheduler.
-For LoRA-based methods, the rank is set to 16. Models are fine-tuned for 3 epochs, using a batch size of 24 per GPU.
-The best model is selected based on validation set performance which is constituted from 10\% of the total dataset.
-All training is conducted on NVIDIA A100 with 80G memory running Ubuntu 22.04.
-
-\subsection{Evaluation Metrics}
-
-We evaluate model performance on four answer types: POI name, subcategory, medium category, and major category, covering spatiotemporal reasoning at multiple granularities.
-We designed two evaluation settings differing in how the answer space is defined: \textbf{QA for Classification Tasks} and \textbf{Open-world Generative QA}.
-For both settings, we report Hit Ratio (HR@$k$) and Normalized Discounted Cumulative Gain (NDCG@$k$) at $k\!\in\!\{5,10,20\}$.
-For the generative setting, we additionally compute BLEU-based textual-similarity scores to assess lexical quality.
-Detailed metric definitions are provided in Appendix~\ref{app:metrics}.
-
-\subsection{Main Results}
-\label{exp:main_results}
-
-
-Tables \ref{tab:classification_hr}--\ref{tab:generation_results}
-summarize the primary results across model variants and metrics for the classification tasks and open-world generative QA tasks, respectively.
-Each table reports the performance of the base LLMs, Qwen2.5-7B and Llama3.1-8B, under four experimental configurations: zero-shot, LoRA-based fine-tuning, RAG, and combined RAG+LoRA.
-
-\paragraph{QA for Classification tasks.}
-As shown in both Tables~\ref{tab:classification_hr} and \ref{tab:classification_ndcg}, zero-shot performance is consistently low, confirming that spatiotemporal reasoning remains challenging for out-of-the-box LLMs.
-LoRA and RAG can both enhance model performance.
-Taking $k=10$ as an example,
-LoRA contributes an improvement of 0.05 and 0.09 in HR@10 on average for Llama and Qwe, whereas RAG, through the integration of external spatiotemporal knowledge, achieves a sightly larger gain of 0.06 and 0.13.
-When combined, RAG + LoRA obtains the best result, outperforming the zero-shot baseline 2.5 and 3.9 times on HR@10 and NDCG@10, respectively.
-
-\begin{table}[ht]
-\centering
-\caption{Results for classification tasks. We report HR@\{5,10,20\} for each model variant.}
-\label{tab:classification_hr}
-\small
-\resizebox{1.\linewidth}{!}{
-    \begin{tabular}{l|ccc|ccc|ccc}
-    \toprule
-    \multirow{2}{*}{\textbf{Model}}
-    & \multicolumn{3}{c|}{\textbf{Major Category}}
-    & \multicolumn{3}{c|}{\textbf{Medium Category}}
-    & \multicolumn{3}{c}{\textbf{Subcategory}} \\
-    \cmidrule(lr){2-4} \cmidrule(lr){5-7} \cmidrule(lr){8-10}
-    & \textbf{{\color{white}{H}}HR@5{\color{white}{H}}} & \textbf{{\color{white}{H}}HR@10{\color{white}{H}}} & \textbf{{\color{white}{H}}HR@20{\color{white}{H}}}
-    & \textbf{{\color{white}{H}}HR@5{\color{white}{H}}} & \textbf{{\color{white}{H}}HR@10{\color{white}{H}}} & \textbf{{\color{white}{H}}HR@20{\color{white}{H}}}
-    & \textbf{{\color{white}{H}}HR@5{\color{white}{H}}} & \textbf{{\color{white}{H}}HR@10{\color{white}{H}}} & \textbf{{\color{white}{H}}HR@20{\color{white}{H}}}\\
-    \midrule 
-    Llama3.1-8B (zero-shot)
-    & 0.0664 & 0.1001 & 0.0917
-    & 0.0281 & 0.0481 & 0.0695
-    & 0.0222 & 0.0350 & 0.0372 \\
-    Qwen2.5-7B (zero-shot)
-    & 0.1017 & 0.1775 & 0.1650
-    & 0.0451 & 0.0784 & 0.0814
-    & 0.0263 & 0.0467 & 0.0673 \\
-    \midrule
-    Llama3.1-8B (LoRA)
-    & 0.1239 & 0.1880 & 0.2067
-    & 0.0590 & 0.1041 & 0.1241
-    & 0.0445 & 0.0687 & 0.0797 \\
-    Qwen2.5-7B (LoRA)
-    & 0.1950 & 0.3222 & 0.3509
-    & 0.1004 & 0.1627 & 0.1871
-    & 0.0611 & 0.1062 & 0.1250 \\
-    \midrule
-    Llama3.1-8B (RAG)
-    & 0.1237 & 0.1770 & 0.2089
-    & 0.0593 & 0.1155 & 0.1328
-    & 0.0461 & 0.0721 & 0.0848 \\
-    Qwen2.5-7B (RAG)
-    & 0.2099 & \underline{0.3821} & 0.3815
-    & 0.0967 & 0.1876 & 0.2008
-    & 0.0650 & 0.1107 & 0.1218 \\
-    \midrule
-    Llama3.1-8B (RAG+LoRA)
-    & \underline{0.2189} & 0.3784 & \underline{0.4356}
-    & \underline{0.1736} & \underline{0.2966} & \underline{0.3379}
-    & \underline{0.1092} & \underline{0.2009} & \underline{0.2324} \\
-    Qwen2.5-7B (RAG+LoRA)
-    & \textbf{0.2339} & \textbf{0.4062} & \textbf{0.4698}
-    & \textbf{0.1812} & \textbf{0.2987} & \textbf{0.3577}
-    & \textbf{0.1288} & \textbf{0.2185} & \textbf{0.2586} \\
-    \bottomrule
-    \end{tabular}
-}
-
-\small{
-Bold and underlined indicates statistically significant improvement \\(\ie using a two-sided t-test with $p<0.05$) over the best baseline.
-}
-\end{table}
-
-\begin{table}[ht]
-\centering
-\caption{Results for classification tasks. We report NDCG@\{5,10,20\} for each model variant.}
-\label{tab:classification_ndcg}
-\small
-\resizebox{1.\linewidth}{!}{
-    \begin{tabular}{l|ccc|ccc|ccc}
-    \toprule
-    \multirow{2}{*}{\textbf{Model}}
-    & \multicolumn{3}{c|}{\textbf{Major Category}}
-    & \multicolumn{3}{c|}{\textbf{Medium Category}}
-    & \multicolumn{3}{c}{\textbf{Subcategory}} \\
-    \cmidrule(lr){2-4} \cmidrule(lr){5-7} \cmidrule(lr){8-10}
-    & \textbf{NDCG@5} & \textbf{NDCG@10} & \textbf{NDCG@20}
-    & \textbf{NDCG@5} & \textbf{NDCG@10} & \textbf{NDCG@20}
-    & \textbf{NDCG@5} & \textbf{NDCG@10} & \textbf{NDCG@20}\\
-
-    \midrule 
-    Llama3.1-8B (zero-shot)
-    & 0.1073 & 0.1841 & 0.2150
-    & 0.0617 & 0.1241 & 0.1380
-    & 0.0631 & 0.0842 & 0.1141 \\
-    Qwen2.5-7B (zero-shot)
-    & 0.1778 & 0.3130 & 0.3521
-    & 03.1047 & 0.1736 & 0.2369
-    & 0.0910 & 0.1319 & 0.1642 \\
-    \midrule
-    Llama3.1-8B (LoRA)
-    & 0.2085 & 0.3448 & 0.3948
-    & 0.1284 & 0.2268 & 0.2646
-    & 0.1182 & 0.1959 & 0.2247 \\
-    Qwen2.5-7B (LoRA)
-    & 0.3555 & 0.5694 & 0.6976
-    & 0.1968 & 0.3479 & 0.4270
-    & 0.1898 & 0.2804 & 0.3241 \\
-    \midrule
-    Llama3.1-8B (RAG)
-    & 0.2436 & 0.3911 & 0.4029
-    & 0.1319 & 0.2530 & 0.2857
-    & 0.1304 & 0.2075 & 0.2245 \\
-    Qwen2.5-7B (RAG)
-    & 0.3550 & 0.6315 & 0.6790
-    & 0.2121 & 0.3655 & 0.4646
-    & 0.1879 & 0.2808 & 0.3250 \\
-    \midrule
-    Llama3.1-8B (RAG+LoRA)
-    & \underline{0.4722} & \underline{0.6940} & \underline{0.7363}
-    & \underline{0.3512} & \underline{0.6464} & \underline{0.7485}
-    & \underline{0.3512} & \underline{0.5729} & \underline{0.6595} \\
-    Qwen2.5-7B (RAG+LoRA)
-    & \textbf{0.4615} & \textbf{0.7179} & \textbf{0.8307}
-    & \textbf{0.3699} & \textbf{0.6388} & \textbf{0.7118}
-    & \textbf{0.3143} & \textbf{0.5767} & \textbf{0.6822} \\
-    \bottomrule
-    \end{tabular}
-}
-
-\small{
-Bold and underlined indicates statistically significant improvement \\(\ie using a two-sided t-test with $p<0.05$) over the best baseline.
-}
-\end{table}
-
-\begin{table}[ht]
-\centering
-\caption{Open-world Generative QA results.  
-Besides HR@\{5,10,20\} and NDCG@\{5,10,20\}, we include BERTScore\textsubscript{F1} (“BLEUScore” column) to measure lexical similarity.}
-\label{tab:generation_results}
-\small
-\resizebox{1.\linewidth}{!}{
-    \begin{tabular}{l|ccc|ccc|c}
-    \toprule
-    \multirow{2}{*}{\textbf{Model}}
-    & \multicolumn{3}{c|}{\textbf{Hit Ratio (Full Match)}}
-    & \multicolumn{3}{c|}{\textbf{NDCG  (Full Match)}} 
-    &     \multirow{2}{*}{\textbf{BLEUScore}}
-    \\
-    \cmidrule(lr){2-4} \cmidrule(lr){5-7}
-    & \textbf{HR@5} & \textbf{HR@10} & \textbf{HR@20}
-    & \textbf{NDCG@5} & \textbf{NDCG@10} & \textbf{NDCG@20} \\
-    
-    \midrule 
-    Llama3.1-8B (zero-shot)
-    & 0.0075 & 0.0112 & 0.0146
-    & 0.0149 & 0.0244 & 0.0297
-    & 0.0332 \\
-    Qwen2.5-7B (zero-shot)
-    & 0.0119 & 0.0199 & 0.0234
-    & 0.0213 & 0.0390 & 0.0442
-    & 0.0254 \\
-    \midrule
-    Llama3.1-8B (LoRA)
-    & 0.0144 & 0.0241 & 0.0282
-    & 0.0320 & 0.0512 & 0.0589
-    & 0.2941 \\
-    Qwen2.5-7B (LoRA)
-    & 0.0220 & 0.0394 &0.0459
-    & 0.0464 & 0.0798 & 0.0940
-    & 0.3082 \\
-    \midrule
-    Llama3.1-8B (RAG)
-    & 0.0142 & 0.0232 & 0.0294
-    & 0.0338 & 0.0537 & 0.0640
-    & 0.4125 \\
-    Qwen2.5-7B (RAG)
-    & 0.0226 & 0.0441 & 0.0496
-    & 0.0484 & 0.0850 & 0.1048
-    & 0.5321 \\
-    \midrule
-    Llama3.1-8B (RAG+LoRA)
-    & \underline{0.0331} & \underline{0.0584} & \underline{0.0690}
-    & \underline{0.0725} & \underline{0.1276} & \textbf{0.1509}
-    & \underline{0.7729} \\
-    Qwen2.5-7B (RAG+LoRA)
-    & \textbf{0.0394} & \textbf{0.0616} & \textbf{0.0714}
-    & \textbf{0.0770} & \textbf{0.1289} & \underline{0.1508}
-    & \textbf{0.7911} \\
-    \bottomrule
-    \end{tabular}
-}
-
-\small{
-Bold and underlined indicates statistically significant improvement \\(\ie using a two-sided t-test with $p<0.05$) over the best baseline.
-}
-\end{table}
-
-\paragraph{Open-world Generative QA.}
-This task poses a greater challenge, as models are required not only to reason over complex spatiotemporal constraints but also to generate accurately formatted POI names.
-Taking $k=10$ as an instance,
-in the zero-shot setting, HR@10 drops to 0.0075 for Llama and 0.0119 for Qwen, and even the best-performing configuration, RAG combined with LoRA, achieves only 0.06 for HR@10 on average and 0.1283 for NDCG@10 on average.
-
-Despite the difficulty, both LoRA and RAG contribute positively.
-LoRA increases HR@10 by almost 100\%, RAG provides an additional improvement of about 110\%, and their combination yields a total gain of 6 times than the zero-shot setting.
-While the strict ranking metrics remain relatively low, the BLEUScore maintains relatively high when combining with RAG \& LoRA approaches, indicating that the generated outputs are often semantically similar to the label even when they do not match exactly.
-This finding highlights the necessity of controlling hallucination and ensuring accurate outputs in generative spatiotemporal QA tasks.
-However, the differentiated results also indicate that the proposed dataset requires a more precise spatiotemporal relationship analysis modeling method to improve its accuracy.
-
-\begin{table}[ht]
-\centering
-\caption{Performance on the human-paraphrased subset of \name.}
-\label{tab:human_results}
-\small
-\resizebox{1.\linewidth}{!}{
-    \begin{tabular}{l|ccc|ccc|c}
-    \toprule
-     \multicolumn{1}{l}{\multirow{2}{*}{\textbf{Task}}} 
-    & \multicolumn{3}{c}{\textbf{Hit Ratio}}
-    & \multicolumn{3}{c}{\textbf{NDCG}} 
-    & \multirow{2}{*}{\textbf{BLEUScore}}
-    \\
-    \cmidrule(lr){2-4} \cmidrule(lr){5-7}
-    & \textbf{HR@5} & \textbf{HR@10} & \textbf{HR@20}
-    & \textbf{NDCG@5} & \textbf{NDCG@10} & \textbf{NDCG@20} \\
-
-    \midrule 
-    Classification: Major Category
-    & 0.3493 & 0.5644 & 0.6701
-    & 0.6518 & 0.7774 & 0.8432
-    & - \\
-    Classification: Medium Category
-    & 0.2891 & 0.4150 & 0.4693
-    & 0.5119 & 0.6875 & 0.7861
-    & - \\
-    Classification: Subcategory
-    & 0.1833 & 0.3035 & 0.3481
-    & 0.4411 & 0.6012 & 0.7140
-    & - \\
-    \midrule
-    Generation:\quad\ POI Names
-    & 0.1548 & 0.1611 & 0.1984
-    & 0.2096 & 0.2667 & 0.2924
-    & 0.8655 \\
-    \bottomrule
-    \end{tabular}
-}
-
-\small{
-Bold and underlined indicates statistically significant improvement \\(\ie using a two-sided t-test with $p<0.05$) over the best baseline.
-}
-\end{table}
-
-\subsection{Human-Paraphrased Results}
-\label{exp:human_para}
-
-To assess how well the models generalize to natural user queries, we asked crowd-workers to paraphrase $N_{\text{para}}{=}1{,}000$ questions in \name's test data.
-Table~\ref{tab:human_results} reports the results for the zero-shot and the best baseline RAG+LoRA.
-Besides we report the result of the model finetuned on RAG+LoRA.
-Across the two base LLMs, the performance drop from template to paraphrased questions is quite significant, roughly 70\% on HR on average and 85\% on NDCG on average.
-
-\section{Related Work}
-
-\subsection{POI-related QA}
-In recent years, many works have been proposed on POI-related tasks, particularly with the rise of location-based services. 
-Early datasets often involved retrieving factual data from structured knowledge bases or user-generated content. 
-For instance, 
-POIReviewQA~\cite{mai2018poireviewqa} have been proposed to support open-domain search and QA by using Yelp reviews.
-Tourism Reviews are also involved in building POI recommendation questions~\cite{contractor2021answering}.
-More recently, MapQA~\cite{li2025mapqa} focuses on open-domain QA on geospatial entities and relationships, using geospatial data as the reference.
-
-
-While these datasets advance POI-related QA by leveraging user reviews and geospatial data, they primary focus on knowledge extraction from static information or direct user preference modeling, rather than systematically evaluating a model's spatiotemporal reasoning capabilities. Thus, we hope our dataset could serve as a complement to the existing POI-related QA research.
-
-\subsection{Spatiotemporal Reasoning}
-Spatiotemporal reasoning, which involves understanding and making inferences based on the combined dimensions of space and time, is crucial for many AI applications. In NLP and QA, several efforts have targeted temporal reasoning. 
-For example, recent datasets like TempQuestions~\cite{jia2018tempquestions} and the ComplexTempQA~\cite{gruber2024complextempqa} specifically focus on temporal question answering, with the latter tackling complex queries requiring across-time comparison and multi-hop temporal reasoning. On the spatial side, datasets like MapQA~\cite{li2025mapqa} evaluate the performance of geospatial reasoning by using map data directly. 
-
-However, many of these datasets treat temporal and spatial aspects with a primary focus on one or the other. \name~aims to fill this gap by providing QA that explicitly considers spatiotemporal dependency in the context of POI trajectories.
-
-\subsection{Spatiotemporal Foundation LLMs}
-
-LLMs have strong capabilities in general question answering, but there is still much room for spatiotemporal reasoning in specific dynamic real-world scenarios.
-Recently, research has increasingly focused on specialized adaptations to improve LLM's spatiotemporal understanding and reasoning.
-For instance, the CityGPT~\cite{feng2024citygpt} aims to empower the urban spatial cognition of LLMs by fine-tuning them with a specially constructed instruction dataset, CityInstruction, to introduce urban knowledge and enhance spatial reasoning for city-scale tasks. BIGCity~\cite{yu2024bigcity} proposes a universal spatiotemporal model for a unified analysis of diverse spatiotemporal data types.
-
-Besides, benchmarks like STBench~\cite{li2024stbench} assess LLMs on a range of spatio-temporal tasks, including knowledge comprehension, spatio-temporal reasoning, accurate computation, and downstream applications.
-Our \name~highlights the spatiotemporal-sensitive questions for evaluating models' spatiotemporal reasoning.
-\section{Conclusion}
-
-In this paper, we explored the importance of spatiotemporal reasoning in real-world tasks.
-We highlighted the limitations of existing QA datasets illustrating spatiotemporal-sensitive questions and introduced a novel dataset called \name\ to address these challenges.
-This dataset incorporates real-world de-privacy trajectory data and extensive human annotations, providing a comprehensive resource for evaluating spatiotemporal reasoning capabilities.
-
-Our analysis revealed significant performance drops in state-of-the-art models on refined POI prediction tasks, underscoring the need for improved spatiotemporal understanding. With its unique features, including bilingual support and diverse granularities, \name\ serves as a valuable benchmark for advancing research in intelligent recommendation systems. We believe it will play a pivotal role in developing more accurate and context-aware solutions for real-world applications.

outline.md

@@ -0,0 +1,322 @@
+# 大语言模型的结构感知表征适配方法研究 — 完整章节大纲
+
+---
+
+## 第一章 绪论
+
+### 定位
+提出科学问题，建立统一框架，概括研究内容与技术路线。
+
+### 目录
+
+**1.1 研究背景与意义**
+
+**1.1.1 大语言模型表征适配的发展背景与关键挑战**
+（1）基础模型范式推动统一表示学习的发展
+（2）复杂任务对统一表示空间的非均匀结构需求
+（3）参数高效适配范式的发展
+（4）模型内部结构异质性及其对适配建模的启示
+（5）大语言模型结构感知表征适配的关键问题与挑战
+
+**1.1.2 理论意义、方法体系与应用价值**
+
+**1.2 大语言模型表征适配研究现状与关键问题分析**
+（体现发展现状+问题，不要太像文献综述）
+
+**1.2.1 大语言模型的表示学习机制**
+**1.2.2 参数高效适配方法研究现状**
+**1.2.3 大语言模型结构异质性研究现状**
+**1.2.4 现有研究的主要挑战总结**
+
+**1.3 面向大语言模型的结构感知表征适配统一分析框架**
+
+**1.3.1 结构感知调制的统一形式化**
+**1.3.2 结构感知调制的形式类别划分**
+**1.3.3 结构异质性类型与本文方法体系**
+
+**1.4 研究内容与技术路线**
+
+**1.4.1 主要研究内容**
+**1.4.2 整体技术路线**
+
+**1.5 论文组织结构**
+
+### 写作要点
+- 背景从LLM适配瓶颈切入，不从时空数据问题切入
+- §1.3 是全文理论中枢，必须清晰、稳定、可反复引用
+- §1.4 要突出方法递进关系，而非简单列举章节
+- §1.5 各章描述须嵌入对应的 $\mathcal{R}$ 描述符与调制形式，回扣 §1.3
+
+### 当前状态
+- ✅ 全文已完成
+- ⚠️ 图1.1（fm_paradigm.pdf，基础模型范式示意图）不存在，\includegraphics 被注释
+- ⚠️ 图1.2（tech_route.pdf，技术路线图）使用占位 caption，待外部绘制后替换
+- ⚠️ Ch1/Ch2 共约 10 处空 `\cite{}`，需补充 bib 条目
+
+---
+
+## 第二章 大语言模型表征适配的相关理论与研究进展
+
+### 定位
+文献综述+背景知识章，为后续方法章节提供理论与研究背景支撑。
+
+### 目录（实际结构）
+
+**2.1 大语言模型的表示学习机制**
+
+2.1.1 Transformer表示学习机制
+2.1.2 预训练基础模型与表示迁移学习
+2.1.3 大语言模型在复杂任务建模中的潜力
+2.1.4 模型内部结构的分析方法
+
+**2.2 参数高效适配方法研究**
+
+2.2.1 参数高效微调方法
+2.2.2 多任务学习与知识路由机制
+2.2.3 表示各向异性与结构感知学习
+2.2.4 多尺度学习与频谱建模方法
+2.2.5 模型结构优化与容量分配方法
+2.2.6 现有适配方法的对比分析与不足
+
+**2.3 结构感知适配与表示异质性**
+
+2.3.1 模型内部结构异质性的多层级表现
+2.3.2 从均匀适配到结构感知适配
+
+**2.4 现有研究的关键问题总结**
+
+**2.5 本章小结**
+
+### 写作要点
+- 删除原来的时空数据、时空评测综述
+- 不再写 AgentCity、POI-QA 等内容
+- 文献综述应服务于 HyCAM / RoSA / DyPAM / CASCADE / MESSA 五个方法
+- §2.2 将多任务路由、频谱方法、结构优化整合为 PEFT 研究的子方向，避免碎片化
+
+### 当前状态
+- ✅ 全文已完成
+- ⚠️ 含 `\cite{}` 空引用（devlin2019bert, godey2024anisotropy, caruana1997multitask 等）
+- ⚠️ 两处 `% TODO: 建议补充` 引用（Gurnee & Tegmark, PLE），待决定是否采纳
+
+---
+
+## 第三章 基于模块功能角色感知的多任务表征适配方法
+
+### 对应
+HyCAM / $\mathcal{R}_{mod}$ / 乘性调制 / 表示空间
+
+### 定位
+研究模块级功能异质性，重点解决注意力模块与FFN在适配中的角色差异问题。
+
+### 核心要点
+- 自注意力更直接承担上下文组织功能
+- FFN更多承担参数化知识表达功能
+- 现有均匀适配策略忽略了这种模块角色差异
+- HyCAM通过CAM、共享/专用调制与动态路由实现多任务协同适配
+
+### 写作要点
+- 不再用"城市多任务时空建模"做问题场景
+- 直接定位为"大语言模型多任务适配中的模块级功能异质性问题"
+- 保留通用多任务实验，不再为时空主线强行补解释
+- 章末过渡：模块级问题解决后，仍有维度级位置结构异质性未解决
+
+### 当前状态
+- ✅ 全文已完成（含实验、消融、可解释性分析）
+- ⚠️ 表3.8（参数量对比）标注 `% TODO: 此表中的参数量数值需要根据实际实现代码进行核实`
+- ⚠️ 计算复杂度分析段落被注释掉（chap03.tex:913-917），待决定是否恢复
+
+---
+
+## 第四章 基于位置结构感知的选择性表征适配方法
+
+### 对应
+RoSA / $\mathcal{R}_{dim}$ / 乘性调制 / 表示空间
+
+### 定位
+研究维度级位置结构异质性的**静态、粗粒度**建模问题。
+
+### 目录
+
+**4.1 本章概述**
+
+**4.2 RoPE诱导的维度级位置结构异质性分析**
+4.2.1 旋转位置编码机制
+4.2.2 跨维度激活强度差异
+4.2.3 跨层与跨头激活异质性
+4.2.4 不同位置编码机制的对比验证
+4.2.5 维度级异质性对适配方法的启示
+
+**4.3 RoPE 感知的选择性适配方法（RoSA）**
+4.3.1 框架概述
+4.3.2 RoPE 感知注意力增强模块（RoAE）
+4.3.3 动态层选择策略（DLS）
+4.3.4 RoSA 整体算法
+
+**4.4 实验验证与结果分析**
+
+**4.5 本章小结**
+
+### 本章结论导向
+> 哪些维度更重要、哪些层更值得更新
+
+### 写作要点
+- 保留完整RoPE数学原理
+- 强调"静态、粗粒度"定位
+- 不把DyPAM内容混入本章
+- 章末必须说明：RoSA尚未捕捉输入依赖与头级差异，下一章进一步讨论
+
+### 当前状态
+- ✅ 全文已完成（含常识推理+数学推理实验、消融、可解释性分析）
+
+---
+
+## 第五章 基于动态位置调制的维度级表征适配方法
+
+### 对应
+DyPAM / $\mathcal{R}_{dim}$ / 乘性调制 / 表示空间
+
+### 定位
+研究维度级位置结构异质性的**动态、细粒度**建模问题。
+
+### 目录
+
+**5.1 本章概述**（从RoSA局限切入）
+
+**5.2 位置结构异质性的动态特征分析**
+5.2.1 RoPE的维度对位置响应特性
+5.2.2 输入依赖的激活模式差异
+5.2.3 静态维度选择的局限性
+
+**5.3 动态位置注意力调制方法（DyPAM）**
+5.3.1 框架概述
+5.3.2 调制特征构建
+5.3.3 输入条件化的维度级调制
+5.3.4 头级与层级结构偏置
+5.3.5 调制因子的归一化与应用
+5.3.6 DyPAM 整体算法
+
+**5.4 与 RoSA 的统一视角与理论对比分析**
+
+**5.5 实验验证与结果分析**
+
+**5.6 本章小结**
+
+### 本章结论导向
+> 激活模式会随输入与头级结构动态变化，因此需要输入条件化、维度对对齐、头级/层级感知的细粒度调制机制
+
+### 内容边界控制
+- 只保留DyPAM原始论文内容或直接可推导分析
+- 不为凑篇幅补额外实验
+- 不与CASCADE/MESSA做交叉比较
+- 不重复RoPE数学原理，只承接第四章结果继续推进
+
+### 当前状态
+- ✅ 全文已完成（含常识推理+数学推理实验、消融、跨模型/跨任务可解释性分析）
+
+---
+
+## 第六章 基于多尺度频谱结构与参数容量分配的参数空间适配方法
+
+### 对应
+- CASCADE / $\mathcal{R}_{spec}$ / 组合式调制 / 参数空间
+- MESSA / $\mathcal{R}_{param}$ / 结构分解调制 / 参数空间
+
+### 定位
+从表示空间转向参数空间，研究多尺度频谱结构与共享-特有容量分配问题。
+
+### 目录
+
+**6.1 本章概述**
+
+**6.2 参数空间的结构异质性分析**
+6.2.1 权重更新的频谱特性
+6.2.2 多任务适配中的参数容量分配问题
+6.2.3 对适配方法的启示
+
+**6.3 基于频谱级联的多尺度参数适配方法（CASCADE）**
+6.3.1 框架概述
+6.3.2 异构频域专家设计
+6.3.3 级联频谱调制机制
+6.3.4 频谱复杂度感知路由
+6.3.5 训练目标
+
+**6.4 基于共享-特有稀疏分解的多任务适配方法（MESSA）**
+6.4.1 框架概述
+6.4.2 共享-特有稀疏表示
+6.4.3 预算感知的软到硬结构学习
+6.4.4 MESSA 整体算法
+
+**6.5 频谱结构与稀疏结构的关联分析**
+6.5.1 统一框架下的定位
+6.5.2 互补性分析
+6.5.3 共同验证的核心观点
+
+**6.6 实验验证与结果分析**
+
+**6.7 本章小结**
+
+### 写作要点
+- 不再写"对时空适配的启示"
+- CASCADE与MESSA必须通过§6.5整合为统一章节，而不是A+B拼接
+- §6.5 已扩展为包含调制算子形式对比、四维度互补性分析、方法组合可能性讨论以及实验层面的综合总结
+
+### 当前状态
+- ✅ 全文已完成（CASCADE: 常识+数学推理实验；MESSA: 五任务多任务联合适配实验）
+- ✅ 图片文件已统一为 `6_` 前缀
+
+---
+
+## 第七章 总结与展望
+
+### 定位
+收束全文，不再包含任何评测基础设施相关叙事。
+
+### 实际结构
+- 本文工作总结
+- 主要创新点归纳
+- 局限性分析
+- 未来工作展望
+
+### 展望方向
+1. 跨层级结构异质性的联合建模与交互关系
+2. 面向新型架构（线性注意力、状态空间模型等）的结构感知适配推广
+3. 面向多模态、长上下文与持续学习场景的扩展验证
+4. 结构异质性分析与推理阶段自适应适配的结合
+
+### 当前状态
+- ✅ 全文已完成
+- ⚠️ 使用 `\chapter*{总结与展望}` 和 `\section*{...}`（不编号），应改为编号形式
+
+---
+
+## 跨章注意事项
+
+### 骨干模型跨章差异
+不同章节因对应不同时期发表的论文，使用了不同代际的骨干模型：
+- Ch3 (HyCAM): Llama 2/3/3.1, Mistral, Qwen 2.5 (0.5B–14B)
+- Ch4 (RoSA): Qwen2.5-7B, Llama3.1-8B, Gemma2-9B
+- Ch5 (DyPAM): LLaMA 3.2-3B, Qwen3-8B, Gemma3-4B
+- Ch6 (CASCADE/MESSA): Qwen3-4B, LLaMA 3.2-3B, Gemma3-4B
+
+建议在 Ch4 或 Ch5 实验设置中简要说明骨干模型选择的差异原因。
+
+### 待补充的 bib 条目
+| 引用键 | 论文 |
+|--------|------|
+| `devlin2019bert` | Devlin et al., BERT, NAACL 2019 |
+| `rahaman2019spectral` | Rahaman et al., On the Spectral Bias of Neural Networks, ICML 2019 |
+| `godey2024anisotropy` | Godey et al., Anisotropy Is Inherent to Self-Attention, EACL 2024 |
+| `caruana1997multitask` | Caruana, Multitask Learning, ML 1997 |
+| `liu2019darts` | Liu et al., DARTS, ICLR 2019 |
+| `frankle2019lottery` | Frankle & Carlin, Lottery Ticket Hypothesis, ICLR 2019 |
+| `wu2021autoformer` | Wu et al., Autoformer, NeurIPS 2021 |
+| `zhou2022fedformer` | Zhou et al., FEDformer, ICML 2022 |
+
+### 待完成的辅助文件
+| 文件 | 状态 | 说明 |
+|------|------|------|
+| `0.1_abs&keyw.tex` | 未写 | 摘要仍为模板占位文字，留到最后 |
+| `0.0_title.tex` | 待定 | 毕业/提交/答辩日期为 `\highlight{}`，学科方向待确认 |
+| `tech_route.pdf` | 待绘制 | Ch1 已有占位 caption 描述绘图规格 |
+| `fm_paradigm.pdf` | 待绘制 | Ch1 基础模型范式示意图 |
+| `chap07.tex` | 格式修正 | `\chapter*` 应改为 `\chapter`，`\section*` 改为 `\section` |