时空ver最后的回忆

0.0_title.tex

@@ -0,0 +1,3 @@
+% 论文题目及副标题-{中文}{英文} 注意：论文题目应严格控制在25个汉字（符）以内 
+\Title{时空数据的表征学习\\建模方法研究}{Research on Representation Learning and Modeling Methods for Spatiotemporal Data}
+% \Subtitle{版本 \BUAAThesisVer{}}{Version \BUAAThesisVer{}}

0.1_abs&keyw.tex

@@ -0,0 +1,24 @@
+% 摘要-{中文}{英文}
+\Abstract{%
+  论文摘要是对论文研究内容的高度概括，应体现论文工作的核心思想。博士学
+  位论文的中文摘要一般约800～1200字；硕士学位论文的中文摘要一般约500字。摘
+  要内容应涉及本项科研工作的目的和意义、研究思想和方法、研究成果和结论，博
+  士学位论文应突出论文的创造性成果，硕士学位论文应突出论文的新见解。应具有
+  独立性和自含性，即应是一篇简短但意义完整的文章。论文摘要中不要出现图片、
+  图表、表格或其他插图材料。
+  
+  论文的关键词，是为了文献标引工作从论文中选取出来用以表示全文主题内容
+  信息的单词或术语，关键词一般为3～5个，按词条的外延层次排列（外延大的排在
+  前面）。每个关键词之间用逗号间隔，最后一个关键词后不缀标点符号。
+  
+  论文摘要的中文版与英文版文字内容要对应。从中文摘要开始编写页码并采用
+  双面印刷。“Keywords”与中文摘要部分的关键词对应，每个关键词之间用逗号间隔。
+  }{
+  The abstract is a concise summary of the research content of the thesis, reflecting the core ideas of the work. For a doctoral dissertation, the Chinese abstract is typically around 800–1,200 words, while for a master's thesis, it is generally about 500 words. The abstract should address the purpose and significance of the research, the methodology and approach, as well as the key findings and conclusions. Doctoral dissertations should emphasize original contributions, while master's theses should highlight novel insights. The abstract must be self-contained and independent, functioning as a complete yet concise standalone text. Figures, charts, tables, or other illustrative materials should not appear in the abstract.
+  
+  Keywords are terms or phrases selected from the thesis to represent the main thematic content for indexing purposes. Typically, 3–5 keywords are required, arranged in hierarchical order of scope (with broader terms listed first). Keywords are separated by semicolons, with no punctuation following the last keyword.
+  
+  The Chinese and English versions of the abstract must align in content. Page numbering begins with the Chinese abstract, and the document should be printed double-sided. The "Keywords" section in the English abstract corresponds to the Chinese version, with terms similarly separated by semicolons.
+}
+% 关键字-{中文}{英文}
+\Keyword{时空数据，表征学习，大语言模型，参数高效微调，结构异质性}{Spatiotemporal Data, Representation Learning, Large Language Model, Parameter-Efficient Fine-Tuning, Structural Heterogeneity}

0.2_signs.tex

@@ -0,0 +1,86 @@
+% 符号定义
+\Signs{ \centering
+\renewcommand{\arraystretch}{1.25}
+\begin{tabular}{cl}
+\multicolumn{2}{l}{\textbf{一般符号}} \\
+$\mathbb{R}$ & 实数域 \\
+$\odot$ & Hadamard（逐元素）乘法 \\
+$\|\cdot\|_2$ & 向量$L_2$范数 \\
+$\sigma(\cdot)$ & Sigmoid激活函数 \\
+$\bigoplus$ & 频段重组操作 \\[4pt]
+
+\multicolumn{2}{l}{\textbf{数据与任务}} \\
+$\mathbf{X}$ & 输入时空样本或指令序列 \\
+$\mathbf{Y}$ & 目标输出 \\
+$\mathcal{D}$ & 训练数据集 \\
+$\mathcal{T}$ & 任务集合 \\
+$\tau$ & 任务类型标识 \\
+$T$ & 序列长度或时间步数 \\
+$N$ & 空间单元数 \\
+$D$ & 特征维度 \\
+$L$ & 轨迹长度 \\
+$B$ & 批次大小或参数预算（视上下文而定）\\[4pt]
+
+\multicolumn{2}{l}{\textbf{模型架构}} \\
+$\Theta_0$ & 预训练模型参数 \\
+$\Theta_a$ & 适配参数 \\
+$\Delta\Theta$ & 参数更新增量 \\
+$\ell$ & Transformer层索引 \\
+$d$ & 隐藏维度 \\
+$H$ & 注意力头数 \\
+$d_h$ & 每头维度（$d_h = d/H$） \\
+$\mathbf{H}^{(\ell)}$ & 第$\ell$层隐藏状态 \\
+$\mathbf{Q}^{(\ell)}, \mathbf{K}^{(\ell)}, \mathbf{V}^{(\ell)}$ & Query、Key、Value矩阵 \\
+$\mathbf{W}_Q, \mathbf{W}_K, \mathbf{W}_V$ & 注意力投影权重矩阵 \\
+$\mathbf{W}_0$ & 预训练权重矩阵 \\
+$\Delta\mathbf{W}$ & 权重更新矩阵 \\[4pt]
+
+\multicolumn{2}{l}{\textbf{统一分析框架}} \\
+$\mathcal{M}_\theta(\cdot)$ & 结构感知调制算子 \\
+$\mathbf{Z}^{(\ell)}$ & 第$\ell$层中间表示 \\
+$\tilde{\mathbf{Z}}^{(\ell)}$ & 调制后的表示 \\
+$\mathcal{R}$ & 结构角色描述符 \\
+$\mathcal{R}_{mod}$ & 模块级功能异质性描述符 \\
+$\mathcal{R}_{dim}$ & 维度级位置结构异质性描述符 \\
+$\mathcal{R}_{spec}$ & 频谱级多尺度异质性描述符 \\
+$\mathcal{R}_{param}$ & 参数级容量分配异质性描述符 \\
+$\mathbf{S}_\theta(\cdot)$ & 条件化调制信号生成函数 \\[4pt]
+
+\multicolumn{2}{l}{\textbf{RoPE与位置编码}} \\
+$\theta_i$ & 第$i$个维度对的旋转角度 \\
+$\omega$ & RoPE基础频率常数（默认10000） \\[4pt]
+
+\multicolumn{2}{l}{\textbf{RoSA方法}} \\
+$r_{\text{low}}$ & 低频维度比例 \\
+$\alpha$ & 缩放/调制强度因子 \\
+$\mathcal{L}_S$ & 动态层选择的活跃层集合 \\
+$k_{\text{ratio}}$ & 层选择比例 \\
+$p_{\text{exploit}}$ & 利用-探索中的利用概率 \\
+$u$ & 层选择的周期性间隔步数 \\[4pt]
+
+\multicolumn{2}{l}{\textbf{DyPAM方法}} \\
+$d_e$ & 每头调制特征维度 \\
+$r$ & 低秩投影秩 \\
+$\mathbf{E}_Q^{(\ell)}, \mathbf{E}_K^{(\ell)}$ & 维度嵌入矩阵 \\
+$\boldsymbol{\beta}^{(\ell)}$ & 层级结构偏置 \\
+$\boldsymbol{\beta}^{(\ell)}_h$ & 头级结构偏置 \\
+$s^{(\ell)}_{t,h,i}$ & 归一化调制因子 \\[4pt]
+
+\multicolumn{2}{l}{\textbf{CASCADE方法}} \\
+$\mathbf{S}_{\text{dct}}$ & DCT域系数矩阵 \\
+$\mathcal{I}_{\text{dct}}$ & 低频索引集合 \\
+$K_{\text{dct}}$ & 低频DCT系数数量 \\
+$\mathcal{B}$ & 小波细节子带集合$\{\text{LH}, \text{HL}, \text{HH}\}$ \\
+$\gamma_b, \beta_b$ & 级联FiLM调制的缩放与偏移参数 \\
+$w_e(\mathbf{x})$ & 输入依赖的专家路由权重 \\
+$E$ & 专家数量 \\[4pt]
+
+\multicolumn{2}{l}{\textbf{MESSA方法}} \\
+$\Delta_{\text{sh}}$ & 跨任务共享稀疏更新 \\
+$\Delta_{\text{sp}}^{(t)}$ & 任务$t$的特有稀疏更新 \\
+$z^{\text{sh}}_g$ & 参数组$g$的共享软门控值 \\
+$z^{\text{sp}}_{g,t}$ & 参数组$g$在任务$t$上的特有软门控值 \\
+$\mathcal{G}$ & 参数组集合 \\
+$s_g$ & 参数组$g$的参数代价 \\
+\end{tabular}
+}

0.3_abbrs.tex

@@ -0,0 +1,59 @@
+% 缩写定义
+\Abbreviations{ \centering
+\renewcommand{\arraystretch}{1.2}
+\begin{tabular}{lll}
+  \textbf{外文缩略字母} & \textbf{外文全称} & \textbf{中文说明}\\
+  \midrule
+  % 模型与架构
+  LLM & Large Language Model & 大语言模型\\
+  FFN & Feed-Forward Network & 前馈网络\\
+  GQA & Grouped Query Attention & 分组查询注意力\\
+  MHSA & Multi-Head Self-Attention & 多头自注意力\\
+  MoE & Mixture of Experts & 混合专家\\
+  RoPE & Rotary Position Embedding & 旋转位置编码\\
+  \\
+  % 适配方法（通用）
+  PEFT & Parameter-Efficient Fine-Tuning & 参数高效微调\\
+  LoRA & Low-Rank Adaptation & 低秩适配\\
+  DoRA & Weight-Decomposed Low-Rank Adaptation & 权重分解低秩适配\\
+  AdaLoRA & Adaptive Low-Rank Adaptation & 自适应低秩适配\\
+  SFT & Supervised Fine-Tuning & 监督微调\\
+  RAG & Retrieval-Augmented Generation & 检索增强生成\\
+  \\
+  % 本文提出的方法
+  CAM & Contextual Attention Modulation & 上下文注意力调制\\
+  HyCAM & Hybrid Contextual Attention Modulation & 混合上下文注意力调制\\
+  RoSA & RoPE-aware Selective Adaptation & RoPE感知选择性适配\\
+  RoAE & RoPE-aware Attention Enhancement & RoPE感知注意力增强\\
+  DLS & Dynamic Layer Selection & 动态层选择\\
+  DyPAM & Dynamic Positional Attention Modulation & 动态位置注意力调制\\
+  CASCADE & Coarse-to-Fine Spectral Cascading & 从粗到细频谱级联\\
+  MESSA & Multi-task Efficient Shared-Specific & 多任务高效共享-特有\\
+   & \quad Sparse Adaptation & \quad 稀疏适配\\
+  \\
+  % 信号处理
+  DCT & Discrete Cosine Transform & 离散余弦变换\\
+  IDCT & Inverse Discrete Cosine Transform & 逆离散余弦变换\\
+  FiLM & Feature-wise Linear Modulation & 特征级线性调制\\
+  \\
+  % 评测与数据
+  POI & Point of Interest & 兴趣点\\
+  QA & Question Answering & 问答\\
+  ETA & Estimated Time of Arrival & 预计到达时间\\
+  GPS & Global Positioning System & 全球定位系统\\
+  WGS84 & World Geodetic System 1984 & 1984世界大地坐标系\\
+  \\
+  % 评估指标
+  MAE & Mean Absolute Error & 平均绝对误差\\
+  RMSE & Root Mean Square Error & 均方根误差\\
+  MAPE & Mean Absolute Percentage Error & 平均绝对百分比误差\\
+  HR & Hit Ratio & 命中率\\
+  NDCG & Normalized Discounted Cumulative Gain & 归一化折损累计增益\\
+  BLEU & Bilingual Evaluation Understudy & 双语评估替补\\
+  \\
+  % 深度学习基础
+  CNN & Convolutional Neural Network & 卷积神经网络\\
+  RNN & Recurrent Neural Network & 循环神经网络\\
+  GNN & Graph Neural Network & 图神经网络\\
+\end{tabular}
+}

assets/unsorted/AgentCity/assets/.gitkeep

@@ -0,0 +1 @@
+

assets/unsorted/AgentCity/figures/attn_vis.tex

@@ -0,0 +1,25 @@
+\begin{figure}[t]
+% \captionsetup[subfigure]{labelformat=simple, labelsep=period}
+% \renewcommand\thesubfigure{\alph{subfigure})} % 将子标题的标签格式改为 "a)"
+  \centering
+  \begin{subfigure}[b]{0.47\linewidth}   % PD:平衡一下图片大小，如果一样的图可以都用0.48
+    \hspace{-3px} % PD: 往左挪点防止重心偏右
+    \includegraphics[width=\linewidth]{assets/Layer10.pdf}
+    % \includegraphics[width=\linewidth]{assets/Layer10_norubost.pdf}
+    \caption{Across Head Dimensions}      % 子图标题留空即可自动生成 (a)
+    \label{fig:attnindim}
+  \end{subfigure}
+  \hfill % 在两张图之间插入一个弹性空白，使它们左右对齐
+  \begin{subfigure}[b]{0.48\linewidth}
+    \hspace{-3px} % PD: 往左挪点防止重心偏右
+    \includegraphics[width=\linewidth]{assets/AcrossLayer.pdf}
+    \caption{Across Layers}
+    \label{fig:attninlayer}
+  \end{subfigure}
+  \caption{Q-state activation strength visualizations in LLaMA-2-7B.
+We compute the average L2 norm per attention head to quantify activation strength.
+Stronger activations are concentrated in high-indexed (\ie low-RoPE frequency) dimensions and vary across layers, highlighting both dimension-wise and layer-wise heterogeneity.
+}
+  \label{fig:hotattn}
+\end{figure}
+% \py{font size of figure is too small}

assets/unsorted/AgentCity/figures/model_arch.tex

@@ -0,0 +1,7 @@
+% \begin{figure*}[ht]
+%     \centering
+%     \includegraphics[width=0.7\linewidth]{assets/model2.pdf}
+%     \caption{MESSA framework with shared--specific sparse updates. Sparse structures are learned via budget-aware soft gating and overlap regularization, and hardened through a soft-to-hard training process under a unified parameter budget.}
+%     % \caption{The architecture of CAM and HyCAM framework. HyCAM applies a hybrid CAM mechanism to the output of the Attention module within each Transformer block, while the backbone LLM remains frozen. Specifically, HyCAM integrates a shared, full-parameter CAM module and multiple lightweight Specialized CAMs for common and task-specific knowledge.} % with a dynamic routing strategy. % adaptively coordinates the contributions of these specialized modules.
+%     \label{fig:framework}
+% \end{figure*}