Graduate/chap01.tex

% !TeX root = ../main.tex
% 第一章 绪论
\chapter{绪论}
\label{chap:introduction}

\section{研究背景与意义}
\label{sec:background}

\subsection{城市时空智能建模的发展背景与关键挑战}
\label{subsec:background_challenges}
\subsubsection{城市复杂系统演化与时空数据驱动需求}

随着全球城镇化进程的持续推进，城市正在由以静态基础设施为核心的空间载体，逐步演化为由人口活动、交通运行、产业组织、资源配置与公共服务等多类过程共同耦合的复杂动态系统\cite{}。在这一系统中，不同要素之间存在持续的相互作用与反馈关系：人口流动影响交通负载与服务需求，土地利用与功能布局塑造出行模式与商业活力，公共事件与环境变化又进一步改变城市运行状态。由此，城市运行呈现出显著的动态性、开放性与多主体协同特征，其演化过程难以通过单一规则或局部观测加以充分刻画。

\begin{figure}[!h]
	\centering
	\subcaptionbox{占位符1}{\includegraphics[width = 0.4\linewidth]{pic/logo-buaa.eps}\vspace{50pt}}
	\hfill	
	\subcaptionbox{占位符2}{\includegraphics[width = 0.25\linewidth]{pic/buaa-mark.jpg}}	
	\caption{占位图片}
\end{figure}


与此同时，移动互联网、物联网、车联网、卫星遥感以及城市感知基础设施的快速发展，使得城市运行过程能够以更加连续、细粒度与多模态的方式被记录与表征。交通传感器、移动终端定位数据、轨迹数据、遥感影像、兴趣点信息以及环境监测数据等，持续刻画城市中人、车、路、地及各类服务设施的时空活动状态\cite{}。这些数据在空间上覆盖从路段、区域到城市全域的多层级结构，在时间上涵盖实时感知、短期波动与长期演化等多尺度过程，从而为理解城市运行机理、识别潜在规律以及支撑智能决策提供了重要基础。


大规模观测数据的持续积累，使研究者能够在更细粒度层面刻画交通拥堵传播、人口迁移演化、功能区活动强度变化以及公共服务供需波动等复杂城市现象；与此同时，城市智能任务也逐步由传统的统计分析扩展至状态预测、行为推断、空间语义理解、过程模拟与决策支持等更具综合性的建模问题\cite{}。在这一过程中，城市智能研究的核心关注点正由"数据获取能力"转向"如何从复杂时空数据中学习具有泛化性与可迁移性的有效表示"。

然而，数据规模的扩张并不必然带来建模能力的同步提升。随着观测来源、空间尺度与任务类型的不断增加，城市系统所呈现的高维非线性关系、多主体交互过程以及跨时间尺度演化特征，使得传统依赖经验规则或低维统计假设的建模方法难以充分刻画其内在结构规律\cite{}。因此，面向复杂城市系统的发展需求，研究能够从大规模时空观测数据中提取关键结构信息并支撑多类城市智能任务的表征学习方法，已成为当前时空智能建模的重要科学问题。

\subsubsection{复杂时空任务的多维特征与建模挑战}

在上述数据与应用背景下，城市智能研究正由针对单一现象的建模，逐步发展为面向多类型任务的综合分析与决策问题。典型的城市时空任务通常同时涉及状态预测、行为分析、空间语义理解以及过程推理等多种目标形式，其任务定义、输入信息与输出需求在同一系统中交织，使得建模问题呈现出显著的多维特征。在这一背景下，不同任务之间既共享部分基础结构信息，又在建模目标与决策侧重点上存在差异，这种“共享—差异”并存的关系对统一建模提出了更高要求。

进一步地，城市时空过程在空间与时间维度上表现出显著的结构复杂性。不同区域在功能属性、交通拓扑及人口分布等方面存在差异，使得城市活动具有明显的位置依赖与非均匀性特征；同时，城市运行过程往往叠加多尺度动态模式，例如日周期与周周期所体现的稳定规律，以及突发事件引发的短时扰动。空间结构与时间演化之间的耦合作用，使得城市系统呈现出复杂的时空交互机制。此外，多源观测数据在采样频率、语义粒度与噪声分布等方面存在差异，进一步增加了统一建模的难度 \cite{}。

从表征学习的视角来看，上述多维特征不仅体现为数据与任务层面的复杂性，更对模型内部表示提出了更高要求。模型需要在统一的表示空间中同时刻画跨任务与跨区域的共享规律，并对局部结构差异、多尺度动态变化及语义异构性保持足够敏感。这意味着，在同一模型中，不同层级与不同子结构往往需要承担差异化的表征功能。如何在统一建模框架下协调这些差异化需求，使模型能够兼顾共享性与结构敏感性，构成了复杂时空任务建模的核心挑战之一。

\subsubsection{时空数据表征学习范式的发展}

随着城市时空系统建模复杂度的不断提升，传统依赖显式规则与统计假设的方法逐渐难以刻画高维动态过程。在此背景下，表征学习（Representation Learning）逐步成为时空数据建模的核心范式。相较于依赖人工特征设计的方法，其通过数据驱动方式构建隐式表示空间，使模型能够在较少先验约束的条件下刻画复杂的非线性时空关系，从而提升对真实城市运行过程的建模能力\cite{}。深度学习方法的发展进一步推动了这一转变，通过卷积结构、序列建模机制与图结构建模等方式，使模型能够在端到端框架下学习潜在时空表示，并在交通预测、人口流动分析等任务中取得良好效果\cite{}。

尽管上述方法在特定任务上表现出较强能力，其学习到的表示仍普遍与具体任务目标紧密耦合，缺乏跨任务与跨场景的通用性。在城市时空智能逐步向多任务协同与综合决策支持演进的背景下，这种“任务特定表征”范式逐渐暴露出局限：模型难以在不同任务之间共享知识，重复训练成本较高，且在面对新任务或新场景时泛化能力有限。这一问题在结构复杂且任务耦合紧密的城市系统中尤为突出。

围绕上述问题，时空表征学习逐步由面向单一任务的特征建模，转向构建具有更强迁移性与泛化能力的通用表示（general-purpose representation）。该方向强调在统一表示空间中刻画跨任务、跨区域及跨时间尺度的共享结构规律，使模型能够在不同任务之间实现知识复用与能力迁移。整体来看，时空表征学习呈现出由显式建模向隐式表示、由任务特定表示向通用表示的演进趋势。然而，如何在实际建模过程中有效学习并利用这种通用表示，使其适应多类型时空任务的需求，仍是当前研究中的关键问题。

\subsubsection{大语言模型推动时空智能建模范式转变}

随着时空表征学习逐步由任务特定建模向通用表示建模演进，以大语言模型为代表的基础模型（foundation models）为复杂城市系统的统一建模提供了新的技术路径。通过大规模数据预训练，大语言模型在统一的序列建模框架下构建共享表示空间，使模型能够在不同任务之间共享知识并实现跨场景泛化\cite{}。相较于针对单一任务独立建模的传统方式，该范式为在同一模型中整合多源信息与多类型任务需求提供了可能。

从建模能力上看，大语言模型在长程依赖建模与多步推理方面所表现出的能力，使其在处理跨区域关联与跨时间尺度动态关系时具有潜在优势。已有研究开始探索将基础模型引入城市时空任务，例如通过序列化方式刻画轨迹演化过程，或利用统一表示空间支持空间语义理解与跨任务推理\cite{}。这些初步工作表明，基础模型为时空智能建模提供了一种兼具表达能力与统一性的建模范式。

然而，大语言模型所具备的通用表示能力并不意味着其能够直接适配复杂城市时空任务。城市时空数据的多维特征要求模型在统一表示空间中同时刻画共享规律与结构差异，而大语言模型的预训练过程主要基于通用语料，其内部表示结构与时空建模需求之间仍存在一定差异。因此，如何在保持预训练通用能力的基础上，使模型内部表示与时空数据的结构特征相协调，成为将基础模型引入时空智能建模的关键问题。
\subsubsection{面向时空建模的模型适配问题与挑战}

如前所述，大语言模型通过大规模预训练所构建的通用表示能力，为复杂时空任务的统一建模提供了新的技术路径。然而，预训练阶段获得的通用能力并不等同于对具体时空任务的有效建模能力。在实际应用中，模型仍需在保持已有知识结构的前提下，对特定任务的输入模式与输出需求形成针对性的适配。因此，如何设计有效的模型适配机制，使其能够在复杂时空场景中发挥作用，成为基础模型应用中的关键问题。

现有适配方法通常采用统一的参数更新或表示调制策略，在模型不同层级与子结构上施加形式一致的调整。这类方法隐含假设模型内部各组成部分在适配过程中的作用是近似一致的。然而，从模型表示机制来看，不同模块、不同表示维度及不同参数子空间在信息建模中往往承担差异化功能。本文将这种现象概括为\emph{模型内部的结构角色差异}。

在时空建模场景中，这一问题更加突出。城市时空任务要求模型在统一表示空间中同时刻画跨任务共享规律、多尺度动态变化及局部结构差异，这意味着模型内部不同层级与子结构需要承担不同的表征职责。如果适配机制无法感知这种结构角色差异，而仍采用均匀调整方式，则难以在有限的适配能力下实现对关键表示的有效调控，从而影响模型在复杂场景中的泛化能力与稳定性。

因此，面向时空建模的模型适配问题，其核心在于如何使适配过程与模型内部结构相协调，即在统一模型框架下刻画并利用结构角色差异，从而实现对复杂时空任务的有效适配。围绕这一问题，第~\ref{sec:unified_framework}~节将从不同结构层级出发，对模型表示调制机制进行系统分析与方法设计。
\newpage
\subsection{理论意义、方法体系与应用价值}
\label{subsec:significance}

面向复杂城市时空数据的表征学习与模型适配问题开展系统研究，在理论理解、方法体系构建与工程实践支撑三个层面均具有重要意义。

{\heiti \underline{理论意义}}：
从理论层面看，城市运行过程本质上体现为多维度、多层级结构信息的动态耦合与演化过程。不同空间区域、不同时间尺度以及不同功能任务之间存在复杂的交互关系，使得有效建模不仅需要刻画整体运行规律，还需反映局部结构差异与动态变化特征。因此，如何在统一表示框架下刻画复杂时空系统中的多维结构信息，构成了时空表征学习中的核心问题。

随着表征学习方法的发展，模型通过隐式表示空间刻画复杂系统行为已成为主流路径。然而，现有研究多从任务建模或参数优化角度展开，对于模型内部表示如何在复杂任务中分工协作，缺乏系统性认识。特别是在多任务耦合与多尺度动态并存的时空场景中，模型需要在统一表示空间中同时刻画共享规律与结构差异，这对表示结构的组织方式提出了更高要求。

进一步地，从模型表示机制出发，可以观察到大模型在不同模块、不同表示维度及不同参数子空间中往往形成差异化的功能分工。例如，自注意力结构侧重上下文依赖建模，前馈网络承担知识表达功能，位置编码在不同维度上引入异质的结构特征。这种模型内部的结构角色差异，为理解复杂时空表征能力的形成机制提供了重要线索。

基于上述认识，本文从结构角色差异的视角出发，系统分析模型内部不同层级结构在复杂时空任务中的功能贡献，并建立时空数据多维特征与模型表示调制机制之间的联系。该研究有助于深化对“预训练表征如何通过适配形成任务特定能力”的理解，为复杂时空系统表征能力的形成机制提供新的理论视角。

\begin{figure}[!h]
  \centering
  \includegraphics[width=.25\textwidth]{pic/buaa-mark.jpg}
  \caption{占位图片\\第二行题注}
  \label{fig:logo}
\end{figure}

{\heiti \underline{方法体系意义}}：
现有模型适配方法多从单一层级或局部机制出发进行设计，不同方法之间缺乏统一的结构建模视角与内在关联。这些方法通常分别关注表示调制、参数选择或更新结构等不同方面，虽在各自场景中表现出有效性，但由于缺乏统一理论框架，难以系统解释其作用机制及相互关系。

针对上述问题，本文围绕模型内部结构角色差异，构建了一个从模块、维度到参数级逐层递进的表征适配方法体系。在该体系中，不同层级的适配方法共享统一的结构感知建模思想，即根据模型内部不同子结构在建模中的功能角色，对表示流或参数更新施加差异化的非均匀调制。在统一形式化框架下，这些方法可归纳为乘性调制、组合式调制与结构分解调制等不同实现形式，从而在理论上实现了不同适配策略的统一刻画。

这种具有内在逻辑一致性的分层方法体系，不仅能够更精细地刻画复杂时空任务中的多维结构特征，也使不同层级的模型改进能够在统一视角下得到解释与整合，为跨任务与跨场景的表示迁移提供了系统化的方法基础。

{\heiti \underline{应用与工程价值}}：
从工程实践角度看，城市智能系统正逐步由面向单一任务的优化问题，发展为面向多任务协同与综合决策支持的复杂系统，对建模方法的可扩展性、稳定性及持续评估能力提出了更高要求。在这一背景下，如何在有限计算资源条件下高效适配大语言模型，并在接近真实应用环境的条件下系统评估其性能，成为时空智能研究中的重要问题。

本文提出的结构感知适配方法通过在模型内部关键结构上进行有针对性的调制，在保持预训练模型主体参数不变的前提下，实现对复杂时空任务的有效适配，从而降低了大模型在城市智能场景中的应用门槛。同时，围绕复杂时空任务的验证需求，构建了面向多任务与多阶段评估的实验基础设施，通过统一的任务组织方式与评估流程，使模型性能能够在更接近实际应用环境的条件下得到系统检验。

此外，针对时空推理与决策类任务的评测需求，构建相应的数据资源与实验基准，有助于弥补现有城市计算研究在复杂任务评估方面的不足，使模型不仅能够进行状态预测，还能够支持更高层次的语义理解与决策分析。上述方法体系与评测环境的结合，有助于形成从模型设计到系统验证的完整研究闭环，为时空智能建模技术向工程实践的转化提供重要支撑。

总体而言，从理论分析到方法体系构建，再到工程评测与应用支撑，围绕复杂时空表征学习与模型适配问题的系统研究，有助于推动时空智能建模方法向更高表达能力与更强泛化能力的发展，为构建高效、可持续的城市智能系统提供重要技术基础。
% \newpage

\section{时空表征学习研究现状与关键问题分析}
\label{sec:research_status}
\subsection{时空数据建模与表征学习研究现状}
\label{subsec:status_st_modeling}

城市时空建模方法经历了由显式数学建模向数据驱动表征学习的范式演进。早期研究主要基于时间序列分析与空间统计方法，通过构建带有先验假设的数学模型对交通流、人口分布及环境变化等过程进行刻画\cite{}。此类方法在系统结构相对稳定或数据规模有限的场景中具有一定适用性，但其表达能力依赖于模型假设与特征设计，难以刻画复杂城市系统中普遍存在的非线性与动态耦合关系。

随着深度学习技术的发展，研究者逐步引入循环神经网络、卷积神经网络及图神经网络等模型，通过端到端学习方式提取潜在时空表示，在交通预测、出行行为建模及城市功能区分析等任务中取得了显著进展\cite{}。特别是结合图结构建模与注意力机制的方法，能够在一定程度上刻画空间拓扑依赖与长程时间关联，为复杂城市系统建模提供了更为灵活的技术路径\cite{}。

然而，从城市智能建模的整体需求来看，现有方法仍存在两方面局限。其一，模型通常围绕特定任务进行设计，所学习的表示与任务目标紧密耦合，缺乏跨任务与跨场景的通用性。在多任务协同建模环境中，这种“任务特定表征”范式导致知识难以共享，模型在面对新任务时泛化能力有限。其二，城市时空数据普遍具有多尺度动态模式、空间非均匀性及多源语义差异等结构特征，而基于单一结构假设的模型设计难以在统一表示空间中同时刻画这些复杂属性。

因此，如何构建能够刻画多维结构特征、并具备跨任务迁移能力的通用时空表征学习方法，已成为该领域的重要研究方向。

\subsection{模型适配与结构感知建模研究现状}
\label{subsec:status_peft}

随着基础模型的发展，通过大规模预训练获取通用表示，并在下游任务中进行适配优化，逐渐成为复杂系统建模的重要范式\cite{}。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法通过仅更新少量参数实现模型适配，在降低计算成本的同时保持了较好的性能表现。典型方法包括低秩适配（LoRA）\cite{hu2021lora}、适配器插入\cite{houlsby2019parameter}以及前缀调制\cite{li2021prefix}等。

从时空建模需求出发审视上述方法，可以发现其核心策略通常在模型不同层级与子结构上施加形式一致的参数更新或表示调制，隐含假设模型内部各组成部分在适配过程中具有相似作用。然而，已有研究表明，模型内部不同结构单元在信息建模中往往承担差异化功能。例如，自注意力模块侧重上下文依赖的动态整合，前馈网络主要承担知识表达功能\cite{geva2021transformer}；位置编码在不同维度上引入具有频率结构的表示偏置，使得表示在维度空间中呈现系统性的功能差异\cite{su2024roformer}；参数更新在频谱空间中亦表现出全局与局部结构并存的特性。

在多任务学习方面，动态路由机制与混合专家结构被用于缓解任务间干扰并提升模型容量利用效率\cite{}。然而，现有方法多从任务权重分配或参数更新策略角度进行设计，对于模型内部不同表示层级在复杂任务中的功能分工缺乏系统性刻画。在多任务耦合且结构复杂的时空场景中，均匀适配策略难以同时兼顾预训练知识的保持与任务特定能力的获取。

因此，如何从模型内部结构出发，刻画不同层级与子结构在表征学习中的功能角色，并据此设计具有结构感知能力的适配机制，成为当前模型适配研究中的关键问题。

\subsection{时空智能数据与评测体系研究现状}
\label{subsec:status_benchmark}

模型能力的有效评估依赖于系统化的数据资源与标准化的实验基准。在数据集方面，城市计算研究已构建了大量面向交通预测、轨迹分析及空间分布建模的公开数据资源，例如METR-LA、PEMS-BAY以及GeoLife等\cite{}。这些数据集通常围绕特定预测目标构建，能够在单一任务场景中较好地反映模型性能。

然而，随着城市智能应用逐步向推理与决策支持任务拓展，现有数据集在任务复杂度与评测维度方面的局限逐渐显现。一方面，传统数据资源主要侧重短期动态建模，对于跨时间尺度的逻辑推理与复杂情境理解支持不足；另一方面，现有问答类数据集在空间与时间信息的结合方面仍较为有限，难以系统评估模型对时空关系的理解与推理能力\cite{}。

在评测体系方面，已有工作提出了若干面向时空预测任务的统一评测框架，如LibCity、DL-Traff及TorchSpatial等\cite{}，通过规范化数据处理流程与评价指标实现模型间的公平比较。然而，这类框架普遍依赖人工维护，在可扩展性与持续性方面存在不足，难以跟进快速增长的研究工作；同时，不同框架之间在评估设置上的差异，也影响了实验结果的可比性与可复现性。

此外，城市时空任务在实际应用中往往具有持续演化与多阶段决策特征，仅依赖静态离线数据难以全面反映模型在动态环境中的表现。因此，构建能够支持复杂任务、多阶段验证及持续更新的评测基础设施，已成为推动时空智能研究向实际应用转化的重要方向。
\subsection{现有研究的主要挑战总结}

综合前述分析可以看出，尽管现有研究在时空数据建模、模型适配及评测体系等方面取得了一定进展，但在面向复杂城市时空智能任务的统一建模过程中，仍存在若干关键问题有待进一步解决，主要体现在以下三个方面。

（1）\textbf{模型内部结构角色差异的刻画不足。}  
复杂时空数据要求模型在统一表示空间中同时刻画多任务共享规律、位置依赖关系及多尺度动态变化。然而，现有方法多采用形式一致的建模或适配策略，隐含假设模型各层级与子结构作用相近，缺乏对不同模块、不同表示维度及不同参数子空间功能角色差异的刻画。这种均匀建模方式难以针对关键结构进行有效调控，从而限制了模型对复杂时空模式的表达能力\cite{}。

（2）\textbf{多任务场景下结构角色协同与容量分配机制不足。}  
在多任务时空建模中，不同任务之间既存在共享结构规律，又在表示需求上存在差异，对模型内部结构的协同与资源分配提出了更高要求。现有方法多从参数更新或任务权重角度进行设计，缺乏对不同结构单元功能分工的系统建模。在有限参数预算下，如何实现共享能力与任务特定能力的有效平衡仍有待进一步研究\cite{}。

（3）\textbf{面向复杂时空任务的评测基础设施尚不完善。}  
现有研究主要依赖静态离线数据集进行验证，其评测目标多集中于单一任务或短期预测指标，难以全面反映模型在复杂城市环境中的综合表现。在数据资源方面，现有时空数据集主要面向状态预测任务构建，缺乏同时包含空间位置与时间上下文、且对时空条件敏感的评测资源，难以系统评估模型的时空推理与情境理解能力。在评测平台方面，现有框架普遍依赖人工维护，在模型收录的可扩展性与评估流程的持续更新能力方面存在不足，难以支撑多任务、多阶段的系统化评估需求\cite{}。


综上，复杂时空数据所引入的结构异质性不仅体现在数据与任务层面，也体现在模型内部结构角色的功能分化上。如何在统一框架下刻画并利用这种结构角色差异，设计结构感知的适配机制，并构建支撑复杂任务验证的评测体系，构成了本文的核心研究问题。围绕上述问题，第~\ref{sec:unified_framework}~节将进一步提出面向时空数据的结构感知适配统一分析框架。

\section{面向时空数据的结构感知适配统一分析框架}
\label{sec:unified_framework}

前述分析表明，城市时空数据在空间结构、时间演化及任务目标等方面均呈现出显著的异质性特征。这种异质性不仅体现在数据分布与任务定义层面，也进一步体现在模型表征过程中：不同类型的时空结构信息往往需要在模型内部由不同层级与不同子结构进行刻画。

在此背景下，若在模型适配过程中对所有表示与参数施加形式一致的调整，则难以兼顾多任务共享规律与局部结构差异，容易导致关键结构信息表达不足。因此，从时空建模需求出发，模型适配过程需要具备\emph{结构敏感性}，即能够根据不同结构特征，对模型内部表示进行差异化调控。

为进一步刻画这一过程，可以从模型前向计算的角度进行理解。对于输入样本 $\mathbf{X}$，模型在逐层计算过程中会产生一系列中间表示，并通过这些表示在不同层级之间逐步传递与变换。该过程可视为一种\emph{表示流}（representation flow），即信息在模型内部随层级推进而不断演化的动态过程。

从表示学习的角度来看，结构敏感性可以统一理解为：在上述表示流的传播过程中，对中间表示施加依赖于输入与结构特征的非均匀变换。基于这一认识，本文将模型适配过程抽象为对表示流的\emph{结构感知调制}，并在此基础上构建统一分析框架，以刻画后续各章方法的核心机制。

\subsection{结构感知调制的统一形式化}
\label{subsec:unified_formulation}

在上述直觉基础上，考虑预训练模型在适配过程中的表示变换形式。设预训练模型参数为 $\Theta_0$，适配参数为 $\Theta_a$。对于第 $\ell$ 层，给定输入时空样本 $\mathbf{X}$，该层产生的中间表示记为 $\mathbf{Z}^{(\ell)}$（例如注意力输出或前馈网络输出），其构成了表示流在该层的状态。

结构感知调制的统一形式可表示为：
\begin{equation}
\tilde{\mathbf{Z}}^{(\ell)}
=
\mathcal{M}_{\theta}
\Big(
\mathbf{Z}^{(\ell)};\,
\mathbf{X},\,
\mathcal{R}
\Big),
\label{eq:ch1_unified_M}
\end{equation}
其中，$\mathcal{M}_{\theta}(\cdot)$ 为结构感知调制算子，$\tilde{\mathbf{Z}}^{(\ell)}$ 为调制后的表示，$\mathcal{R}$ 为结构角色描述符，用于刻画由时空数据结构特性所诱导的模型内部结构异质性类型，例如模块级、维度级及参数级等不同层级的结构差异。

该形式化表达了一个基本观点：模型适配的关键不在于对参数进行全面更新，而在于根据时空结构特征，对表示流中不同组成部分施加有针对性的调制。通过引入结构角色描述符 $\mathcal{R}$，可以在统一框架下区分不同类型的结构异质性，并据此设计差异化的调制策略。

\subsection{三种调制形式}
\label{subsec:modulation_forms}

在上述统一形式下，不同适配方法的差异主要体现在调制算子的具体实现方式上。根据调制机制与建模需求的不同，本文将结构感知调制归纳为三类基本形式。

\textbf{乘性调制}适用于刻画表示流中不同成分的重要性差异。在多任务与多结构并存的场景下，不同表示维度或通道对任务目标的贡献程度存在差异，因而需要通过门控机制进行选择性增强或抑制。其形式为：
\begin{equation}
\mathcal{M}_{\theta}(\mathbf{Z};\mathbf{X},\mathcal{R})
=
\mathbf{Z} \odot \mathbf{S}_{\theta}(\mathbf{X},\mathcal{R}),
\label{eq:ch1_multiplicative}
\end{equation}
其中 $\mathbf{S}_{\theta}(\cdot)$ 为条件化调制信号。第三章的 HyCAM 方法以及第四章的 RoSA、DyPAM 方法均属于此类形式。

\textbf{组合式调制}适用于刻画多尺度结构特征。在城市时空数据中，不同时间尺度与空间尺度上的模式往往对应不同频率成分，需要在统一框架下进行分解与重组。其形式为：
\begin{equation}
\mathcal{M}_{\theta}(\mathbf{Z};\mathbf{X},\mathcal{R})
=
\bigoplus_{s=1}^{S}
\mathbf{Z}_{s} \cdot g_{\theta,s}(\mathbf{X},\mathcal{R}),
\label{eq:ch1_compositional}
\end{equation}
其中 $\mathbf{Z}_s$ 表示第 $s$ 个频段的表示分量。第五章的 CASCADE 方法采用此类形式。

\textbf{结构分解调制}适用于刻画多任务场景下的共享与专用结构。在有限参数预算下，不同任务对模型容量的需求存在差异，需要在共享表示与任务特有表示之间进行分配。其形式为：
\begin{equation}
\mathcal{M}_{\theta}(\mathbf{Z};\mathbf{X},\mathcal{R})
=
\mathbf{Z} \cdot \left(\Delta\Theta_{shared} + \mathbf{m} \odot \Delta\Theta_{specific}\right),
\label{eq:ch1_structural}
\end{equation}
其中 $\Delta\Theta_{shared}$ 与 $\Delta\Theta_{specific}$ 分别对应共享与专用参数增量。第五章的 MESSA 方法采用此类形式。

\begin{table}[h]
    \centering
    \caption{本文方法体系与结构异质性的对应关系。}
    \label{tab:ch1_method_overview}
    \resizebox{0.95\linewidth}{!}{
    \begin{tabular}{llllc}
        \toprule
        结构异质性类型 & 结构角色描述符 & 调制形式 & 对应方法 & 章节 \\
        \midrule
        模块级功能异质性     & $\mathcal{R}_{mod}$   & 乘性调制     & HyCAM           & 第三章 \\
        维度级位置结构异质性  & $\mathcal{R}_{dim}$   & 乘性调制     & RoSA, DyPAM     & 第四章 \\
        频谱级多尺度异质性   & $\mathcal{R}_{spec}$  & 组合式调制   & CASCADE         & 第五章 \\
        参数级容量分配异质性  & $\mathcal{R}_{param}$ & 结构分解调制 & MESSA           & 第五章 \\
        \bottomrule
    \end{tabular}
    }
\end{table}
\subsection{结构异质性类型与本文方法体系}
\label{subsec:method_system}

基于上述统一框架，本文从时空数据的结构特性出发，将模型适配过程中涉及的结构异质性划分为四类，并构建了相应的方法体系，如表~\ref{tab:ch1_method_overview} 所示。

第三章从模块级功能差异出发，研究多任务场景下的表示调制问题；第四章进一步从表示维度层面分析位置结构所引入的异质性；第五章则从参数空间角度，分别从多尺度结构与容量分配两个方面对适配机制进行扩展。尽管各方法关注的结构层级不同，但在本节提出的统一框架下，均可理解为对表示流施加结构感知调制的不同实例化，从而形成由粗到细、由表示空间到参数空间的递进式建模路径。

\section{研究内容与技术路线}
\label{sec:research_content}

\subsection{主要研究内容}
\label{subsec:research_content_detail}

针对上述挑战，本文以城市时空数据的结构特性为导向，在第~\ref{sec:unified_framework}~节建立的统一分析框架下，系统研究面向时空智能任务的大语言模型结构感知适配方法，并构建相应的评测基础设施，以形成方法设计与系统验证相结合的研究闭环。

总体而言，本文围绕模型内部结构角色差异，从不同层级展开研究，主要包括以下四个方面：

（1）针对多任务时空建模中不同模块承担差异化功能的问题，研究模块级结构异质性（$\mathcal{R}_{mod}$），构建基于乘性调制的表示适配方法；

（2）针对位置编码引入的维度级结构差异问题，研究维度级结构异质性（$\mathcal{R}_{dim}$），构建面向位置结构的细粒度调制机制；

（3）针对参数更新过程中的多尺度结构与容量分配问题，研究频谱级与参数级结构异质性（$\mathcal{R}_{spec}, \mathcal{R}_{param}$），构建组合式与结构分解调制方法；

（4）针对复杂时空任务缺乏统一评测环境的问题，构建面向多任务与多阶段验证的评测数据与实验基础设施。

在上述总体框架下，本文的具体研究内容如下。

\textbf{研究内容一：基于模块功能角色感知的多任务时空表征适配方法（第三章）}

针对城市多任务时空建模中Transformer不同功能模块承担差异化角色的问题，本文从模块级结构异质性（$\mathcal{R}_{mod}$）出发，研究基于乘性调制的表示适配机制，并提出混合上下文注意力调制方法（Hybrid Contextual Attention Modulation, HyCAM）。

该方法基于如下认识：自注意力模块主要负责上下文依赖关系的动态建模，而前馈网络更多承担参数化知识表达功能，因此在适配过程中应优先对注意力表示进行定向调制，而非对所有模块施加均匀更新。基于此，本文构建上下文注意力调制（Contextual Attention Modulation, CAM）模块，通过通道级门控机制对自注意力输出进行输入条件化的乘性调制，以实现对关键表示成分的选择性增强或抑制。

在此基础上，进一步设计"共享CAM—专用CAM—动态路由"的混合结构，其中共享模块用于建模跨任务的通用调制模式，专用模块用于刻画任务特定结构，动态路由机制根据输入上下文自适应地融合两类调制信号，从而在统一模型中实现知识共享与任务特化之间的平衡。

\textbf{研究内容二：基于位置结构感知的维度级时空表征适配方法（第四章）}

针对位置编码在表示维度上引入的结构差异问题，本文从维度级结构异质性（$\mathcal{R}_{dim}$）出发，研究面向位置结构的细粒度表示调制方法。

以旋转位置编码（RoPE）为例，其频率结构使不同维度承担不同的位置信息表达功能，从而导致注意力表示在维度空间中呈现显著的非均匀性。现有适配方法通常忽略这种结构差异，对所有维度施加同质化更新，难以充分利用位置结构信息。

为此，本文提出两类递进式方法。首先，提出RoPE感知的选择性适配方法（RoPE-aware Selective Adaptation, RoSA），通过构建RoPE感知注意力增强模块（RoAE）对关键维度进行定向增强，并结合动态层选择策略实现跨层级的资源分配。进一步地，提出动态位置注意力调制方法（Dynamic Positional Attention Modulation, DyPAM），将维度级适配由静态选择扩展为输入条件化的动态调制，通过低秩投影与维度嵌入机制生成与位置结构对齐的调制信号，从而在不同输入条件下实现更精细的结构感知建模。

\textbf{研究内容三：基于多尺度频谱结构与参数容量分配的适配方法（第五章）}

在上述表示空间建模的基础上，本文进一步将研究视角扩展至参数空间，针对多尺度结构与容量分配问题，分别从频谱级结构异质性（$\mathcal{R}_{spec}$）与参数级结构异质性（$\mathcal{R}_{param}$）出发，构建相应的适配方法。

首先，针对权重更新中的多尺度特征，提出基于频谱级联的多尺度参数适配方法（Coarse-to-Fine Spectral Cascading, CASCADE）。该方法通过构建由低频与高频专家组成的异构结构，并通过级联调制机制建立不同频段之间的依赖关系，从而实现对全局趋势与局部细节的协同建模。

其次，针对多任务场景中的参数容量分配问题，提出基于共享-特有稀疏分解的多任务适配方法（Multi-task Efficient Shared-Specific Sparse Adaptation, MESSA）。该方法将参数更新分解为跨任务共享部分与任务特有部分，通过可学习的结构门控实现参数在不同任务之间的自适应分配，从而在有限参数预算下提升多任务建模能力。

\textbf{研究内容四：面向时空智能的大模型评测体系与实验基础设施（第六章）}

为支撑上述方法在复杂时空任务中的系统验证，本文进一步构建面向多任务与多阶段评估的实验基础设施。

一方面，构建AI驱动的交通预测持续评测框架AgentCity，通过多智能体协同机制实现模型集成、任务组织与评估流程的自动化，从而提升评测体系的可扩展性与持续更新能力。另一方面，构建时空敏感的兴趣点问答数据集POI-QA，通过引入空间位置与时间上下文信息，构建能够反映时空推理能力的评测任务，从而弥补现有数据集在复杂时空理解方面的不足。

上述评测体系与数据资源，为结构感知适配方法在真实城市时空场景中的验证提供了统一环境。

综上，本文四项研究内容在统一框架下形成递进关系：研究内容一与二从表示空间出发，分别在模块级与维度级刻画结构角色差异；研究内容三进一步扩展至参数空间，从多尺度结构与容量分配角度进行建模；研究内容四则从评测基础设施角度提供系统验证支撑，从而形成面向时空智能建模的方法—数据—系统闭环。

\subsection{整体技术路线}
\label{subsec:technical_route}

为系统开展面向复杂时空任务的表征学习研究，本文围绕城市时空数据的结构特征构建统一的分层建模技术路线，其总体框架如图~\ref{fig:tech_route}所示。

\begin{figure}[htbp]
\centering
% \includegraphics[width=0.9\textwidth]{tech_route.pdf}
\caption{本文整体技术路线示意图。该图从时空数据的结构复杂性出发，展示了结构角色感知表征学习方法体系的层级化建模思路，包括模块级表示流调制、维度级结构敏感建模、多尺度参数更新机制以及参数结构优化策略，并进一步给出统一实验验证与评测体系在整体研究框架中的支撑作用。}
\label{fig:tech_route}
\end{figure}

该技术路线以时空结构异质性分析为起点，首先从城市系统中的多任务耦合关系、位置依赖特征以及多尺度动态模式等结构属性出发，对时空建模问题进行系统刻画；在此基础上，通过第~\ref{sec:unified_framework}~节提出的统一分析框架，将时空结构特性映射为模型内部不同层级的结构角色差异，并据此设计相应的表示调制与参数适配方法。

具体而言，在模块层面，研究表示在不同计算单元中的组织方式，通过结构感知调制机制增强模型对任务相关信息的表达能力；在维度与位置结构层面，刻画表示空间中的非均匀性特征，提升模型对空间依赖与时间动态的建模能力；在参数层面，进一步分析多尺度结构与容量分配对模型适配行为的影响，构建兼顾全局与局部特征的结构化更新机制。

在上述方法体系基础上，本文通过统一的实验组织与评测流程，对不同层级结构适配策略进行系统验证，并分析其在复杂时空任务中的协同作用。整体技术路线体现出由时空结构问题出发，经统一框架抽象，逐层展开方法设计，并最终通过评测基础设施完成验证的递进式研究路径，从而形成完整的时空智能建模研究闭环。

%======================================================================
\section{论文组织结构}
\label{sec:organization}

本文围绕复杂城市时空数据的结构特性，系统研究基础模型在多任务时空智能建模中的表征适配机制，并构建相应的评测基础设施。全文按照”问题提出—统一分析—方法设计—系统验证”的逻辑展开，各章节内容安排如下。

第一章为绪论，介绍研究背景与研究意义，梳理时空表征学习与模型适配领域的研究现状与关键问题，在此基础上提出面向时空数据的结构感知适配统一分析框架，并给出本文的研究内容与整体技术路线。

第二章为国内外研究现状，系统综述与本文研究相关的四类工作，包括时空数据建模与表征学习方法、基础模型与大语言模型表示机制、参数高效适配与结构建模方法以及时空智能数据与评测体系，并对现有研究的主要挑战进行总结分析。

第三章针对多任务时空建模中的模块级结构异质性问题，研究基于模块功能角色差异的表征适配方法，构建上下文注意力调制机制及其扩展框架，以提升模型在多任务场景中的协同建模能力。

第四章针对位置编码引入的维度级结构差异问题，研究位置结构驱动的各向异性表征学习方法，从表示维度与层级结构出发设计结构感知调制机制，以增强模型对复杂时空依赖关系的刻画能力。

第五章面向多尺度动态模式与多任务容量分配问题，从参数空间视角出发研究多尺度结构建模与参数结构自适应方法，分别从频谱结构与参数分解两个方面构建适配机制，以提升模型在复杂场景下的整体建模能力。

第六章围绕复杂时空任务的评测需求，构建面向多任务与多阶段验证的实验基础设施，包括交通预测持续评测框架与时空敏感问答数据集，并在统一评测环境下对相关方法进行系统验证与分析。

第七章为总结与展望，总结本文的主要研究内容与创新点，并结合时空智能建模与基础模型的发展趋势，对未来研究方向进行讨论。