99 lines
4.6 KiB
Markdown
99 lines
4.6 KiB
Markdown
# 博士论文写作规范
|
||
|
||
## 论文基本信息
|
||
- 题目：**大语言模型的结构感知表征适配方法研究**
|
||
- 学校：北京航空航天大学（BUAA）
|
||
- 详细章节大纲：见 `outline.md`
|
||
|
||
## Scientific Claim
|
||
|
||
现有大语言模型适配方法普遍采用较为均匀的参数更新或表示调制策略，默认模型内部不同结构单元在适配过程中具有近似一致的作用。然而，从表示机制与参数组织角度看，Transformer内部在模块、维度与参数空间层面普遍存在显著的结构异质性。围绕这一问题，本文构建了面向大语言模型的结构感知表征适配统一分析框架，并从模块级、维度级与参数级三个层面提出多层级方法体系，以提升多任务适配能力、位置结构建模能力以及有限预算下的参数利用效率。
|
||
|
||
## 论文主线
|
||
|
||
> LLM内部存在多层级结构异质性 → 均匀适配存在局限 → 构建统一框架 → 模块/维度/参数级逐层展开方法
|
||
|
||
递进路径：
|
||
- 表示空间：模块级(HyCAM) → 维度级静态(RoSA) → 维度级动态(DyPAM)
|
||
- 参数空间：频谱结构(CASCADE) → 容量分配(MESSA)
|
||
|
||
## 方法体系总表
|
||
|
||
| 适配空间 | 结构异质性类型 | 描述符 | 调制形式 | 方法 | 章节 |
|
||
|---------|------------|--------|---------|------|------|
|
||
| 表示空间 | 模块级功能异质性 | $\mathcal{R}_{mod}$ | 乘性调制 | HyCAM | Ch3 |
|
||
| 表示空间 | 维度级位置结构异质性 | $\mathcal{R}_{dim}$ | 乘性调制 | RoSA | Ch4 |
|
||
| 表示空间 | 维度级位置结构异质性 | $\mathcal{R}_{dim}$ | 乘性调制 | DyPAM | Ch5 |
|
||
| 参数空间 | 频谱级多尺度异质性 | $\mathcal{R}_{spec}$ | 组合式调制 | CASCADE | Ch6 |
|
||
| 参数空间 | 参数级容量分配异质性 | $\mathcal{R}_{param}$ | 结构分解调制 | MESSA | Ch6 |
|
||
|
||
## 统一分析框架（§1.3）
|
||
|
||
统一调制算子：$\tilde{\mathbf{Z}}^{(\ell)}=\mathcal{M}_{\theta}\big(\mathbf{Z}^{(\ell)};\mathbf{X},\mathcal{R}\big)$
|
||
|
||
三种调制形式：
|
||
1. **乘性调制** — 表示流成分重要性调节（HyCAM、RoSA、DyPAM）
|
||
2. **组合式调制** — 多尺度频谱成分分解与重组（CASCADE）
|
||
3. **结构分解调制** — 共享-专用参数分配（MESSA）
|
||
|
||
## 三大创新点
|
||
|
||
1. **统一分析框架**：四类结构异质性 + 三种调制形式
|
||
2. **表示空间多层级方法体系**（Ch3-5）：HyCAM → RoSA → DyPAM
|
||
3. **参数空间结构感知方法**（Ch6）：CASCADE + MESSA
|
||
|
||
## 符号统一
|
||
|
||
| 含义 | 统一符号 |
|
||
|------|---------|
|
||
| 层索引 | $\ell$ |
|
||
| 头索引 | $h$ |
|
||
| 维度索引 | $i$ |
|
||
| token位置 | $t$ |
|
||
| 任务标识 | $\tau$ |
|
||
| 预训练参数 | $\Theta_0$ |
|
||
| 适配参数 | $\Theta_a$ |
|
||
| 隐藏状态 | $\mathbf{H}^{(\ell)}$ |
|
||
|
||
## 标签系统
|
||
|
||
- 统一框架公式: `eq:ch1_unified_M`, `eq:ch1_multiplicative`, `eq:ch1_compositional`, `eq:ch1_structural`
|
||
- 方法体系表: `tab:ch1_method_overview`
|
||
- 章标签: `chap:hycam`, `chap:rosa`, `chap:dypam`, `chap:cascade_messa`
|
||
- 标签前缀: Ch3→`ch3_`, Ch4→`ch4_`, Ch5→`ch5_`, Ch6→`ch6_`
|
||
- 统一框架节: `sec:unified_framework`
|
||
- 技术路线图: `fig:tech_route`
|
||
|
||
## 图片文件命名规则
|
||
|
||
各章图片以章节编号为前缀：
|
||
- Ch3: `assets/3_*.pdf`
|
||
- Ch4: `assets/4_*.pdf`
|
||
- Ch5: `assets/5_*.pdf`
|
||
- Ch6: `assets/6_*.pdf`
|
||
|
||
## 核心写作原则
|
||
|
||
1. **问题从LLM适配出发**，不以时空问题驱动
|
||
2. **统一理论递进**，不是五篇论文拼接，而是统一框架下逐层展开
|
||
3. **各章显式过渡**：本章解决了什么 → 什么未解决 → 下章为何承接
|
||
4. **RoSA与DyPAM递进关系反复强调**：静态→动态，粗粒度→细粒度
|
||
5. **符号全文统一**
|
||
6. **理论深度克制**：概念formalization + 轻量数学 + 直觉先行，不过度理论化
|
||
7. **严格以mypaper/原始论文为准**，不添加论文之外的内容，不因幻觉过度扩展
|
||
8. **不辩解、不找补**：客观学术地介绍工作，体系化叙述；可补过渡性文字，但不事后写补充性解释
|
||
|
||
## 辅助文件同步清单
|
||
|
||
| 文件 | 状态 | 说明 |
|
||
|------|------|------|
|
||
| `main.tex` | ✅ 已完成 | 七章结构已确认 |
|
||
| `0.0_title.tex` | ⚠️ 待定 | 日期、学科方向有占位符 |
|
||
| `0.1_abs&keyw.tex` | ❌ 未写 | 摘要仍为模板占位文字，留到最后 |
|
||
| `0.2_signs.tex` | ✅ 已完成 | 符号已统一 |
|
||
| `0.3_abbrs.tex` | ✅ 已完成 | 已清理旧条目，补充PPL/ROUGE |
|
||
| `chap07.tex` | ⚠️ 格式 | 需将 `\chapter*` 改为 `\chapter` |
|
||
| `ref.bib` | ⚠️ 待补 | 约8条空引用需补充bib条目 |
|
||
| `tech_route.pdf` | ❌ 待绘制 | Ch1已有占位caption描述绘图规格 |
|
||
| `fm_paradigm.pdf` | ❌ 待绘制 | Ch1基础模型范式示意图 |
|