第 7 章 什么是语义：从符号走向意义
7.1 语义不是语法
先看一个经典例子：
- 句子 A：“狗咬了人。”
- 句子 B：“人咬了狗。”
两个句子的符号/词法几乎一样，但语义完全不同。
再看：
- 句子 C：“The dog bit the man.”
- 句子 D：“The canine attacked the human.”
两个句子的字面形式完全不同，但在很多场景中，它们的语义相同。
所以，语义通信关心的是：
$$ \text{发送方的意图} \leftrightarrow \text{符号/特征} \leftrightarrow \text{接收方的理解} $$而不是仅仅关心符号本身。
7.2 为什么“语义”难以定义
香农选择只研究“符号传输”，因为符号可以抽象为有限集合上的随机变量，数学上很好处理。而“意义”依赖于：
- 发送方的意图；
- 接收方的背景知识；
- 当前任务；
- 上下文、语境；
- 语言和文化的约定；
- 可能世界、知识库和推理规则。
因此，不存在一个“放之四海而皆准”的语义定义。不同论文的语义定义侧重点不同，有的用逻辑、有的用概率、有的用向量、有的用任务标签。
7.3 一个给计算机学生看的语义模型
为了做研究，我们可以先定义一组符号：
- $X$：原始数据，比如文本、图像、语音。
- $W$：可能世界或真实状态，比如“这个场景里有一只狗”。
- $K_S$：发送方知识或先验。
- $K_R$：接收方知识或先验。
- $V$：目标任务或变量，比如“图片中是否有狗”。
- $S$：发送方想表达的语义命题或语义表示。
- $\hat S$：接收方理解到的语义。
- $\hat V$：接收方最终得到的任务结果。
- $\hat X$：接收方最终重建的数据。
于是，语义通信的目标可以写成：
$$ P(\hat V=V)\ \text{尽量大},\quad \text{或}\quad \mathbb{E}[d_s(S,\hat S)]\ \text{尽量小} $$同时约束传输资源（信道带宽、功率、时延）。
7.4 语义等价类
“语义”意味着我们可以把许多“不同表达”映射到同一个意义类。
例如，对于“图片里有狗”这个任务，下面这些表达可能等价：
- “dog”
- “a dog is present”
- “有一只狗”
- 某个经过训练的嵌入向量
因此，语义通信的一个目标是：
不传输所有表达，而传输“意义等价类”的代表。
这其实就是一种“语义级压缩”。
7.5 语义熵：逻辑概率视角
早期最有名的尝试来自 Carnap 和 Bar-Hillel。它们用“逻辑概率”衡量一个命题 $s$ 在可能世界集合中成立的概率。
假设存在可能世界集合 $\mathcal{W}$，每个世界 $w$ 有权重 $p(w)$。令：
$$ \mathcal{W}_s=\{w\in\mathcal{W}: w\models s\} $$其中 $w\models s$ 表示“在世界 $w$ 中命题 $s$ 为真”。
逻辑概率可以定义为：
$$ m(s)=\frac{P(\mathcal{W}_s)}{P(\mathcal{W})} =\frac{\sum_{w\in\mathcal{W},w\models s}p(w)}{\sum_{w\in\mathcal{W}}p(w)} $$于是有人定义语义熵：
$$ H_s(s)=-\log m(s) $$这个定义有一个直观解释：一个命题涵盖的可能世界越少，它就越具体，给接收方提供的信息量越大。
例如：
- “明天会下雨”涵盖很多世界，$m(s)$ 较大，信息量较小。
- “明天上午 9 点在北京市朝阳区下雨”涵盖的世界很少，$m(s)$ 较小，信息量较大。
但要注意，这个定义也存在著名的“Bar-Hillel–Carnap 悖论”等问题：一个矛盾的命题在任何世界中都不成立，$m(s)=0$，按公式会获得无穷信息，但这显然不是通常意义上的“有用的信息”。所以它并不能直接作为工程上完美的语义熵。
7.6 语义熵：当前研究中的多种定义
今天文献中的“语义熵”通常不是同一个定义。常见方向有：
- 逻辑概率型：用命题在可能世界中的成立概率定义。
- 语言/语料库型：用语言模型对句子的似然或“可理解性”定义。
- 任务型：用“为了完成任务需要知道的最少语义查询数”定义。
- 模糊集/匹配度型：用样本对语义概念的隶属程度定义。
- 机器学习型：用模型表示和预测不确定性定义。
这说明：语义熵目前仍然是一个研究中的概念，没有形成像香农熵那样统一并被广泛采纳的定义。
7.7 任务相关的语义信息
一个比较实用的框架是：把“语义信息”定义为“与接收方任务相关的信息”。
假设原始数据为 $X$，任务变量为 $V$。理论上，我们要传的是：
$$ I(X;V) $$这就是 $X$ 中与 $V$ 有关的总信息。如果 $V$ 可以看作 $X$ 的函数，那么：
$$ I(X;V)=H(V)-H(V\mid X) $$如果 $V$ 完全由 $X$ 决定，则 $H(V\mid X)=0$，所以：
$$ I(X;V)=H(V) $$这意味着：任务相关的“可用于通信的信息上限”是任务变量本身的熵。
但这里有一个重要细节：$I(X;V)$ 只描述“理论上能提供多少信息”，不描述“语义特征表达得是否准确”。 如果编码器 $f_\theta$ 丢掉了关键信息，或者接收端没有对应的先验，实际互信息会下降。
因此，语义编码器设计可以写成：
$$ \max_{f_\theta,g_\phi}\ I(\mathbf{Z};V)\quad \text{subject to}\quad R(\mathbf{Z})\le R_{\max} $$其中 $R(\mathbf{Z})$ 是传输 $\mathbf{Z}$ 所需的资源/速率。
在实际训练中，由于互信息难以直接优化，一般用：
- 任务损失（分类、检测、问答等）；
- 重建损失（MSE、SSIM）；
- 速率/复杂度正则化；
- 信道相关损失（噪声、衰落、量化）；
- 语义相似度损失（余弦相似度、对比学习等）。
7.8 语义互信息与语义率失真：研究框架
有人尝试把经典互信息推广为“语义互信息”：
$$ I_s(S;\hat S) $$再定义“语义率失真函数”：
$$ R_s(D_s)=\min_{p(\hat{s}\mid s):\ \mathbb{E}[d_s(S,\hat S)]\le D_s} I_s(S;\hat S) $$其中 $d_s(s,\hat s)$ 是语义失真，例如“意义是否等价”“任务结果是否一致”“语义向量距离”等。
这个形式看起来很像经典率失真：
$$ R(D)=\min_{\mathbb{E}[d(X,\hat X)]\le D}I(X;\hat X) $$但区别在于：
- 经典 $d$ 定义在数据/符号空间；
- 语义 $d_s$ 定义在意义空间；
- 如何定义 $I_s$ 和 $d_s$ 目前没有统一答案。
请把它看作“研究范式”，不要当作文献中已经公认的定理。 你在写论文时可以借鉴它，但必须明确说明你的定义来自哪篇文章、适用范围是什么。
7.9 语义信道：从发送意图到接收理解
可以形式化一个“语义信道”：
$$ P(\hat S\mid S,K_S,K_R) $$它描述：发送方想表达语义 $S$，接收方在自身知识 $K_R$ 下，最终理解成 $\hat S$ 的概率。
物理信道影响的是接收信号；语义信道影响的是“理解结果”。两者之间的关系可以是：
$$ \hat S=T_\psi\left(g_\phi(Y;K_R)\right) $$其中：
- $Y$ 是物理信道输出；
- $g_\phi$ 是接收端语义解码器；
- $T_\psi$ 是任务/理解模型。
语义噪声可以定义为接收方理解与发送方意图不一致：
$$ P_s=P(\hat S\ \text{不等价于}\ S) $$但“等价”的定义又与任务和知识有关，这再次说明了语义度量的困难。
7.10 语义对齐：为什么接收端也要“懂”
在传统通信中，只要接收端知道调制映射和编码规则，就能把比特恢复出来。在语义通信中，接收端还需要“懂语义”。
例如：
- 发送端压缩为“cat”。
- 接收端有一个视觉/语言模型，它知道 cat 指猫。
- 如果接收端没有这个知识，或者发送端把“dog”错编码为“cat”，就可能产生语义错误。
这种“双方拥有共享表示能力”的条件称为语义对齐。可以通过以下方式实现：
- 联合训练发送端和接收端；
- 使用共享预训练模型；
- 定期同步知识库或模型；
- 传输可解释语义标签、规则或上下文；
- 使用适应性学习或联邦学习进行本地适配。
7.11 语义与知识的区别
- 数据：原始符号、像素、采样值。
- 表示：数据经过模型后的向量或结构。
- 知识：接收方预先拥有的规则、事实、模型、上下文。
- 语义：在给定知识和任务下，数据/表示所“意味着”的东西。
同一个向量，在具备不同知识的接收方那里，可能触发不同的理解。因此，语义通信不只是“特征提取”，而是“知识—特征—任务”的协同问题。
第 7 章小结
- 语义通信的核心是“传意义”，不是“传所有符号”。
- 早期逻辑语义熵用可能世界理论，但并非统一标准。
- 任务导向语义可以用互信息 $I(X;V)$ 和任务损失表达。
- 语义率失真、语义信道、语义熵目前仍是研究框架，不是公认定理。
- 接收方知识和语义对齐是不可忽略的难点。