内积与范数

点积

内积的定义实际上就是点积在更多的域（如复数域）上的概念推广，所以先介绍点积的定义。

对于任意 $x,y\in {\mathbf{R}}^n$ ，$x$ 与 $y$ 的点积记作 $x\cdot y$ ，其定义为：

$$x\cdot y=x_1{y}_1+\cdots +x_n{y}_n$$

其中 $x=(x_1,\dots ,x_n)$ ， $y=(y_1,\dots ,y_n)$ 。

内积

定义

向量空间 $V$ 上的内积（inner product）是一个函数，其将 $V$ 中元素的任意有序对 $(u,v)$ 都映射成为一个标量 $⟨u,v⟩\in \mathbf{F}$ ，并且该函数需要满足以下性质：

• 非负性（non-negativity）

  对于任意 $v\in V$ 都有 $⟨v,v⟩\ge 0$ ；

• 确定性（definiteness）

  $⟨v,v⟩=0$ 当且仅当 $v=0$ 时；

• 首位可加性（additivity in first slot）

  对于任意 $u,v,w\in V$ 都有 $⟨u+v,w⟩=⟨u,w⟩+⟨v,w⟩$ ；

• 首位齐次性（homogeneity in first slot）

  对于任意 $\lambda \in \mathbf{F}$ 和 $u,v\in V$ 都有 $⟨\lambda u,v⟩=\lambda ⟨u,v⟩$ ；

• 共轭对称性（conjugate symmetry）

  对于任意 $u,v\in V$ 都有 $⟨u,v⟩=\overline{⟨v,u⟩}$ ；

内积的示例

为了方便理解内积，提供一些内积示例：

1. ${\mathbf{F}}^n$ 上的欧几里得内积定义为：

$$⟨(w_1,\dots ,w_n),(z_1,\dots ,z_n)⟩=w_1\overline{z_1}+\cdots +w_n\overline{z_n}$$

2. 设 $c_1,\dots ,c_n>0$ ，那么我们可以在 ${\mathbf{F}}^n$ 上定义一个特别的内积：

$$⟨(w_1,\dots ,w_n),(z_1,\dots ,z_n)⟩=c_1{w}_1\overline{z_1}+\cdots +c_n{w}_n\overline{z_n}$$

3. 在 $\mathcal{P}(\mathbf{R})$ 上可定义内积：

$$⟨p,q⟩={\int }_0^{\mathrm{\infty }}p(x)q(x)e^{-x}\text{d}x$$

内积空间

内积空间（inner product space）就是带有内积定义的向量空间。

内积的基本性质

1. 对于某个选定的 $u\in V$ ，将任意 $v\in V$ 映射到 $⟨v,u⟩$ 的函数实际上是 $V\to \mathbf{F}$ 的线性映射；
2. 对于任意 $u\in V$ 都有 $⟨0,u⟩=0$ ;
3. 对于任意 $u\in V$ 都有 $⟨u,0⟩=0$ ;
4. 对于任意 $u,v,w\in V$ 都有 $⟨u,v+w⟩=⟨u,v⟩+⟨u,w⟩$ ;
5. 对于任意 $\lambda \in \mathbf{F}$ 和 $u,v\in V$ 都有 $⟨u,\lambda v⟩=\bar{\lambda }⟨u,v⟩$ ；

证明：

性质1：由内积的首位可加性与齐次性可知，该性质所定义的这类函数满足线性映射的性质；

性质2：由性质1可知，$⟨0,u⟩$ 是一个线性映射，因为线性映射总是将 $0$ 映射到 $0$，该性质成立；

性质3：结合前两条性质和内积的共轭对称性可做推导：$⟨u,0⟩=\overline{⟨0,u⟩}=\bar{0}=0$

性质4：结合内积定义中的相关性质，做以下推导

$$\begin{array}{rl}⟨u,v+w⟩& =\overline{⟨v+w,u⟩}\\ & =\overline{⟨v,u⟩+⟨w,u⟩}\\ & =\overline{⟨v,u⟩}+\overline{⟨w,u⟩}\\ & =⟨u,v⟩+⟨u,w⟩\end{array}$$

性质5：结合内积定义中的相关性质，做以下推导

$$\begin{array}{rl}⟨u,\lambda v⟩& =\overline{⟨\lambda v,u⟩}\\ & =\overline{\lambda ⟨v,u⟩}\\ & =\bar{\lambda }\overline{⟨v,u⟩}\\ & =\bar{\lambda }⟨u,v⟩\end{array}$$

范数

定义

对于 $v\in V$ ，$v$ 的范数（norm）记作 $\Vert v\Vert$ ，其定义为 $\Vert v\Vert =\sqrt{⟨v,v⟩}$ 。

范数的基本性质

1. $\Vert v\Vert =0$ 当且仅当 $v=0$ ；
2. 对于任意 $\lambda \in \mathbf{F}$ 都有 $\Vert \lambda v\Vert =|\lambda |\Vert v\Vert$ ；

证明：

性质1易证，略。

结合内积相关性质，通过以下推导可证性质2：

$$\begin{array}{rl}\Vert \lambda v\Vert & =\sqrt{\Vert \lambda v{\Vert }^2}\\ & =\sqrt{⟨\lambda v,\lambda v⟩}\\ & =\sqrt{\lambda ⟨v,\lambda v⟩}\\ & =\sqrt{\lambda \bar{\lambda }⟨v,v⟩}\\ & =\sqrt{|\lambda {|}^2\Vert v{\Vert }^2}\\ & =|\lambda |\Vert v\Vert \end{array}$$

正交

定义

若两个向量 $u,v\in V$ 是正交的（orthogonal），那么它们的内积为零，即：$⟨u,v⟩=0$ 。

$0$ 与正交性

1. $0$ 正交与 $V$ 中的任意向量；
2. $0$ 是 $V$ 中唯一与自身正交的向量；

正交分解

若 $u,v\in V$ 且 $v\ne 0$ ，令 $c=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}$ 、 $w=u-\frac{⟨u,v⟩}{\Vert v{\Vert }^2}v$ ，可使得 $⟨w,v⟩=0$ 且 $u=cv+w$ 。

证明：

首先，有 $u,v$ 的定义，我们可以知道存在一个 $c\in \mathbf{F}$ 可以使得：

$$u=cv+(u-cv)$$

那么，我们需要 $v$ 与 $u-cv$ 正交，即：

$$⟨u-cv,v⟩=0=⟨u,v⟩-c\Vert v{\Vert }^2$$

可以得到 $c=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}$ ，那么：

$$u=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}v+(u-\frac{⟨u,v⟩}{\Vert v{\Vert }^2}v)$$

柯西-施瓦兹不等式（Cauchy–Schwarz Inequality）

对于 $u,v\in V$ ，则 $|⟨u,v⟩|\le \Vert u\Vert \Vert v\Vert$ ，相等情况等价成立的条件是 $u,v$ 中一个向量是另一个向量的标量倍。

证明： 当 $v=0$ 时，等式两端都等于 $0$ ，故而我们可以在 $v\ne 0$ 的情况下做证明。此时将 $u$ 做正交分解，可得：

$$u=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}v+w$$

其中 $w=u-\frac{⟨u,v⟩}{\Vert v{\Vert }^2}v$ ，且 $w$ 和 $v$ 正交。

设 $c=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}$ ,可以得到：

$$\begin{array}{rl}\Vert u{\Vert }^2& =\Vert cv+w{\Vert }^2\\ & =⟨cv+w,cv+w⟩\\ & =⟨cv,cv⟩+⟨cv,w⟩+⟨w,cv⟩+⟨w,w⟩\\ & =⟨cv,cv⟩+c⟨c,w⟩+\bar{c}⟨w,v⟩+⟨w,w⟩\\ & =⟨cv,cv⟩+c\cdot 0+\bar{c}\cdot 0+⟨w,w⟩\\ & =⟨cv,cv⟩+⟨w,w⟩\\ & =\Vert cv{\Vert }^2+\Vert w{\Vert }^2\\ & =\Vert \frac{⟨u,v⟩}{\Vert v{\Vert }^2}v{\Vert }^2+\Vert w{\Vert }^2\\ & =\frac{|⟨u,v⟩{|}^2}{\Vert v{\Vert }^2}+\Vert w{\Vert }^2\\ & \ge \frac{|⟨u,v⟩{|}^2}{\Vert v{\Vert }^2}\end{array}$$

将上面的不等式两端都乘以 $\Vert v{\Vert }^2$ 再开方即可：

$$\begin{array}{rl}\Vert u{\Vert }^2\Vert v{\Vert }^2& \ge |⟨u,v⟩{|}^2\\ & \Downarrow \\ \sqrt{\Vert u{\Vert }^2\Vert v{\Vert }^2}& \ge \sqrt{|⟨u,v⟩{|}^2}\\ & \Downarrow \\ |⟨u,v⟩|& \le \Vert u\Vert \Vert v\Vert \end{array}$$

三角不等式

对于 $u,v\in V$ ，有 $\Vert u+v\Vert \le \Vert u\Vert +\Vert v\Vert$ ，相等情况等价成立的条件是 $u,v$ 中一个向量是另一个向量的标量倍。

该不等式揭露了一个众所周知的规律——“两点之间，直线最短”，哪怕在高维空间中也是如此。

证明：

$$\begin{array}{rl}\Vert u+v{\Vert }^2& =⟨u+v,u+v⟩\\ & =⟨u,u⟩+⟨v,v⟩+⟨u,v⟩+⟨v,u⟩\\ & =⟨u,u⟩+⟨v,v⟩+⟨u,v⟩+\overline{⟨u,v⟩}\\ & =\Vert u{\Vert }^2+\Vert v{\Vert }^2+⟨u,v⟩+\overline{⟨u,v⟩}\\ & =\Vert u{\Vert }^2+\Vert v{\Vert }^2+2\text{Re}⟨u,v⟩\end{array}$$$$\begin{array}{rl}(\Vert u\Vert +\Vert v\Vert {)}^2& =\Vert u{\Vert }^2+\Vert v{\Vert }^2+2\Vert u\Vert \Vert v\Vert \end{array}$$

因为 $|⟨u,v⟩|\le \Vert u\Vert \Vert v\Vert$ 且 $\text{Re}⟨u,v⟩\le |⟨u,v⟩|$ ，所以可得：

$$\begin{array}{rl}\Vert u{\Vert }^2+\Vert v{\Vert }^2+2\text{Re}⟨u,v⟩& \le \Vert u{\Vert }^2+\Vert v{\Vert }^2+2\Vert u\Vert \Vert v\Vert \\ & \Downarrow \\ \Vert u+v\Vert & \le \Vert u\Vert +\Vert v\Vert \end{array}$$

平行四边形恒等式

设 $u,v\in V$ ，则 $\Vert u+v{\Vert }^2+\Vert u-v{\Vert }^2=2(\Vert u{\Vert }^2+\Vert v{\Vert }^2)$ 。

在平面几何中，平行四边形的对角线平方和等于其四条边的长度之和。这在高维向量空间中也是如此。

证明：

$$\begin{array}{rl}\Vert u+v{\Vert }^2+\Vert u-v{\Vert }^2& =⟨u+v,u+v⟩+⟨u-v,u-v⟩\\ & =\Vert u{\Vert }^2+\Vert v{\Vert }^2+⟨u,v⟩+⟨v,u⟩\\ & +\Vert u{\Vert }^2+\Vert v{\Vert }^2-⟨u,v⟩-⟨v,u⟩\\ & =2(\Vert u{\Vert }^2+\Vert v{\Vert }^2)\end{array}$$