内积与范数

点积

内积的定义实际上就是点积在更多的域（如复数域）上的概念推广，所以先介绍点积的定义。

对于任意 $x,y\in {\mathbf{R}}^n$ ，$x$ 与 $y$ 的点积记作 $x\cdot y$ ，其定义为：

$$x\cdot y=x_1{y}_1+\cdots +x_n{y}_n$$

其中 $x=(x_1,\dots ,x_n)$ ， $y=(y_1,\dots ,y_n)$ 。

内积

定义

向量空间 $V$ 上的内积（inner product）是一个函数，其将 $V$ 中元素的任意有序对 $(u,v)$ 都映射成为一个标量 $⟨u,v⟩\in \mathbf{F}$ ，并且该函数需要满足以下性质：

• 非负性（non-negativity）

  对于任意 $v\in V$ 都有 $⟨v,v⟩\ge 0$ ；

• 确定性（definiteness）

  $⟨v,v⟩=0$ 当且仅当 $v=0$ 时；

• 首位可加性（additivity in first slot）

  对于任意 $u,v,w\in V$ 都有 $⟨u+v,w⟩=⟨u,w⟩+⟨v,w⟩$ ；

• 首位齐次性（homogeneity in first slot）

  对于任意 $\lambda \in \mathbf{F}$ 和 $u,v\in V$ 都有 $⟨\lambda u,v⟩=\lambda ⟨u,v⟩$ ；

• 共轭对称性（conjugate symmetry）

  对于任意 $u,v\in V$ 都有 $⟨u,v⟩=\overline{⟨v,u⟩}$ ；

内积的示例

为了方便理解内积，提供一些内积示例：

1. ${\mathbf{F}}^n$ 上的欧几里得内积定义为：

$$⟨(w_1,\dots ,w_n),(z_1,\dots ,z_n)⟩=w_1\overline{z_1}+\cdots +w_n\overline{z_n}$$

2. 设 $c_1,\dots ,c_n>0$ ，那么我们可以在 ${\mathbf{F}}^n$ 上定义一个特别的内积：

$$⟨(w_1,\dots ,w_n),(z_1,\dots ,z_n)⟩=c_1{w}_1\overline{z_1}+\cdots +c_n{w}_n\overline{z_n}$$

3. 在 $\mathcal{P}(\mathbf{R})$ 上可定义内积：

$$⟨p,q⟩={\int }_0^{\mathrm{\infty }}p(x)q(x)e^{-x}\text{d}x$$

内积空间

内积空间（inner product space）就是带有内积定义的向量空间。

内积的基本性质

1. 对于某个选定的 $u\in V$ ，将任意 $v\in V$ 映射到 $⟨v,u⟩$ 的函数实际上是 $V\to \mathbf{F}$ 的线性映射；
2. 对于任意 $u\in V$ 都有 $⟨0,u⟩=0$ ;
3. 对于任意 $u\in V$ 都有 $⟨u,0⟩=0$ ;
4. 对于任意 $u,v,w\in V$ 都有 $⟨u,v+w⟩=⟨u,v⟩+⟨u,w⟩$ ;
5. 对于任意 $\lambda \in \mathbf{F}$ 和 $u,v\in V$ 都有 $⟨u,\lambda v⟩=\bar{\lambda }⟨u,v⟩$ ；

证明：

性质1：由内积的首位可加性与齐次性可知，该性质所定义的这类函数满足线性映射的性质；

性质2：由性质1可知，$⟨0,u⟩$ 是一个线性映射，因为线性映射总是将 $0$ 映射到 $0$，该性质成立；

性质3：结合前两条性质和内积的共轭对称性可做推导：$⟨u,0⟩=\overline{⟨0,u⟩}=\bar{0}=0$

性质4：结合内积定义中的相关性质，做以下推导

$$\begin{array}{rl}⟨u,v+w⟩& =\overline{⟨v+w,u⟩}\\ & =\overline{⟨v,u⟩+⟨w,u⟩}\\ & =\overline{⟨v,u⟩}+\overline{⟨w,u⟩}\\ & =⟨u,v⟩+⟨u,w⟩\end{array}$$

性质5：结合内积定义中的相关性质，做以下推导

$$\begin{array}{rl}⟨u,\lambda v⟩& =\overline{⟨\lambda v,u⟩}\\ & =\overline{\lambda ⟨v,u⟩}\\ & =\bar{\lambda }\overline{⟨v,u⟩}\\ & =\bar{\lambda }⟨u,v⟩\end{array}$$

范数

定义

对于 $v\in V$ ，$v$ 的范数（norm）记作 $\Vert v\Vert$ ，其定义为 $\Vert v\Vert =\sqrt{⟨v,v⟩}$ 。

范数的基本性质

1. $\Vert v\Vert =0$ 当且仅当 $v=0$ ；
2. 对于任意 $\lambda \in \mathbf{F}$ 都有 $\Vert \lambda v\Vert =|\lambda |\Vert v\Vert$ ；

证明：

性质1易证，略。

结合内积相关性质，通过以下推导可证性质2：

$$\begin{array}{rl}\Vert \lambda v\Vert & =\sqrt{\Vert \lambda v{\Vert }^2}\\ & =\sqrt{⟨\lambda v,\lambda v⟩}\\ & =\sqrt{\lambda ⟨v,\lambda v⟩}\\ & =\sqrt{\lambda \bar{\lambda }⟨v,v⟩}\\ & =\sqrt{|\lambda {|}^2\Vert v{\Vert }^2}\\ & =|\lambda |\Vert v\Vert \end{array}$$

正交

定义

若两个向量 $u,v\in V$ 是正交的（orthogonal），那么它们的内积为零，即：$⟨u,v⟩=0$ 。

$0$ 与正交性

1. $0$ 正交与 $V$ 中的任意向量；
2. $0$ 是 $V$ 中唯一与自身正交的向量；

正交分解

若 $u,v\in V$ 且 $v\ne 0$ ，令 $c=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}$ 、 $w=u-\frac{⟨u,v⟩}{\Vert v{\Vert }^2}v$ ，可使得 $⟨w,v⟩=0$ 且 $u=cv+w$ 。

证明：

首先，有 $u,v$ 的定义，我们可以知道存在一个 $c\in \mathbf{F}$ 可以使得：

$$u=cv+(u-cv)$$

那么，我们需要 $v$ 与 $u-cv$ 正交，即：

$$⟨u-cv,v⟩=0=⟨u,v⟩-c\Vert v{\Vert }^2$$

可以得到 $c=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}$ ，那么：

$$u=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}v+(u-\frac{⟨u,v⟩}{\Vert v{\Vert }^2}v)$$

柯西-施瓦兹不等式（Cauchy–Schwarz Inequality）

对于 $u,v\in V$ ，则 $|⟨u,v⟩|\le \Vert u\Vert \Vert v\Vert$ ，相等情况等价成立的条件是 $u,v$ 中一个向量是另一个向量的标量倍。

证明： 当 $v=0$ 时，等式两端都等于 $0$ ，故而我们可以在 $v\ne 0$ 的情况下做证明。此时将 $u$ 做正交分解，可得：

$$u=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}v+w$$

其中 $w=u-\frac{⟨u,v⟩}{\Vert v{\Vert }^2}v$ ，且 $w$ 和 $v$ 正交。

设 $c=\frac{⟨u,v⟩}{\Vert v{\Vert }^2}$ ,可以得到：

$$\begin{array}{rl}\Vert u{\Vert }^2& =\Vert cv+w{\Vert }^2\\ & =⟨cv+w,cv+w⟩\\ & =⟨cv,cv⟩+⟨cv,w⟩+⟨w,cv⟩+⟨w,w⟩\\ & =⟨cv,cv⟩+c⟨c,w⟩+\bar{c}⟨w,v⟩+⟨w,w⟩\\ & =⟨cv,cv⟩+c\cdot 0+\bar{c}\cdot 0+⟨w,w⟩\\ & =⟨cv,cv⟩+⟨w,w⟩\\ & =\Vert cv{\Vert }^2+\Vert w{\Vert }^2\\ & =\Vert \frac{⟨u,v⟩}{\Vert v{\Vert }^2}v{\Vert }^2+\Vert w{\Vert }^2\\ & =\frac{|⟨u,v⟩{|}^2}{\Vert v{\Vert }^2}+\Vert w{\Vert }^2\\ & \ge \frac{|⟨u,v⟩{|}^2}{\Vert v{\Vert }^2}\end{array}$$

将上面的不等式两端都乘以 $\Vert v{\Vert }^2$ 再开方即可：

$$\begin{array}{rl}\Vert u{\Vert }^2\Vert v{\Vert }^2& \ge |⟨u,v⟩{|}^2\\ & \Downarrow \\ \sqrt{\Vert u{\Vert }^2\Vert v{\Vert }^2}& \ge \sqrt{|⟨u,v⟩{|}^2}\\ & \Downarrow \\ |⟨u,v⟩|& \le \Vert u\Vert \Vert v\Vert \end{array}$$

三角不等式

对于 $u,v\in V$ ，有 $\Vert u+v\Vert \le \Vert u\Vert +\Vert v\Vert$ ，相等情况等价成立的条件是 $u,v$ 中一个向量是另一个向量的标量倍。

该不等式揭露了一个众所周知的规律——“两点之间，直线最短”，哪怕在高维空间中也是如此。

证明：

$$\begin{array}{rl}\Vert u+v{\Vert }^2& =⟨u+v,u+v⟩\\ & =⟨u,u⟩+⟨v,v⟩+⟨u,v⟩+⟨v,u⟩\\ & =⟨u,u⟩+⟨v,v⟩+⟨u,v⟩+\overline{⟨u,v⟩}\\ & =\Vert u{\Vert }^2+\Vert v{\Vert }^2+⟨u,v⟩+\overline{⟨u,v⟩}\\ & =\Vert u{\Vert }^2+\Vert v{\Vert }^2+2\text{Re}⟨u,v⟩\end{array}$$$$\begin{array}{rl}(\Vert u\Vert +\Vert v\Vert {)}^2& =\Vert u{\Vert }^2+\Vert v{\Vert }^2+2\Vert u\Vert \Vert v\Vert \end{array}$$

因为 $|⟨u,v⟩|\le \Vert u\Vert \Vert v\Vert$ 且 $\text{Re}⟨u,v⟩\le |⟨u,v⟩|$ ，所以可得：

$$\begin{array}{rl}\Vert u{\Vert }^2+\Vert v{\Vert }^2+2\text{Re}⟨u,v⟩& \le \Vert u{\Vert }^2+\Vert v{\Vert }^2+2\Vert u\Vert \Vert v\Vert \\ & \Downarrow \\ \Vert u+v\Vert & \le \Vert u\Vert +\Vert v\Vert \end{array}$$

平行四边形恒等式

设 $u,v\in V$ ，则 $\Vert u+v{\Vert }^2+\Vert u-v{\Vert }^2=2(\Vert u{\Vert }^2+\Vert v{\Vert }^2)$ 。

在平面几何中，平行四边形的对角线平方和等于其四条边长度的平方和。这在高维向量空间中也是如此。

证明：

$$\begin{array}{rl}\Vert u+v{\Vert }^2+\Vert u-v{\Vert }^2& =⟨u+v,u+v⟩+⟨u-v,u-v⟩\\ & =\Vert u{\Vert }^2+\Vert v{\Vert }^2+⟨u,v⟩+⟨v,u⟩\\ & +\Vert u{\Vert }^2+\Vert v{\Vert }^2-⟨u,v⟩-⟨v,u⟩\\ & =2(\Vert u{\Vert }^2+\Vert v{\Vert }^2)\end{array}$$

极化恒等式

范数是基于内积的定义而来，极化恒等式（polarization identity）使得内积可以用范数来表示，是一个必须了解的重要结论。

设 $V$ 是复内积空间，对于任意 $x,y\in V$ 均有

$$⟨x,y⟩=\frac{\Vert x+y{\Vert }^2-\Vert x-y{\Vert }^2+i\Vert x+iy{\Vert }^2-i\Vert x-iy{\Vert }^2}{4}$$

证明：首先，我们先展开等式右边分子的四个项

$$\begin{array}{rl}\Vert x+y{\Vert }^2& =⟨x+y,x+y⟩=⟨x,x⟩+⟨x,y⟩+⟨y,x⟩+⟨y,y⟩\\ \Vert x-y{\Vert }^2& =⟨x-y,x-y⟩=⟨x,x⟩-⟨x,y⟩-⟨y,x⟩+⟨y,y⟩\\ \Vert x+iy{\Vert }^2& =⟨x+iy,x+iy⟩=⟨x,x⟩+⟨x,iy⟩+⟨iy,x⟩+⟨y,y⟩\\ \Vert x-iy{\Vert }^2& =⟨x-iy,x-iy⟩=⟨x,x⟩-⟨x,iy⟩-⟨iy,x⟩+⟨y,y⟩\end{array}$$

分别将第一个等式减去第二个等式、第三个等式减去第四个等式

$$\begin{array}{rl}\Vert x+y{\Vert }^2-\Vert x-y{\Vert }^2& =2\cdot ⟨x,y⟩+2\cdot ⟨y,x⟩\\ & =2\cdot (⟨x,y⟩+\overline{⟨y,x⟩})\\ & =4\cdot \text{Re}⟨x,y⟩\\ \\ \Vert x+iy{\Vert }^2-\Vert x-iy{\Vert }^2& =2\cdot ⟨x,iy⟩+2\cdot ⟨iy,x⟩\\ & =-2i\cdot ⟨x,y⟩+2i\cdot ⟨y,x⟩\\ & =-2i(⟨x,y⟩-\overline{⟨y,x⟩})\\ & =-4i\cdot \text{Im}⟨x,y⟩\end{array}$$

最终得证

$$\begin{array}{rl}& \frac{\Vert x+y{\Vert }^2-\Vert x-y{\Vert }^2+i\Vert x+iy{\Vert }^2-i\Vert x-iy{\Vert }^2}{4}\\ & =\frac{(\Vert x+y{\Vert }^2-\Vert x-y{\Vert }^2)+i(\Vert x+iy{\Vert }^2-\Vert x-iy{\Vert }^2)}{4}\\ & =\frac{4\cdot \text{Re}⟨x,y⟩+i\cdot (-4i\cdot \text{Im}⟨x,y⟩)}{4}\\ & =\frac{4\cdot (\text{Re}⟨x,y⟩+\text{Im}⟨x,y⟩)}{4}\\ & =\frac{4\cdot ⟨x,y⟩}{4}\\ & =⟨x,y⟩\end{array}$$

在现实应用中，常常是在实数域上处理问题的，实内积空间的极化恒等式直接将复数域下的等式虚部归零即可:

设 $V$ 是实内积空间，对于任意 $x,y\in V$ 均有

$$⟨x,y⟩=\frac{\Vert x+y{\Vert }^2-\Vert x-y{\Vert }^2}{4}$$

算子极化恒等式

设 $V$ 是复向量内积空间，设存在算子 $T\in \mathcal{L}(V)$ ，那么对于任意两个向量 $x,y\in V$ 都有

$$⟨Tx,y⟩=\frac{⟨T(x+y),x+y⟩-⟨T(x-y),x-y⟩+i⟨T(x+iy),x+iy⟩-i⟨T(x-iy),x-iy⟩}{4}$$

证明：首先，我们将等式右边中的各项展开

$$\begin{array}{rl}⟨T(x+y),x+y⟩& =⟨Tx+Ty,x+y⟩=⟨Tx,x⟩+⟨Tx,y⟩+⟨Ty,x⟩+⟨Ty,y⟩\\ ⟨T(x-y),x-y⟩& =⟨Tx-Ty,x-y⟩=⟨Tx,x⟩-⟨Tx,y⟩-⟨Ty,x⟩+⟨Ty,y⟩\\ ⟨T(x+iy),x+iy⟩& =⟨Tx+iTy,x+iy⟩=⟨Tx,x⟩-⟨Tx,iy⟩+i⟨Ty,x⟩+⟨Ty,y⟩\\ ⟨T(x-iy),x-iy⟩& =⟨Tx-iTy,x-iy⟩=⟨Tx,x⟩+i⟨Tx,y⟩-i⟨Ty,x⟩+⟨Ty,y⟩\end{array}$$

设 $a_1,a_2,a_3,a_4\in \mathbf{F}$ ，使得

$$⟨Tx,y⟩=a_1⟨T(x+y),x+y⟩+a_2⟨T(x-y),x-y⟩+a_3⟨T(x+iy),x+iy⟩+a_4⟨T(x-iy),x-iy⟩$$

那么若是将上式展开，可以得到

$$\begin{array}{rl}⟨Tx,y⟩& =(a_1+a_2+a_3+a_4)⟨Tx,x⟩\\ & +(a_1-a_2-i{a}_3+i{a}_4)⟨Tx,y⟩\\ & +(a_1-a_2+i{a}_3-i{a}_4)⟨Ty,x⟩\\ & +(a_1+a_2+a_3+a_4)⟨Ty,y⟩\end{array}$$

此时我们可以得到方程组：

$$\{\begin{array}{l}{a}_1+a_2+a_3+a_4=0\\ a_1-a_2-i{a}_3+i{a}_4=1\\ a_1-a_2+i{a}_3-i{a}_4=0\\ a_1+a_2+a_3+a_4=0\end{array}$$

解出方程组即可得到

$$\begin{array}{rl}{a}_1& =\frac{1}{4}\\ a_2& =-\frac{1}{4}\\ a_3& =\frac{i}{4}\\ a_4& =-\frac{i}{4}\end{array}$$

将 $a_1\dots a_4$ 的值代回即可得到算子极化恒等式。

在算子极化恒等式中，如果算子 $T=I$ ，那么就会变为标准的极化恒等式（代入 $Tx=x$ 即可）。