目录
符号说明
矩阵\(A \in \mathbb{R}^{m \times n}\)
\(\|A\|\)：矩阵\(A\)的谱范数\(\|A\|_*\): 矩阵\(A\)的核范数\(\|A\|_F\): 矩阵\(A\)的F范数\(\mathrm{rank}()\)表示矩阵的秩。[Jensen’s inequality]
\(f(\theta x + (1-\theta)y) \le \theta f(x)+(1-\theta)f(y)\)
如果\(f:\mathbb{R}^n \rightarrow \mathbb{R}\)为凸函数，\(\theta \in [0, 1]\)，\(x,y\in \mathrm{dom}f\)那么：
\[ f(\theta x + (1-\theta)y) \le \theta f(x)+(1-\theta)f(y) \] 实际上，上述为凸函数的定义，为比较一般的Jensen’s inequality。\(f(\theta_1 x_1 + \ldots + \theta_k x_k) \le \theta_1 f(x_1)+\ldots+ \theta_k f(x_k)\)
如果\(f:\mathbb{R}^n \rightarrow \mathbb{R}\)为凸函数，\(\theta_i \in [0, 1], \sum \limits_{i=1}^k \theta_i =1\)，\(x_1, \ldots, x_k \in \mathrm{dom}f\)那么：
\[ f(\theta_1 x_1 + \ldots + \theta_k x_k) \le \theta_1 f(x_1)+\ldots+ \theta_k f(x_k) \] 证：假设\(\theta_1 = 0 或者 1\)时，不等式是一定成立的，所以假设\(\theta_1 \in (0,1)\)。 令\(\theta = \theta_1, \theta' = 1-\theta\),\(x = x_1, \theta'y = \theta_2 x_2 + \ldots + \theta_k x_k\)，根据凸函数的定义可得：\[ f(\theta x + \theta' y) \le \theta f(x) + \theta' f(y) \]\(\sum \limits_{i=2}^k \theta_i / \theta'=1\)，所以，同样满足条件，所以通过数学归纳法即可证明上述等式。\(f(\int_S p(x)x \: \mathrm{d}x) \le \int_S f(x)p(x) \mathrm{d}x\)
如果在\(S \subseteq \mathrm{dom} f\)上，\(p(x) \ge 0\),且\(\int_S p(x) \: \mathrm{d}x=1\)，则当相应的积分存在时：
\[ f(\int_S p(x)x \: \mathrm{d}x) \le \int_S f(x)p(x) \mathrm{d}x \]试证（注意，是试证）：
令\(\theta_i = p(x_i) \Delta x_i， i=1,2,\ldots,k\)，且满足\(\sum \limits_{i=1}^k \theta_i =1\)(这个性质至少在p(x)是连续函数的时候是能够满足的)，那么根据第二形态Jensen’s inequality可以得到:\[ f(\sum \limits_{i=1}^k p(x_i)\Delta x_i x_i) \le \sum \limits_{i=1}^k p(x_i)\Delta x_i f(x_i) \] 令\(\max |\Delta x_i| \rightarrow 0\)即可得积分形式不等式(当然，里面含有一个极限和函数互换的东西，因为凸函数一定是连续函数，所以这个是可以互换的，应该没弄错)。\(f(\mathrm{E}x) \le \mathrm{E}(f(x))\)
如果\(x\)是随机变量，事件\(x \in \mathrm{dom}f\)发生的概率为1，函数\(f\)为凸函数，且相应的期望存在时：
\[ f(\mathrm{E}x) \le \mathrm{E}(f(x)) \] 证： 令\(S = domf\)，随机变量\(x\)的概率密度函数为\(p(x)\),则\(\int_S p(x)=1\)，于是，根据积分形式的Jensen’s inequality即可得：\[ f(\mathrm{E}x) \le \mathrm{E}(f(x)) \][Young's inequality] \(ab \le \frac{a^p}{p} + \frac{b^q}{q}\)
设\(p,q \in [1, +\infty)\)且均为实数，满足：
\[ \frac{1}{p} + \frac{1}{q} = 1 \] 若\(a, b>0\)亦为实数，那么：\[ ab \le \frac{a^p}{p} + \frac{b^q}{q} \]证1：
对于\(x \in \mathbb{R}^+, \alpha \in (0, 1)\),有\(x^{\alpha} \le 1 + \alpha (x-1)\)(因为\(x^{\alpha}\)为凹函数，而不等式右边是在点\((1, 1)\)的切线)。令\(x = b/a, \alpha = 1/q\) ,可得：
\[ a^{1/p}b^{1/q} \le \frac{a}{p} + \frac{b}{q} \] 令\(a:=a^p, b:=b^q\)，代入即可得，另外\(a,b=0\)的时候不等式必成立，结果得证。证2：
考察\(Oxy\)平面上由方程\(y=x^{p-1}\)所定义的曲线，它也可以表示为\(x=y^{\frac{1}{p-1}}=y^{q-1}\),作积分得：\[ S_1 = \int_0^a y \mathrm{d}x = \int_0^a x^{p-1} \mathrm{d}x = \frac{a^p}{p} \\ S_2 = \int_0^b x \mathrm{d}y = \int_0^a y^{q-1} \mathrm{d}y = \frac{b^q}{q} \] 显然：\[ ab \le S_1 + S_2 = \frac{a^p}{p} + \frac{b^q}{q} \] 只有当\(b^q = a^p\)的时候，不等式才得以成立，证毕。[Holder's inequality] \(\|xy\|_1 \le \|x\|_p \|y\|_q\)
离散形式
设\(p, q \in [1, +\infty)\),且\(\frac{1}{p}+\frac{1}{q}=1\),\(x, y \in C^{n}\),其中\(C\)表示复数域，则：
\[ \|xy\|_1 = \sum \limits_{i=1}^n |x_iy_i| \le (\sum \limits_{i=1}^n |x_i|^p)^{\frac{1}{p}}(\sum \limits_{i=1}^n |y_i|^q)^{\frac{1}{q}} = \|x\|_p \|y\|_q \] 注意，\(m \times n\)的矩阵可以看成是\(mn\)维的向量。证：
令\[ a_k = \frac{|x_k|}{(\sum \limits_{i=1}^{n} |x_i|^p)^{\frac{1}{p}}}, b_k = \frac{|y_k|}{(\sum \limits_{i=1}^{n} |y_i|^q)^{\frac{1}{q}}} \] 则有\(\sum \limits_{k=1}^n a_k^p = 1, \sum_{k=1}^n b_k^q = 1\),由杨不等式\(a_kb_k \le \frac{a_k^p}{p} + \frac{b_k^q}{q}\)求和，得\[ \sum \limits_{k=1}^n a_k b_k \le \frac{\sum \limits_{k=1}^{n}a_k^p}{p} + \frac{\sum \limits_{k=1}^{n}b_k^q}{q} = \frac{1}{p} + \frac{1}{q}=1 \] 即\[ \frac{\sum \limits_{i=1}^n |x_i||y_i|}{(\sum \limits_{i=1}^n |x_i|^p)^{\frac{1}{p}}(\sum \limits_{i=1}^n |y_i|^q)^{\frac{1}{q}}} \le1 \] 所以得证。 另外需要一提的是\(n \rightarrow + \infty\)，且右端俩式收敛，则这个式子也对于\(n \rightarrow +\infty\)也可成立。积分形式
设\(p, q \in [1, +\infty)\),且\(\frac{1}{p}+\frac{1}{q}=1\),\(x(t), y(t), t\in [t_0, t_1]\)，且\[ \int_{t_0}^{t_1}|x(t)y(t)|\mathrm{d}t,\: [\int_{t_0}^{t_1}|x(t)|^p\mathrm{d}t]^{\frac{1}{p}}, \:[\int_{t_0}^{t_1}|y(t)|^q\mathrm{d}t]^{\frac{1}{q}} \]均存在,则
\[ \int_{t_0}^{t_1}|x(t)y(t)|\mathrm{d}t \le [\int_{t_0}^{t_1}|x(t)|^p\mathrm{d}t]^{\frac{1}{p}} [\int_{t_0}^{t_1}|y(t)|^q\mathrm{d}t]^{\frac{1}{q}} \]证：
令\[ a = \frac{|x(t)|}{[\int_{t_0}^{t_1}|x(t)|^p\mathrm{d}t]^{\frac{1}{p}}}, \quad b = \frac{|y(t)|}{[\int_{t_0}^{t_1}|y(t)|^q\mathrm{d}t]^{\frac{1}{q}}} \] 则有\(\int_{t_0}^{t_1}a^p \mathrm{d}t=1, \: \int_{t_0}^{t_1}b^q \mathrm{d}t=1\),并由杨不等式\(ab\le \frac{a^p}{p} + \frac{b^q}{q}\)并积分可得：\[ \int_{t_0}^{t_1}ab \mathrm{d}t \le 1 \] 即\[ \int_{t_0}^{t_1}|x(t)y(t)|\mathrm{d}t \le [\int_{t_0}^{t_1}|x(t)|^p\mathrm{d}t]^{\frac{1}{p}} [\int_{t_0}^{t_1}|y(t)|^q\mathrm{d}t]^{\frac{1}{q}} \] 证毕。[trace-nuclear] \(\mathrm{Tr}(A^TB) \le \|A\|\|B\|_*\)
证明：
根据\(\|B\|_*\)的对偶定义：\[ \|B\|_* = \sup \{\mathrm{Tr}(A^TB)| \|A\| \le 1\} = \sup \{\mathrm{Tr}(A^TB)| \|A\| = 1\} \\ \Rightarrow \alpha \|B\|_* \ge \alpha\mathrm{Tr}((A^TB)), \|A\| =1 \] 令\(A := \alpha A\)代之，则\(\|A\| = \alpha\)\[ \|A\|\|B\|_* \ge \mathrm{Tr}(A^TB) \] 因为\(B\)是任意的，所以不等式对任意的\(A,B\)都成立（当然前提是能做矩阵的乘法）。[算术-几何平均不等式] \(a^{\theta}b^{1-\theta} \le \theta a +(1-\theta)b\)
如果\(a,b\ge 0\)，\(\theta \in [0, 1]\)，那么
\[ a^{\theta}b^{1-\theta} \le \theta a +(1-\theta)b \]\(\theta = 1/2\)时，\(\sqrt{ab} \le (a+b)/2\)证1：因为\(-\log x\)为定义在\((0, +\infty)\)上的凸函数，根据[Jensen’s inequality]可得：
\[ -\log (\theta a + (1-\theta)b) \le -\theta \log(a) -(1-\theta) \log(b) \] 俩边取指数可得：\[ \big(\theta a+(1-\theta)b\big)^{-1} \le (a^{\theta}b^{(1-\theta)})^{-1} \] 所以\[ a^{\theta}b^{1-\theta} \le \theta a +(1-\theta)b \]证2：
根据[Young's inequality]可得：\[ ab \le \frac{a^p}{p} + \frac{b^q}{q} \] 令\(a = a^{\theta}, b = b^{1-\theta}\),\(p = 1/\theta,q=1/(1-\theta)\)，\(p,q\)满足条件，所以：\[ a^{\theta}b^{1-\theta} \le \theta a +(1-\theta)b \]