Γ 函数 \Gamma函数 Γ 函数 形式为
∫ 0 ∞ x α − 1 e − x d x \int_0^\infty x^{\alpha-1}e^{-x}dx ∫ 0 ∞ x α − 1 e − x d x 只需要记住一点Γ ( α + 1 ) = α Γ ( α ) \Gamma(\alpha+1)=\alpha\Gamma(\alpha) Γ ( α + 1 ) = α Γ ( α )
多维高斯分布的理解
部分转载自fouryears.eu
考虑一个对称的高斯分布，即 Σ = I {\bf \Sigma} = {\bf I} Σ = I
Pr ( x ) ∝ exp ( − 1 2 x T x ) \Pr({\bf x}) \propto \exp\left(-\frac{1}{2}{\bf x}^T{\bf x}\right) Pr ( x ) ∝ exp ( − 2 1 x T x ) 现在让我们对这些点应用线性变换 A \bf A A y = A x {\bf y} ={\bf Ax} y = Ax y \bf y y y \bf y y x = A − 1 y {\bf x}={\bf A}^{-1}{\bf y} x = A − 1 y
Pr ( y ) ∝ exp ( − 1 2 ( A − 1 y ) T ( A − 1 y ) ) = exp ( − 1 2 y T ( A − 1 ) T A − 1 y ) = exp ( − 1 2 y T ( A A T ) − 1 y ) \begin{align*}
\Pr({\bf y}) &\propto \exp\left(-\frac{1}{2}({\bf A}^{-1}{\bf y})^T({\bf A}^{-1}{\bf y})\right) \\ &= \exp\left(-\frac{1}{2}{\bf y}^T({\bf A}^{-1})^T{\bf A}^{-1}{\bf y}\right) \\ &= \exp\left(-\frac{1}{2}{\bf y}^T({\bf AA}^T)^{-1}{\bf y}\right)
\end{align*} Pr ( y ) ∝ exp ( − 2 1 ( A − 1 y ) T ( A − 1 y ) ) = exp ( − 2 1 y T ( A − 1 ) T A − 1 y ) = exp ( − 2 1 y T ( AA T ) − 1 y ) 这正是协方差为 Σ = A A T {\bf \Sigma} = {\bf AA}^T Σ = AA T
这个逻辑是双向的：如果我们有一个协方差为 Σ \bf \Sigma Σ A \bf A A A A T {\bf AA}^T AA T
更一般地，如果我们有任何数据，那么当我们计算其协方差为 Σ \bf\Sigma Σ A \bf A A A A T {\bf AA}^T AA T
请注意，我们并不知道实际的 A \bf A A A \bf A A A A T = I {\bf AA}^T = {\bf I} AA T = I
此时我们还可以思考一下，显然Σ \Sigma Σ
至于前面的系数，为什么要除以一个∣ Σ − 1 ∣ \sqrt{|\Sigma^{-1}|} ∣ Σ − 1 ∣ A A A
