1、回归
回归分析是统计分析领域的重要分支。利用回归分析模型可以进行预测。一个典型的预测问题是：给定自变量 x x x的某些值处对因变量的一些噪声观测值，对新值 x ∗ x^* x∗时因变量的最佳估计值是多少？如果我们期望底层函数是线性的，且可以对输入数据做一些规范化假设，那么我们可以使用最小二乘法来线性回归（直线拟合）。对于一些规律性很强的非线性关系，我们可以建设底层函数是多项式、非多项式，使用特定的模型在各种可能性中进行选择。
为了描述更为广泛的非线性关系，可以采用基于高斯过程的回归分析（GPR）。GPR方法在机器学习方面系统的、统一的理论和实际工程上的处理方法可以参考。
高斯过程是指一组随机变量的集合，这个集合里面的任意有限个随机变量都服从联合高斯分布，它们的微分、积分也都服从高斯分布。
GPR中建设回归函数的输出服从联合高斯分布：
f ( x ) ∼ G P ( m ( x ) , k ( x , x ′ ) ) f(x) \thicksim GP(m(x), k(x,x')) f(x)∼GP(m(x),k(x,x′))
GPR的适应力极强，其适应的数据特征主要取决于协方差函数 k ( x , x ′ ) k(x,x') k(x,x′)，因此如何高效选取核函数就是GPR的关键。
2、GPR回归方法
引入高斯过程：
y = f ( x ) + G P ( 0 , σ n 2 ) y = f(x) + GP(0, \sigma_n^2) y=f(x)+GP(0,σn2)
f ( x ) ∼ G P ( m ( x ) , k ( x , x ′ ) ) f(x) \thicksim GP(m(x), k(x,x')) f(x)∼GP(m(x),k(x,x′))
其中：
m ( x ) = E [ f ( x ) ] m(x) = E[f(x)] m(x)=E[f(x)]
k ( x , x ′ ) = E [ ( f ( x ) − m ( x ) ) ( f ( x ′ ) − m ( x ′ ) ) ] k(x,x') = E[(f(x)-m(x))(f(x') - m(x'))] k(x,x′)=E[(f(x)−m(x))(f(x′)−m(x′))]
对应的有三个矩阵：
K = K ( X , X ) , K ∗ = K ( x ∗ , X ) , K ∗ ∗ = K ( x ∗ , x ∗ ) K =K(X,X), K_* =K(x_*,X),K_{**} = K(x_*,x_*) K=K(X,X),K∗=K(x∗,X),K∗∗=K(x∗,x∗)
得到多元高斯分布：
( y y ∗ ) ∼ N ( 0 , ( k k ∗ T k ∗ k ∗ ∗ ) ) \dbinom{y}{y_*} \thicksim N \left (0, \begin{pmatrix} k & k_*^T \\ k_* & k_{**} \end{pmatrix}\right) (y∗y)∼N(0,(kk∗k∗Tk∗∗))
其中： y = ( y 1 , y 2 , … , y n ) y=\left(y_1,y_2,\ldots,y_n\right) y=(y1,y2,…,yn)
可得条件高斯：
y ∗ ∣ y ∼ G P ( K ∗ K − 1 y , K ∗ ∗ − K ∗ K − 1 K ∗ T ) y_\ast|y \thicksim GP\left(K_\ast K^{-1}y,K_{\ast\ast}-K_\ast K^{-1}K_\ast^T\right) y∗∣y∼GP(K∗K−1
