在李航老师的统计学习方法（第一版中）$Hoeffing不等式$是这样子给出的

设$X_1,X_2,...,X_N$是独立随机变量，且$X_i\in [a_i,b_i],i=1,2,...,N;S_N={\sum }_{i=1}^N{X}_i$，则对任意t>0，以下不等式成立：
$$P[S_N-E(S_N)\ge t]\le exp[-\frac{2t^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}]$$
$$P[E(S_N)-S_N\ge t]\le exp[-\frac{2t^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}]$$

这两个数学公式是关于独立随机变量和它们的和的Hoeffding不等式的表达式。它们用于估计随机变量和与其期望之间的差异的概率上界。让我解释这些不等式的含义：

假设有 $N$ 个独立随机变量 $X_1,X_2,\dots ,X_N$，其中每个 $X_i$ 的取值范围位于区间 $[a_i,b_i]$ 内，即 $a_i\le X_i\le b_i$，并且它们是彼此独立的。我们定义一个随机变量 $S_N$，表示这些随机变量的和，即 $S_N={\sum }_{i=1}^N{X}_i$。同时，我们有 $E(S_N)$ 表示 $S_N$ 的期望值，即 $E(S_N)={\sum }_{i=1}^N\mathbb{E}[X_i]$。

现在，这两个不等式分别描述了以下情况：

1. 第一个不等式:
   $$P[S_N-E(S_N)\ge t]\le \exp \left(-\frac{2t^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$$

这个不等式表示随机变量和 $S_N$ 超过其期望值 $E(S_N)$ 的值大于或等于 $t$ 的概率不会超过 $\exp \left(-\frac{2t^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$。换句话说，它提供了一个关于 $S_N$ 偏离其期望值的概率上界。

2. 第二个不等式:
   $$P[E(S_N)-S_N\ge t]\le \exp \left(-\frac{2t^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$$

这个不等式表示随机变量和 $S_N$ 低于其期望值 $E(S_N)$ 的值大于或等于 $t$ 的概率不会超过 $\exp \left(-\frac{2t^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$。它提供了一个关于 $S_N$ 偏离其期望值的概率上界，但是方向与第一个不等式相反。

这些不等式是Hoeffding不等式的一种形式，它们可用于估计随机变量和的性质以及样本统计的可靠性。不等式的右侧是关于样本范围 $[a_i,b_i]$ 的性质和观察样本数量 $N$ 的函数，它们决定了概率上界的大小。这些不等式对于分析随机过程和估计样本均值的可信度非常有用。

在李航老师统计学习方法（第二版中）是这样子给出

设$X_1,X_2,...,X_N$是独立随机变量，且$X_i\in [a_i,b_i],i=1,2,...,N;\bar{X}$是$X_1,X_2,...,X_N$的经验均值，$\bar{X}=\frac{1}{N}{\sum }_{i=1}^N{X}_i$ ，则对任意t>0，以下不等式成立
$$P[\bar{X}-E(\bar{X})\ge t]\le \exp \left(-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$$
$$P[E(\bar{X})-\bar{X}\ge t]\le \exp \left(-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$$

这两个不等式是关于经验均值（样本均值）$\bar{X}$ 与其期望值$E(\bar{X})$ 之间的差异的概率上界，这些差异由Hoeffding不等式提供。让我解释这些不等式的含义：

假设有 $N$ 个独立随机变量 $X_1,X_2,\dots ,X_N$，其中每个 $X_i$ 的取值范围位于区间 $[a_i,b_i]$ 内，即 $a_i\le X_i\le b_i$，并且它们是彼此独立的。我们定义一个随机变量 $\bar{X}$，表示这些随机变量的经验均值（样本均值），即 $\bar{X}=\frac{1}{N}{\sum }_{i=1}^N{X}_i$。

现在，这两个不等式分别描述了以下情况：

1. 第一个不等式:
   $$P[\bar{X}-E(\bar{X})\ge t]\le \exp \left(-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$$

这个不等式表示经验均值 $\bar{X}$ 超过其期望值 $E(\bar{X})$ 的值大于或等于 $t$ 的概率不会超过 $\exp \left(-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$。换句话说，它提供了一个关于经验均值 $\bar{X}$ 偏离其期望值 $E(\bar{X})$ 的概率上界。

2. 第二个不等式:
   $$P[E(\bar{X})-\bar{X}\ge t]\le \exp \left(-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$$

这个不等式表示经验均值 $\bar{X}$ 低于其期望值 $E(\bar{X})$ 的值大于或等于 $t$ 的概率不会超过 $\exp \left(-\frac{2N^2{t}^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$。它提供了一个关于经验均值 $\bar{X}$ 偏离其期望值 $E(\bar{X})$ 的概率上界，但方向与第一个不等式相反。

这些不等式是Hoeffding不等式的一种形式，它们可用于估计经验均值的性质以及样本统计的可靠性。不等式的右侧是关于样本范围 $[a_i,b_i]$ 的性质和观察样本数量 $N$ 的函数，它们决定了概率上界的大小。这些不等式对于分析随机过程和估计样本均值的可信度非常有用。

如何从第一版推理到第二版

要从第一组不等式推导出第二组不等式，您可以使用一些基本的概率论和数学推导的技巧。下面是一种可能的推导方法：

首先，我们有 $S_N={\sum }_{i=1}^N{X}_i$，并且 $\bar{X}=\frac{1}{N}{S}_N$。因此，我们可以将 $S_N$ 表示为 $\bar{X}$ 的形式：

$$S_N=N\cdot \bar{X}$$

接下来，让我们考虑第一个不等式：
$$P[S_N-E(S_N)\ge t]\le \exp \left(-\frac{2t^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$$

现在用 $S_N=N\cdot \bar{X}$ 和 $E(S_N)=N\cdot E(\bar{X})$ 替换右侧的 $S_N$ 和 $E(S_N)$：
$$P[N\cdot \bar{X}-N\cdot E(\bar{X})\ge t]\le \exp \left(-\frac{2t^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$$

然后，我们可以将 $N$ 提取出来，并且在不等式两侧都除以 $N$，得到：
$$P[\bar{X}-E(\bar{X})\ge \frac{t}{N}]\le \exp \left(-\frac{2t^2}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$$

最后，为了得到形式与第二组不等式相同的表达式，让 $t^{\prime }=\frac{t}{N}$，则不等式变为：
$$P[\bar{X}-E(\bar{X})\ge t^{\prime }]\le \exp \left(-\frac{2N^2{t}^{\prime 2}}{{\sum }_{i=1}^N(b_i-a_i{)}^2}\right)$$

这就得到了第二组不等式。现在，第二组不等式的形式与第一组不等式相同，只是将 $t$ 替换为了 $t^{\prime }=\frac{t}{N}$，而其他部分保持不变。这个过程用到了线性变换的性质以及概率论的基本规则，允许我们从一个不等式推导到另一个不等式，只需简单的代换。