本文共 5983 字，大约阅读时间需要 19 分钟。

熵这个概念最早是用于热力学中，毕竟这个字是火字旁，用于衡量一个系统能量的不可用程度，熵越大，能量的不可用程度就越大；越小能量的不可用程度越低。它的物理意义是体系中混乱程度或者复杂程度的度量。

关于熵的应用也在不断拓展，从热力学到生物学、物理学，以及在时间序列分析上都有应用。

一、近似熵（Approximate Entropy, ApEn）

概念

近似熵是一种用于量化时间序列的不规则性或者复杂性的度量方式，它反映了时间序列中新的子序列产生的概率，也就是以一种条件概率的方式来衡量时间序列中新信息发生的可能性，因此越复杂的时间序列对应的近似熵就越大。

近似熵求法

1、设有长度为$N$的时间序列$u(1),u(2),u(3),...,u(N)$，规定一个表示相似度比较的阈值$r$，再确定一个划分子序列长度的度量$m$。

2、通过将原序列进行重构，这样就可以得到$(N-m+1)$个子序列$X(1),X(2),X(3),...,X(N-m+1)$。将每个子序列以$X(i)$表示，其中$X(i)=u(i),u(i+1),u(i+2),...,u(i+m-1)$。 3、计算任意两个重构向量$X(i)$和$X(j)$之间的距离 $d_m[X(i),X(j)]$，其中$d_m$表示两个重构向量$X(j)$($1⩽j⩽N-m+1$)与$X(i)$之间的距离，距离$d_m$由两个向量中对应位置元素的最大差值决定。这里包括$i=j$的距离。 4、然后统计满足以下条件的向量个数，并求出与总的统计数目之间的比值： $$C_i^m(r)=\frac{num[d_m(X(i),X(j))<r]}{N-m+1}$$这个过程称作$X(i)$的模版匹配过程，$C_i^m(r)$表示任意一个$X(j)$与模版之间的匹配概率。 5、定义在划分子序列个数为$m$时的平均相似率：$${\Phi }_m(r)=\frac{{\sum }_{i=1}^{N-m+1}log(C_i^m(r))}{N-m+1}$$6、按照上面1~5再计算当划分子序列个数为$m+1$时的平均相似率${\Phi }_{m+1}(r)$。 7、得近似熵：$$ApEn={\Phi }_m(r)-{\Phi }_{m+1}(r)$$ 注：关于$m$和$r$的选取，$m$通常选择为2或者3；$r$则根据实际应用的场景选择，通常选择$r=0.2\ast std$，$std$是原时间序列的标准差。从信息熵的角度来看，近似熵的思想是通过判断每个子序列中元素与全局子序列中每个元素之间的差异的大小来决定信息熵的大小，如果一个子序列与其他子序列之间的差异都很大，那么它满足$d_m[X(i),X(j)]\le r$的数量就会很少，相对应它的信息量就大，因而它的信息熵就会很大。

二、样本熵（Sample Entropy, SampEn）

概念

样本熵同样也是用于衡量时间序列在单一尺度上的复杂度，与近似熵相比，具有更高的精度。样本熵是在近似熵的基础上的改进，所以求法也很类似。

样本熵的求法

1、设有长度为$N$的时间序列$u(1),u(2),u(3),...,u(N)$，规定一个表示相似度比较的阈值$r$，再确定一个划分子序列长度的度量$m$。

2、通过将原序列进行重构，这样就可以得到$(N-m+1)$个子序列$X(1),X(2),X(3),...,X(N-m+1)$。将每个子序列以$X(i)$表示，其中$X(i)=u(i),u(i+1),u(i+2),...,u(i+m-1)$。 3、计算任意两个重构向量$X(i)$和$X(j)$之间的距离 $d_m[X(i),X(j)]$，其中$d_m$表示两个重构向量$X(j)$($1⩽j⩽N-m+1$)与$X(i)$之间的距离，距离$d_m$由两个向量中对应位置元素的最大差值决定。这里的$i̸=j$。 4、然后统计满足以下条件的向量个数，并求出与总的统计数目之间的比值： $$B_i^m(r)=\frac{num[d_m(X(i),X(j))<r]}{N-m}$$这个过程称作$X(i)$的模版匹配过程，$B_i^m(r)$表示任意一个$X(j)$与模版之间的匹配概率。这里的$X(i)̸=X(j)$，所以总的统计数就是$N-m$。 5、求$B_i^m(r)$对于每个$i$的平均值，也就是平均相似率，记为$B^m(r)$：$$B^m(r)=\frac{{\sum }_{i=1}^{N-m+1}{B}_i^m(r)}{N-m+1}$$注意，这里的近似平均率没有取对数，这里也是和近似熵的区别。 6、按照上面的1~5步骤计算$m+1$时的平均相似率$B^{m+1}(r)$。 7、这样就可以得到$N$取有限值时，样本熵为：$$SampEn(N,m,r)=-ln[\frac{B^{m+1}(r)}{B^m(r)}]$$ 注：关于$m$和$r$的选取，$m$通常选择为1或者2；$r$则根据实际应用的场景选择，通常选择$r=0.1\ast std\sim 0.25\ast std$，$std$是原时间序列的标准差。近似熵是以$-ln(CP)$为模型，为了避免出现$ln(0)$的情况，所以在计算重构向量距离的时候，剔除了与自身的比较。

三、模糊熵（Fuzzy Entropy，FsEn）

概念

模糊熵是在样本熵的基础上改进得到的，模糊熵引入了模糊隶属度函数，它是一种指数函数。它的主要特点是其参数的改变对复杂性度量的结果影响很小。

模糊熵的求法

1、设有长度为$N$的时间序列$u(1),u(2),u(3),...,u(N)$，规定一个表示相似度比较的阈值$r$，再确定一个划分子序列长度的度量$m(m⩽N-2)$。

2、通过将原序列进行重构，这样就可以得到$(N-m+1)$个子序列$X(1),X(2),X(3),...,X(N-m+1)$。将每个子序列以$X(i)$表示，其中$X(i)=[u(i),u(i+1),u(i+2),...,u(i+m-1)]-u_0(i)$。这里的操作有点类似去中心化。其中$$u_0(i)=\frac{1}{m}\sum _{j=0}^{m-1}u(i+j)$$3、计算任意两个重构向量$X(i)$和$X(j)$之间的距离 $d_{ij}^m[X(i),X(j)]$，其中$d_{ij}^m$表示两个重构向量$X(j)$($1⩽j⩽N-m+1$)与$X(i)$之间的距离，距离$d_m$由两个向量中对应位置元素的最大差值决定。这里同样$i̸=j$。 4、引入模糊隶属度函数：$$A_{ij}^m=exp[-(\frac{d_{ij}^m}{r}{)}^n]$$5、计算针对于每个$i$的平均值：$$C_i^m(r)=\frac{{\sum }_{j=1,j̸=i}^{N-m+1}{A}_{ij}^m}{N-m}$$6、定义$${\Phi }^m(r)=\frac{{\sum }_{i=1}^{N-m+1}{C}_i^m(r)}{N-m+1}$$7、按照1~6步骤，求$m+1$时的${\Phi }^{m+1}(r)$。 8、模糊熵：$$FsEn(N,m,r)=ln{\Phi }^{m+1}(r)-ln{\Phi }^m(r)$$

四、总结

关于重构向量的大小$m$和相似度$r$的选择都是要考虑的事情，过大的相似度会导致信息丢失，太小则会增加对噪声的敏感性。

上面几种熵，都是衡量时间序列在单一尺度上的复杂性。后面也有多尺度熵来衡量时间序列在不同尺度因子上的复杂性和自相似性。

REF

《基于 EEMD 和多尺度模糊熵的电机轴承故障特征提取方法研究 》

转载地址：http://bbklf.baihongyu.com/