关于DNN，DP，EKF，Fourier Operator，Koopman Operator

英文缩写解释

英文缩写	英文解释	中文解释
DNN	Deep Neural Network	深度神经网络
DP	Deep Learning	深度学习
EKF	Extended Kalman Filter	扩展卡尔曼滤波器
FO	Fourier Operator	傅里叶算子
KO	Koopman Operator	库普曼算子

>

卡尔曼滤波器

自适应滤波器的概念

滤波器在实现滤波、平滑或者预测等任务时，能够自动跟踪和适应系统或环境的动态变化，就需要滤波器的参数可以随着时间做简单的变化或更新，用地推的方式实现，这样的滤波器称为自适应滤波器。

匹配滤波与Wiener滤波

连续时间的滤波器有两种最优设计准则：

• 匹配滤波：滤波器的输出达到最大的信噪比
• Wiener滤波：输出滤波器的均方估计误差最小

匹配滤波

理论推导

考虑观测信号：$$y(t)=s(t)+n(t)$$
$s(t)$为已知信号，$n(t)$为零均值的加性平稳噪声（白色或有色）

• 白噪声（white noise）是指功率谱密度在整个频域内是常数的噪声。 所有频率具有相同能量密度的随机噪声称为白噪声。
• 有色噪声（ coloured noise）是指功率谱密度函数不平坦的噪声。大多数的噪声的频谱主要都是非白色频谱，通过信道的白噪声受信道频率的影响而变为有色的。

令$h(t)$为滤波器的时不变冲激响应函数，目标就是设计滤波器$h(t)$，使得滤波器的输出信号$y(t)$的信噪比最大化。
滤波器的输出信号为：

$$\begin{align} y_0(t) & =y(t)*h(t) \\ & = \int_{-\infty}^{\infty} y_0(\tau)h(t-\tau)d\tau \\ & = \int_{-\infty}^{\infty} s(\tau)h(t-\tau)d\tau + \int_{-\infty}^{\infty} n(\tau)h(t-\tau)d\tau \\ & = s_0(t) + n_0(t) \end{align}$$

$s_o(t)$、$n_o(t)$分别为滤波器的输出信号分量和噪声信号分量。
在$t=T_0$时刻，滤波器的输出信噪比定义为

\begin{align} (\frac{S}{N})^2 & = \frac{\textbf{t=T_0时刻输出的瞬时信号功率}}{\textbf{输出噪声的平均功率}} \\ & = \frac{s_0^2(T_0)}{E[n_0^2(t)]} \end{align}

利用傅里叶变换的卷积特性，有

$$\begin{align} s_0(t) = \int_{-\infty}^{\infty} s(\tau)h(t-\tau)d\tau & = \frac{1}{2\pi}\int_{-\infty}^{\infty} H(j\omega)S(j\omega)e^{j\omega t}d\omega \end{align}$$

式中，$H(j\omega)$ = $\int_{-\infty}^{\infty} h(t)e^{-j\omega t}dt$为滤波器的频率响应函数（传递函数），$S(j\omega)$ = $\int_{-\infty}^{\infty} s(t)e^{-j\omega t}dt$为信号的频谱密度函数。
$t=T_0$时刻，输出信号的瞬时功率为

$$\begin{align} s_0^2(T_0) & = |\frac{1}{2\pi}\int_{-\infty}^{\infty} H(j\omega)S(j\omega)e^{j\omega T_0}d\omega |^2 \\ \end{align}$$

$t=T_0$时刻，输出噪声的平均功率为

$$\begin{align} E{n_0^2(t)} = E\{\int_{-\infty}^{\infty} n(\tau)h(t-\tau)d\tau\}^2 \end{align}$$

---

补一些功率谱密度的知识：
若某一个功率信号$x(t)$的功率为$p_x(t)$，则有

$$\begin{align} p_x(t) = \lim_{T\rightarrow\infin}\frac{1}{2T}|x_T(t)|^2 \end{align}$$

其功率谱密度函数$P_{x}(j\omega)$为

$$\begin{align} P_{x}(j\omega)=\lim_{T\rightarrow\infin}\frac{1}{2T}|X_T(j\omega)|^2 \end{align}$$

若以f为自变量，则可以写成

$$\begin{align} P_{x}(f)=\lim_{T\rightarrow\infin}\frac{1}{2T}|X_T(f)|^2 \end{align}$$

(其中$X_T(j\omega)$为$x_T(t)$的傅里叶变换, $x_T(t)$为$x(t)$在$[-T,T]$上的截断信号)
根据Parseval定理

$$\begin{align} \int_{-\infty}^{\infty} |x_T(t)|^2dt & = \frac{1}{2\pi}\int_{-\infty}^{\infty} |X_T(j\omega)|^2 d\omega \\ & = \int_{-\infty}^{\infty} |X_T(f)|^2 df \end{align}$$

总功率为：

$$\begin{align} P = \lim_{T\rightarrow\infin}\frac{1}{2T}\int_{-\infty}^{\infty} |x_T(t)|^2dt & = \lim_{T\rightarrow\infin}\frac{1}{2T}\int_{-\infty}^{\infty} |X_T(f)|^2 df & = \int_{-\infty}^{\infty}P(f)df \end{align}$$

---

令$P_n(j\omega)$为加性噪声的功率谱密度函数，则输出噪声的功率谱密度函数为

$$\begin{align} P_{n_0}(j\omega) = |H(j\omega)|^2 P_n(j\omega) \end{align}$$

输出噪声的平均功率可以写作(以频率作为量度)

$$\begin{align} E[n_0^2(t)] = \frac{1}{2\pi}\int_{-\infty}^{\infty}P_{n_0}(j\omega)d\omega = \frac{1}{2\pi}\int_{-\infty}^{\infty}|H(j\omega)|^2 P_n(j\omega) \end{align}$$

代入信噪比定义式，可以得出

$$\begin{align} (\frac{S}{N})^2 = \frac{s_0^2(T_0)}{E[n_0^2(t)]} & = \frac{|\frac{1}{2\pi}\int_{-\infty}^{\infty} H(j\omega)S(j\omega)e^{j\omega T_0}d\omega |^2}{\frac{1}{2\pi}\int_{-\infty}^{\infty}|H(j\omega)|^2 P_n(j\omega)} \\ & = \frac{1}{2\pi}\frac{|\int_{-\infty}^{\infty}(H(j\omega)\sqrt{P_n(j\omega)})(\frac{S(j\omega)}{\sqrt{P_n(j\omega)}})e^{j\omega T_0}d\omega|^2}{\int_{-\infty}^{\infty}|H(j\omega)|^2 P_n(j\omega)} \end{align}$$

分子凑了一个$\sqrt{P_n(j\omega)}$, 因为要用到Cauchy-Schwartz不等式：

$$\begin{align} \left|\int_{a}^{b} f(x)g(x)\ dx\right| \leq \sqrt{\int_{a}^{b} f^2(x)\ dx}\sqrt{\int_{a}^{b} g^2(x)\ dx} \end{align}$$

等号在当且仅当$f(x)=cg^*(x)$, c是任意复常数时成立。取c = 1：

$$\begin{align} f(x) = H(j\omega)\sqrt{P_n(j\omega)}， g(x)=\frac{S(j\omega)}{\sqrt{P_n(j\omega)}}e^{j\omega T_0} \end{align}$$

$$\begin{align} (\frac{S}{N})^2 & \le \frac{1}{2\pi}\frac{\int_{-\infty}^{\infty}|H(j\omega)|^2P_n(j\omega)d\omega\int_{-\infty}^{\infty}(\frac{|S(j\omega)|^2}{P_n(j\omega)})e^{j\omega T_0}d\omega}{\int_{-\infty}^{\infty}|H(j\omega)|^2 P_n(j\omega)d\omega} \\ & = \frac{1}{2\pi}\frac{\int_{-\infty}^{\infty}|H(j\omega)|^2P_n(j\omega)d\omega\int_{-\infty}^{\infty}(\frac{|S(j\omega)|^2}{P_n(j\omega)})d\omega}{\int_{-\infty}^{\infty}|H(j\omega)|^2 P_n(j\omega)d\omega} \\ & = \frac{1}{2\pi}\int_{-\infty}^{\infty}\frac{|S(j\omega)|^2}{P_n(j\omega)}d\omega \end{align}$$

$e^{ix}$的模总是1, 因此平方也是1，复指数乘积项就没了。

取最大值，即为等式成立条件。将式中等号成立时的滤波器传递函数记作$H_{opt}(j\omega)$, 利用Cauchy-Schwartz不等式等号成立条件：

$$\begin{align} H_{opt}(j\omega)\sqrt{P_n(j\omega)}&=\frac{S^*(j\omega)}{\sqrt{P_n^*(j\omega)}}e^{-j\omega T_0}\\(c &= 1)\\ H_{opt}(j\omega)&=\frac{S(-j\omega)}{P_n(j\omega)}e^{-j\omega T_0} \end{align}$$

可以得到最大信噪比：

$$\begin{align} SNR_{max} = \frac{1}{2\pi}\int_{-\infty}^{\infty}\frac{|S(j\omega)|^2}{P_n(j\omega)}d\omega \end{align}$$

由此，最优线性滤波器理论推导完成。

适用条件

上面推导过程显示出，接收机必须已知并存储信号的精确结构/功率谱，积分区间还必须与信号取非零值区间（截断区间）同步。

Wiener滤波

理论推导

依然用观测信号：$y(t)=s(t)+n(t)$, 使用滤波器（传递函数为$H(j\omega)$）,对信号$s(t)$进行参数估计：

$$\begin{align} \hat{s}(t) = \int_{-\infty}^{\infty} y(\tau)h(t-\tau)d\tau = \int_{-\infty}^{\infty} h(\tau)y(t-\tau)d\tau \end{align}$$

由参数估计理论可知（推导略过也不是很重要），估计误差$s(t)-\hat{s}(t)$是随机变量，不适合作为滤波器的性能评价标准。而另一个量：均方误差则是一个确定量，是滤波器的主要测度之一。考虑均方误差：

$$\begin{align} J=E\{[s(t)-\hat{s}(t)]^2\}=E\{[s(t)-\int_{-\infty}^{\infty} h(\tau)y(t-\tau)d\tau]^2\} \end{align}$$

取值最小，这就是最小均方误差（Minimum Mean Square Error，MMSE）准则。于是，线性最优滤波器的冲激响应可以表示为

$$\begin{align} h_{opt}(t)=\mathop{\arg\min}\limits_{h(t)} E\{[s(t)-\int_{-\infty}^{\infty} h(\tau)y(t-\tau)d\tau]^2\} \end{align}$$

其FT就是线性最优滤波器的频率响应：

$$\begin{align} H_{opt}(j\omega)=\frac{P_{sy}(j\omega)}{P_{yy}(j\omega)} \end{align}$$

$P_{sy}(j\omega)$代表输入信号$s(t)$和输出信号$y(t)$之间的交叉功率谱密度/互功率谱密度(CPSD)，它是衡量两个信号在频率$\omega$下的相关性。

$$\begin{equation} P_{sy}(\omega) = E\{S(\omega)Y^*(\omega)\} \end{equation}$$

$P_{yy}(j\omega)$代表输出信号$y(t)$的自功率谱密度（APSD），它是对输出信号在频率$\omega$下的功率或能量的衡量。

$$\begin{equation} P_{yy}(\omega) = E\{Y(\omega)Y^*(\omega)\} \end{equation}$$

此为非因果Wiener滤波器，因为$h_{opt}(t)$在$(-\infty,+\infin)$内取值，而非因果滤波器不可能实现。
任何一个非因果线性系统可以看作因果部分与反因果部分组合，因果部分是物理层面可以实现的，反因果部分在物理层面不可能实现。由此联想到将非因果Wiener滤波器的因果部分提取出来，就可以得到可实现的Wiener滤波器。

很多情况下，信号和噪声，即$s(t)$与$n(t)$是独立的，这时候Wiener滤波器的频率响应可以表示为：

$$\begin{align} H_{opt}(j\omega)=\frac{P_{ss}(j\omega)}{P_{ss}(j\omega)+P_{nn}(j\omega)} \end{align}$$

其中$P_{ss}(j\omega)$代表输入信号$s(t)$的自功率谱密度（APSD），$P_{nn}(j\omega)$代表噪声信号$n(t)$的自功率谱密度（APSD）。

基于状态空间模型的线性最优滤波——Kalman滤波

理论推导

考虑一个离散时间线性动态系统，它由描述「状态向量」的过程方程和描述「观测向量」的观测方程共同表示。

$$\begin{align} \textbf{过程方程/状态方程：} \bold{x}(n+1)&=\bold{F}(n+1, n)\bold{x}(n)+\bold{v_1}(n)\\ \end{align}$$

• $\bold{x}(n)$ 为一个 $M*1$ 的列向量，,表示系统在离散时间域中n时刻的状态，是不可观测的
• $\bold{F}(n+1, n)\bold{x}(n)$是一个$M*M$的状态转移矩阵，它描述了系统在离散时间域中n时刻的状态与n+1时刻的状态之间的关系，是已知的；
• $\bold{v_1}(n)$是一个 $M*1$ 的列向量，描述状态转移中间的加性噪声或者误差。

观测方程：

$$\begin{align} \bold{y}(n)&=\bold{C}(n)\bold{x}(n)+\bold{v_2}(n)\\ \end{align}$$

• $\bold{y}(n)$为一个 $N*1$ 的列向量，表示系统在离散时间域中n时刻的观测 向量，是可观测的；
• $\bold{C}(n)\bold{x}(n)$是一个$N*M$观测矩阵，它描述了系统在离散时间域中n时刻的状态与n时刻的观测之间的关系，是已知的；
• $\bold{v_2}(n)$是一个 $N*1$ 的列向量，描述观测噪声。

Kalman滤波问题描述为：利用观测数据向量$\bold{y}(1),\bold{y}(2),...,\bold{y}(n)$, 对$n \geq 1$求状态向量$\bold{x}(i)$的各个分量的最小二乘估计值$\hat{\bold{x}}(i)$。根据$i$和$n$的不同取值，Kalman滤波问题可以分为三类：

• 滤波问题：$i=n$，使用$n$时刻以前的测量数据，抽取n时刻的信息
• 平滑问题：$1 \leq i \lt n$,待抽取的信息不一定是n时刻的，有可能是n之前的任意时刻。即得到感兴趣的结果的时间通常滞后于获得测量数据的时间。
• 预测问题：$i \gt n$，使用n时刻以及以前时刻的测量数据，提前抽取$n+\tau(\tau \gt 0)$时刻的信息。

新息过程(innovation process，这个翻译也是没谁了)

给定观测值$\bold{y}(1),...,\bold{y}(n-1)$, 求$\bold{y}(n)$的最小二乘估计值。记为$\hat{\bold{y_1}}(n) \overset{def}{=} \hat{\bold{y}}(n|\bold{y}(1),...,\bold{y}(n-1))$.

新息过程的定义

对于$\bold{y}(n)$的新息过程定义为：

$$\begin{align} \bold{\alpha}(n) = \bold{y}(n)-\hat{\bold{y_1}}(n), n = 1,2,\dots \end{align}$$

式中，$N*1$的列向量$\bold{\alpha}(n)$表i是观测数据$\bold{y}(n)$的新的信息，简称新息。

新息的性质

1. n时刻的新息$\bold{\alpha}(n)$与过去所有的观测数据$\bold{y}(1),...,\bold{y}(n-1)$正交。即：

$$\begin{align} E{\bold{\alpha}(n)\bold{y}^H(k)} = \bold{O}, k = 1,2,\dots,n-1 \end{align}$$

2. 新息过程由彼此正交的随机向量序列$\{\bold{\alpha}(n)\}$构成，即：

$$\begin{align} E{\bold{\alpha}(n)\bold{\alpha}^H(k)} = \bold{O}, k = 1,2,\dots,n-1 \end{align}$$

3. 表示观测数据的随机向量序列$\{\bold{y}(1),\dots,\bold{y}(n)\}$与表示新息过程的随机向量序列$\{\bold{\alpha}(1),\dots,\bold{\alpha}(n)\}$是一一对应的。

以上性质表明：新息过程具有白噪声性质，但它却能够提供有关观测数据的信息。

新息过程理论推导

分析新息过程的相关矩阵：

$$\begin{align} \bold{R}(n) = E\{\bold{\alpha}(n)\bold{\alpha}^H(n)\} \end{align}$$

在卡尔曼滤波中，并不直接估计$\hat{\bold{y_1}}(n)$, 而是先计算状态向量的一步预测：

$$\begin{align} \hat{\bold{x_1}}(n) \overset{def}{=} \hat{\bold{x}}(n|\bold{y}(1),...,\bold{y}(n-1)) \end{align}$$

再得到

$$\begin{align} \hat{\bold{y_1}}(n) = \bold{C}(n)\hat{\bold{x_1}}(n) \end{align}$$