Explainable neuromorphic computing

Ref.

1. Visual explanations from spiking neural networks using inter‑spike intervals

Main Contents

本文提出脉冲激活图（Spike Activation Map, SAM）, 无需反向传播或依赖梯度即可获得“视觉解释”. 这与Grad-CAM不同（通过反向传播计算梯度来量化浅层到深层神经元对目标类别预测的贡献）

我们利用了这样一种生物学观察：短脉冲间隔（ISI）的脉冲在神经系统中包含更多信息，因为这些脉冲更可能通过提高神经元的膜电位来引发突触后脉冲。针对SNN所做出的预测，SAM为网络中的每个神经元计算一个神经元贡献分数（Neuronal Contribution Score, NCS）。NCS分数定义为先前脉冲的时间脉冲贡献分数（Temporal Spike Contribution Score, TSCS）的总和，并使用指数核函数计算。

对于在短时间窗口内多次脉冲的神经元，TSCS较高；相反，对于在较长时间内发放脉冲的神经元，TSCS较低。

Results Comparison

SNN 定制的 Grad-CAM(SNN‑crafted Grad‑CAM)

仿照Grad-CAM，计算跨所有时间步的 SNN 定制 Grad-CAM 热图量化每个通道的贡献：

$$\alpha^{c,k}=\frac{1}{N}\sum_{i}\sum_{j}\sum_{t}\frac{\partial y^{c}}{\partial A_{i,j,i}^{k,c}}$$

其中，$N$是归一化因子, $A_{i,j,t}^{k}$是第$k$通道在时间步$t$的脉冲激活值

$$G_{i,j,t}^{c}=\operatorname*{max}\left(0,\sum_{k}\alpha_{t}^{c,k}A_{i,j,t}^{k}\right)$$

需要提及的是，我们将静态图像转换为多时间步的脉冲序列（详见泊松编码）

SNN-Crafted-CAM 存在一种被称为热图平滑效应的问题，这是由于近似的反向梯度函数导致的。

为了从量化角度验证“热图平滑效应”，我们计算了热图的像素级方差。因此，包含非区分信息（即类似像素值）的热图应该具有较低的方差。如图 2b 所示，与我们提出的 SAM（将在下一部分讨论）相比，SNN 定制 Grad-CAM 显示出较低的方差。

脉冲激活图（Spike Activation Map, SAM）

SAM 仅使用前向传播中的脉冲活动来计算热图。因此，这种可视化不仅针对特定类别，还可以高亮显示网络在任何给定图像上的关注区域。令人惊讶的是，我们观察到即使没有任何真实标签，SAM 也能生成有意义的可视化。用数学表述为（从所有因果时间步推断某个时刻下的脉冲贡献值）

$$M_{t}\,\longleftarrow\,f\big(S_{0},S_{1},\cdot\cdot\cdot,\ S_{t-1}\big),$$

首先我们定义时间脉冲贡献分数（TSCS）. TSCS 评估了时间$t`$的先前脉冲相对于当前时间$t$的贡献。很自然地，先前脉冲的贡献会随着时间的推移逐渐减小。因此，TSCS 值可以表述为：

$$T(t,t^{\prime})=\exp(-\gamma|t-t^{\prime}|),$$

其中，$\gamma$是控制指数核函数陡峭程度的超参数.

为了考虑多个先前脉冲，我们定义一个集合$P_{ij}^{k}$, 包含了神经元在位置$(i,j)$和通道$k$的先前发放时间。对每个$P_{ij}^{k}$的先前脉冲TCDS求和得到每个神经元的贡献分数(NCS),$N_{ij,t}^{k}$

$$N_{i j,t}^{k}=\sum_{t^{\prime}\in P_{i j}^{k}}T(t,t^{\prime}).$$

如果一个神经元在短时间间隔内频繁发放脉冲，它的 NCS 值就会很高，反之亦然。最后，我们通过将脉冲发放值$S_{ij}^{t}$与NCS值相乘，并对所有通道$k$求和来计算时间步$t$和位置$(i,j)$的SAM值$M_{ij,t}$

$${M}_{i j,t}=\sum_{k}{N}_{i j,t}^{k}S_{i j,t}.$$

这个和膜电位的贡献还是有区别的，膜电位放完电之后会归零，而这个方法相当于不归零，且能够以一种稳定有效的方式发放脉冲并累计其贡献值。