Eric's Blog Site

如何生成有一定可解释性的Attention Map 参考Github Repo: jeonsworld/ViT-pytorch 我们先试着跑一跑仓库里的train.py，本人写了一个脚本方便快速运行，作者也提供了预训练权重(.npz)。这里以ViT-B-16的模型为例： 12345678910111213141516171819202122python train.py \ --dataset cifar10 \ --model_type ViT-B_16 \ --pretrained_dir "checkpoint/imagenet21k+imagenet2012_ViT-B_16.npz" \ --output_dir "./outputs" \ --img_size 224 \ --train_batch_size 256 \ --eval_batch_size 4 \ --name "exp_1" \ --eval_every 100 \ --learning ...

参考文献 FireFly: A High-Throughput Hardware Accelerator for Spiking Neural Networks With Efficient DSP and Memory Optimization, IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 10.1109/TVLSI.2023.3279349 URL: https://ieeexplore.ieee.org/document/10143752/ 其他参考资料 UltraScale Architecture DSP Slice, UG579 (v1.7) June 4, 2018 1. 通过单个 DSP48E2 进行突触交叉计算 (Synaptic Crossbar Computation by a Single DSP48E2) DSP48E2是Xilinx Ultrascale SoC中会提供的一个数字信号运算IP，基本架构在下两图所示，由三部分组成： 27位预加器 (27’b p ...

在ZYNQ 7020 PS端使用paho.mqtt实现设备侧开发连接华为云IoTDA服务 （2024-2025第六学期综合课程设计自主设计任务的一环） 参考资料 https://blog.csdn.net/thisway_diy/article/details/125557534, 【嵌入式Linux应用】初步移植MQTT到Ubuntu和Linux开发板, 韦东山 https://www.cnblogs.com/wanqieddy/archive/2011/09/21/2184257.html, Makefile 中:= ?= += =的区别, wanqi https://support.huaweicloud.com/devg-iothub/iot_02_2200.html, MQTT使用指导, 华为云 0. Ubuntu18.04 WSL准备 教程很多有手就行。 1. 前置包准备 Paho MQTT的包对多种语言都有支持，其中特别是嵌入式设备中（之前bz用过海斯Hi3861的paho-embedded-mqtt，是工程师事先构建好在OpenHarmony镜像中，用户 ...

2023 NUEDC Question C (项目链接在报告里有写的喵) <----(你喵个锤锤子)

1.注意力机制（Attention） 1.1 自注意力机制 （Self-Attention） 为了处理序列数据，自注意力采取的策略是，吃一整个序列，再根据输入的向量（一段序列）决定输出一个向量，再进入传统的FC，换言之，是考虑了整个序列之后输出一个结果。Self-Attention也可以与FC交替做很多次： 那Self-Attention如何运作？ Self-Attention块的输入可以是一开始的输入层，也可以是中间的某个hidden layer的输出。考虑了所有的输入，输出与输入长度相等的一系列向量。例如b1b^1b1考虑了a1,…,a4a^1, \dots , a^4a1,…,a4。 以上图为例，怎么产生b1b^1b1这个输出呢？ 有两种方法，其中Method 1是如今Transformer架构中用到的，也是注意力机制的主流架构，通过点积计算两向量的关联度。 应用中，把一个向量当作query（问询值），其余的所有当作key（键），进行关联度计算，得到Attention Score，再经过Softmax层进行归一化，得到最终的attention-score矩阵。（其实也不一定 ...

refs Error-backpropagation in temporally encoded networks of spiking neurons, 10.1016/S0925-2312(01)00658-0 Spatio-Temporal Backpropagation for Training High-Performance Spiking Neural Networks, 10.3389/fnins.2018.00331 神经元的脉冲在信息编码中的特点 [29] W. Maass, Fast sigmoidal networks via spiking neurons, Neural Comput. 9 (2) (1997) 279–304. · 在上述文章中，已经给出证明，脉冲神经网络可以模拟任意形式的前馈sigmoid神经元组成的神经网络。 基于这个特性，SNN可以近似任意的连续函数。SNN中单个尖峰时间传递信息的神经元比具有sigmoid激活函数的神经元计算能力更强。 脉冲，在数学上表征为一个“活人/游戏事件”，即“地点，时刻”的坐标。而且活跃（尖峰） ...

1. RNN的前向传播原理 以一个Many-to-Many的简单RNN为例(输入输出维度相等)： 每一时间单位的前向计算过程为： a<t>=f(waaa<t−1>+waxx<t>+ba)z<t>=wyaa<t>+byy^<t>=g(z<t>)\begin{aligned} & a^{<t>} = f(w_{aa}a^{<t-1>} + w_{ax}x^{<t>} + b_a) \\ & z^{<t>} = w_{ya}a^{<t>} + b_y\\ & \hat{y}^{<t>} = g(z^{<t>}) \end{aligned} ​a<t>=f(waa​a<t−1>+wax​x<t>+ba​)z<t>=wya​a<t>+by​y^​<t>=g(z<t>)​ 第一步也可以简写为： a<t>=f(wa ...

Ref: https://zh.d2l.ai/index.html 《动手学深度学习》第二版 https://www.bilibili.com/video/BV1Pa411X76s/?p=17&spm_id_from=pageDriver&vd_source=21687f13b3a0514d15ea0171e45d7ded 吴恩达机器学习Deeplearning.ai课程 https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php HUNG-YI LEE MACHINE LEARNING 2022 SPRING 对机器学习的查漏补缺 1. 模型收敛——代价函数极小：梯度下降算法（Gradient descent algorithm） 考虑一个二元代价函数： min⁡w,bJ(w,b)\min_{w,b}J(w,b) w,bmin​J(w,b) 想求得满足条件的w,bw,bw,b，则需要构建如下算法： w=w−α∂∂wJ(w,b)\begin{equation} w = w - \alpha \frac{ \p ...

（以下是本人在准备树德中学夏令营助教时的资料 PS: Cover:祢豆子可爱捏） 1. 先修知识 基本的英文：在机器人方面，目前基本上没有非常合适的中文教材可以推荐。写得深入浅出的教材大都是国外的，大家必须学会阅读英文教材。这个过程一开始肯定是痛苦的，但是，基本上坚持一个月就会习惯了。 学会使用 VPN。原因同上，基本上有用的资料都需要通过 Goolge 或 Youtube 获取。 线性代数：所有的空间变换、机器人相关计算都依赖于线性代数，甚至需要有一些基本的「线性空间」思维。对于线性代数，我首推 Prof. Gilbert Strang 的《Linear Algebra》，在 Youtube 和网易公开课上可以找到视频。这门课一开始就引导大家从空间的角度看待问题，而不只强调如何计算。而且，网易公开课上有中文字幕，对于初学者也还算友好。 微积分：机器人里，所有涉及到导数、积分、优化的地方，都需要用到微积分。所以，这门数学课也是一开始就绕不开的。我没有太好的视频推荐，不妨也看看 Gilbert Strange 的《微积分重点》 (Highlights of Calcul ...

Project 1：Matched filtering of Linear Frequency Modulated (LFM) signal 线性调频信号的匹配滤波 FFT function Parameters: sampling time: TTT sampling rate: fsf_sfs​ $total\ dots: N = T \times f $ frequency index: △f=fsN\triangle f = \frac{f_s}{N}△f=Nfs​​ original index: NNN (same as 3.) Generating Original Waves s(t)=rect(t10×10−6)ej2π(2×1012t2)s(t) = rect(\frac{t}{10 \times 10^{-6}})e^{j2 \pi (2 \times 10^{12} t^2)} s(t)=rect(10×10−6t​)ej2π(2×1012t2) According to the Euler’s formula, we can get: s(t)=r ...