00. 学习在PL端使用OV7725摄像头 拿到摄像头，我们先来研究它的引脚： 输入端口： Port Function XCLK 系统时钟输入 FSIN 帧同步信号输入 RSTB 系统reset信号输入，低电平有效 PWDN 关机模式选择 SCL SCCB协议时钟输入(类似IIC) SDA SCCB协议数据输入(类似IIC) 输出端口： Port Function HREF 行同步信号输出 PCLK 像素时钟输出 VSYNC 垂直同步信号输出 D[9:0] 10-bit RGB数据 Step 1. 读出OV7725的RGB数据并拼成一帧图像 假设摄像头正常工作，自身产生的24MHz的PCLK作为输出给到读取数据的模块中。一系列像素同步信号（VSYNC，HREF）和本身的RGB像素信息也同样传给模块中。作为时序控制电路应有RST_n信号。所以该Verilog模块的输入输出端口就很清晰了（如下图） Ports Port name Direction Type sys_rst_n input wire ...

如何生成有一定可解释性的Attention Map 参考Github Repo: jeonsworld/ViT-pytorch 我们先试着跑一跑仓库里的train.py，本人写了一个脚本方便快速运行，作者也提供了预训练权重(.npz)。这里以ViT-B-16的模型为例： 12345678910111213141516171819202122python train.py \ --dataset cifar10 \ --model_type ViT-B_16 \ --pretrained_dir "checkpoint/imagenet21k+imagenet2012_ViT-B_16.npz" \ --output_dir "./outputs" \ --img_size 224 \ --train_batch_size 256 \ --eval_batch_size 4 \ --name "exp_1" \ --eval_every 100 \ --learning ...

参考文献 FireFly: A High-Throughput Hardware Accelerator for Spiking Neural Networks With Efficient DSP and Memory Optimization, IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 10.1109/TVLSI.2023.3279349 URL: https://ieeexplore.ieee.org/document/10143752/ 其他参考资料 UltraScale Architecture DSP Slice, UG579 (v1.7) June 4, 2018 1. 通过单个 DSP48E2 进行突触交叉计算 (Synaptic Crossbar Computation by a Single DSP48E2) DSP48E2是Xilinx Ultrascale SoC中会提供的一个数字信号运算IP，基本架构在下两图所示，由三部分组成： 27位预加器 (27’b p ...

在ZYNQ 7020 PS端使用paho.mqtt实现设备侧开发连接华为云IoTDA服务 （2024-2025第六学期综合课程设计自主设计任务的一环） 参考资料 https://blog.csdn.net/thisway_diy/article/details/125557534, 【嵌入式Linux应用】初步移植MQTT到Ubuntu和Linux开发板, 韦东山 https://www.cnblogs.com/wanqieddy/archive/2011/09/21/2184257.html, Makefile 中:= ?= += =的区别, wanqi https://support.huaweicloud.com/devg-iothub/iot_02_2200.html, MQTT使用指导, 华为云 0. Ubuntu18.04 WSL准备 教程很多有手就行。 1. 前置包准备 Paho MQTT的包对多种语言都有支持，其中特别是嵌入式设备中（之前bz用过海斯Hi3861的paho-embedded-mqtt，是工程师事先构建好在OpenHarmony镜像中，用户 ...

2023 NUEDC Question C (项目链接在报告里有写的喵) <----(你喵个锤锤子)

1.注意力机制（Attention） 1.1 自注意力机制 （Self-Attention） 为了处理序列数据，自注意力采取的策略是，吃一整个序列，再根据输入的向量（一段序列）决定输出一个向量，再进入传统的FC，换言之，是考虑了整个序列之后输出一个结果。Self-Attention也可以与FC交替做很多次： 那Self-Attention如何运作？ Self-Attention块的输入可以是一开始的输入层，也可以是中间的某个hidden layer的输出。考虑了所有的输入，输出与输入长度相等的一系列向量。例如b1b^1b1考虑了a1,…,a4a^1, \dots , a^4a1,…,a4。 以上图为例，怎么产生b1b^1b1这个输出呢？ 有两种方法，其中Method 1是如今Transformer架构中用到的，也是注意力机制的主流架构，通过点积计算两向量的关联度。 应用中，把一个向量当作query（问询值），其余的所有当作key（键），进行关联度计算，得到Attention Score，再经过Softmax层进行归一化，得到最终的attention-score矩阵。（其实也不一定 ...

refs Error-backpropagation in temporally encoded networks of spiking neurons, 10.1016/S0925-2312(01)00658-0 Spatio-Temporal Backpropagation for Training High-Performance Spiking Neural Networks, 10.3389/fnins.2018.00331 神经元的脉冲在信息编码中的特点 [29] W. Maass, Fast sigmoidal networks via spiking neurons, Neural Comput. 9 (2) (1997) 279–304. · 在上述文章中，已经给出证明，脉冲神经网络可以模拟任意形式的前馈sigmoid神经元组成的神经网络。 基于这个特性，SNN可以近似任意的连续函数。SNN中单个尖峰时间传递信息的神经元比具有sigmoid激活函数的神经元计算能力更强。 脉冲，在数学上表征为一个“活人/游戏事件”，即“地点，时刻”的坐标。而且活跃（尖峰） ...

1. RNN的前向传播原理 以一个Many-to-Many的简单RNN为例(输入输出维度相等)： 每一时间单位的前向计算过程为： a<t>=f(waaa<t−1>+waxx<t>+ba)z<t>=wyaa<t>+byy^<t>=g(z<t>)\begin{aligned} & a^{<t>} = f(w_{aa}a^{<t-1>} + w_{ax}x^{<t>} + b_a) \\ & z^{<t>} = w_{ya}a^{<t>} + b_y\\ & \hat{y}^{<t>} = g(z^{<t>}) \end{aligned} ​a<t>=f(waa​a<t−1>+wax​x<t>+ba​)z<t>=wya​a<t>+by​y^​<t>=g(z<t>)​ 第一步也可以简写为： a<t>=f(wa ...

Ref: https://zh.d2l.ai/index.html 《动手学深度学习》第二版 https://www.bilibili.com/video/BV1Pa411X76s/?p=17&spm_id_from=pageDriver&vd_source=21687f13b3a0514d15ea0171e45d7ded 吴恩达机器学习Deeplearning.ai课程 https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php HUNG-YI LEE MACHINE LEARNING 2022 SPRING 对机器学习的查漏补缺 1. 模型收敛——代价函数极小：梯度下降算法（Gradient descent algorithm） 考虑一个二元代价函数： min⁡w,bJ(w,b)\min_{w,b}J(w,b) w,bmin​J(w,b) 想求得满足条件的w,bw,bw,b，则需要构建如下算法： w=w−α∂∂wJ(w,b)\begin{equation} w = w - \alpha \frac{ \p ...