Documentation of the first paper revision
💡谨以此篇博客,献给一年级苦逼重写论文的我,也献给之后要写论文的各位
规则怪谈
不要写长难句(这不是出考研卷子,对读者好一点),一句话最多带一个从句。
保证每一个段落、每一个句子,都是有衔接,有承上启下(原话:我看到你的上一句,脑自己就能想到下一句你要说啥,并且我看到你的下一句跟我想的不一样的话,我就要gank你了…)。
锦囊妙计
Abstract (抽象) 怎么写
Cloud Computing
写在前面
任课教师:罗亮
参考教材:?
评分标准:Essay
Linux Advanced Programming (Linux环境高级编程)
写在前面
任课教师:刘杰彦
参考教材:?
评分标准:NaN
知识点总结
习题
Finite Automaton Theory(有限自动机理论)
写在前面
任课教师:陈文宇
参考教材:?
评分标准:NaN
知识点总结
习题
Statistical Learning Theories and Applications (统计学习理论与应用)
写在前面
任课教师:文泉
参考教材:李航,统计学习方法(第2版),清华大学出版社,2019
评分标准:
1 Final Exam 50%: Open book test in two hours.
2 Projects 40%: Four projects (Regression, SVM, MLP, and Adaboost).
3 Presentation 10%: Presentation of new topics of machine learning by students).
知识点总结
Combinatorics (组合数学)
写在前面
任课教师:杨国武、卢光辉
参考教材:《组合数学及其应用》,清华大学出版社
知识点总结
符号表
符号
含义
N\mathbb{N}N
自然数集合
第一章-排列、组合与二项式定理
第二章-容斥原理
习题
Chapter 1
Tricks for DeepSNN Learning
写在前面
这是可以说的吗🫣🫣🫣
Efficient Training
调超参的时候可以先试试用Imagenet的100类试试,调的差不多了再上全部。
SNN Transformer Training
Transformer的常用Base lr是1e-4,adamw下是1e-4到6e-4之间,lamb可能需要再精调。adamw的前期收敛性太强了建议学习率linear warmup,用log怕炸
C-Optim
stdconv -> adaptive_clip clip_grad=0.02
正常的linear就torch自带的clip clip_grad=1 or 5
FasterViT?
Spike-driven Transformer V2/V3
检测与分割:除了backbone都是整数不norm
卷积算子貌似和整数(不带norm)很适配、attention貌似很和小数(带norm)适配
Spike-driven Transformer V1
About Finetuning SDT-V1 (Contributed by Qian S., 2025-04-28)
v1没有提 ...
DeepGEMM-Beginner
写在前面
没错 这是一个新坑
为什么要做DeepGEMM的探索
某位师兄的MoE训练成本太高了,不得不借鉴Deepseek的FP8训练策略。于是我就来研究DeepGEMM了…
使用的算力平台
某超算中心(H20 Slrum)
环境配置
翻阅DeepGEMM的Github, 官方给出了所需的运行环境:
1234567Requirements- Hopper architecture GPUs, sm_90a must be supported- Python 3.8 or above- CUDA 12.3 or above- But we highly recommend 12.8 or above for the best performance- PyTorch 2.1 or above- CUTLASS 3.6 or above (could be cloned by Git submodule)
除了CUTLASS,其他的模块在超算中心中的modulelist中都能找到,这里我使用的配置是:
gcc_compiler10.3.0 cuda-12.4 cmake-3.24.0rc4 ...
My First Step in Bioinformatics
Refs
scPROTEIN(single-cell PROTeomics EmbeddINg): A Versatile Deep Graph Contrastive Learning Framework for Single-cell Proteomics Embedding [Github Link]