模型训练之分布式训练
什么是分布式训练分布式训练是指利用多台机器/多个GPU协同训练神经网络模型的技术，主要解决：单机显存不足的问题 训练速度...
模型蒸馏技术的应用
模型蒸馏是一种将大型模型(教师模型)的知识迁移到小型模型(学生模型)的技术，可以在保持性能的同时大幅减小模型大小...
模型SFT全量微调与LoRA微调
全量微调(Full Fine-tuning)和LoRA(Low-Rank Adaptation)是两种常见的模型微调方法，各有优缺点和适用场景...
如何计算训练模型所需要的算力
计算模型训练所需的算力需要考虑模型参数量、训练数据量、batch size、训练轮次等多个因素...
小样本验证训练方法
在资源有限的情况下，如何设计实验来验证训练方法的有效性是一个重要问题...
深入理解BP神经网络
BP(Back Propagation)神经网络是最基础的前馈神经网络，理解其工作原理对掌握深度学习至关重要...
深入理解Transformer架构
Transformer架构已成为NLP领域的基石，其自注意力机制彻底改变了序列建模的方式...
什么是混合精度训练
混合精度训练是一种同时使用FP16和FP32数据类型的训练技术，可以显著减少显存占用并提高训练速度...
什么是MSRA初始化
MSRA初始化(又称He初始化)是由微软亚洲研究院(MSRA)的Kaiming He等人提出的一种神经网络参数初始化方法...
图像生成技术对比
CLIP与GAN/VAE/Diffusion结合的不同图像生成技术对比分析，各有特点和适用场景...
MPS与CUDA加速差异
分析在相同训练条件和代码下，MPS(Apple芯片)和CUDA(NVIDIA显卡)加速导致不同训练结果的原因...
PyTorch主要使用
PyTorch框架的核心功能和使用技巧，包括张量操作、自动微分、模型定义和训练循环等...
