神经网络从零开始怎么学：7 个 Jupyter Notebook 带你手写反向传播和语言模型

神经网络从零开始怎么学7 个 Jupyter Notebook 带你手写反向传播和语言模型【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero跟教程学过几次神经网络代码能跑通反向传播却仍然像黑盒这个仓库就是 Karpathy 课程《Neural Networks: Zero to Hero》的配套代码用 7 个 Jupyter Notebook 从零手写反向传播、字符级语言模型和卷积网络每一步都能直接运行验证适合想真正搞懂原理的初学者。 价值定位这是Neural Networks: Zero to Hero课程的代码仓库7 个 notebook 覆盖标量求导、微型自动求导、bigram 与 MLP 语言模型、BatchNorm、手写反向传播和类 WaveNet 卷积网络每节视频都配可运行代码。它适合有 Python 基础、想弄清反向传播和语言模型怎么训练的人。 开始前准备环境装好 Python 和 PyTorch并能在 Jupyter 中运行 .ipynb 文件数学会基本微积分知道求导和链式法则即可不需要更深语言熟悉 Python 基本语法能读懂列表推导和字典工具会用 Jupyter Notebook 逐格运行代码顺序先完成 micrograd 的两个 notebook再进入 makemore 系列️ 内容地图micrograd手写反向传播的两个 notebook讲什么从手推函数求导、数值微分验证到逐步搭出一个微型 autograd 引擎分上下两集适合谁只学过 Python、想彻底理解求导和梯度流动的人入口文件micrograd_lecture_first_half_roughly.ipynb、micrograd_lecture_second_half_roughly.ipynbmakemore 前 3 篇bigram 到 BatchNorm讲什么先实现 bigram 字符级语言模型并理解 torch.Tensor再升级成 MLP 模型学习训练、学习率与数据集划分最后检查激活值与梯度统计并加入 BatchNorm适合谁跑完 micrograd、想用 PyTorch 训练第一个语言模型的人入口文件makemore_part1_bigrams.ipynb、makemore_part2_mlp.ipynb、makemore_part3_bn.ipynbmakemore 后 2 篇手写反传与卷积网络讲什么不调用框架自动求导手动沿嵌入表、tanh、BatchNorm、两层线性反向传播再把两层 MLP 加深成类 WaveNet 的树状卷积结构并附训练性能记录适合谁已会 PyTorch 基础、想看懂梯度如何逐层流动的人入口文件makemore_part4_backprop.ipynb、makemore_part5_cnn1.ipynb 推进路线跑通 micrograd 上集 notebook用数值微分验证手算导数一致完成 micrograd 下集 notebook写出可自动求导的微型 autograd 引擎训练 makemore 第 1 篇 的 bigram 模型确认损失曲线持续下降做完 第 2、3 篇得到一个 MLP 模型并学会用激活值统计诊断网络健康度进入 第 4、5 篇手动反传一遍再加深网络在 notebook 里记下 train/val 损失变化⚠️ 避坑清单训练 loss 不下降或发散→先调小学习率再检查数据读取和梯度更新是否正确训练集 loss 低、验证集 loss 高过拟合→缩小模型或加大正则深层网络训练不稳、梯度忽大忽小→检查各层激活值与梯度统计引入 BatchNorm手写反向传播结果对不上→逐层核对导数公式从 loss 开始一层一层推多维张量 shape 对不上→在每层显式打印张量形状再对齐 技术栈一览Python全部课程代码的语言Jupyter Notebook7 个 .ipynb 的运行环境PyTorchmakemore 系列的深度学习框架含 torch.Tensor 与 nnNumPymicrograd 系列的科学计算Matplotlibmicrograd 系列中的函数与梯度可视化clone 仓库后先打开 micrograd 第一个 notebook逐格运行从函数图像开始看起。【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考