位置：AI门户网 > AI技术 > AI框架 > 从零写AI框架：一份给开发者的实战入门手册

从零写AI框架：一份给开发者的实战入门手册

来源：AI门户网时间：2026/3/25 22:11:17 共 3152 浏览

self.w = Tensor(np.random.randn(in_features, out_features)*0.01, requires_grad=True)

self.b = Tensor(np.zeros(out_features), requires_grad=True)

def __call__(self, x):

return x.dot(self.w) + self.b # 这里假设我们已经实现了dot运算

```

然后，我们可以像搭乐高一样，把多个层组合成一个顺序模型：

```python

class MyMiniModel:

def __init__(self):

self.layers = [

Linear(784, 128),

ReLU(), # 假设也实现了ReLU激活函数层

Linear(128, 10)

]

def __call__(self, x):

for layer in self.layers:

x = layer(x)

return x

```

模型能输出预测了，我们需要衡量它预测得好不好，这就是损失函数（比如交叉熵损失）。损失函数的输出是一个标量Tensor，它就是整个计算图的终点，也是我们启动反向传播的触发器。

有了梯度，怎么更新参数？优化器登场。最简单的就是随机梯度下降（SGD），它的逻辑直白得可爱：`参数 = 参数 - 学习率*梯度`。

```python

class SGD:

def __init__(self, params, lr=0.01):

self.params = [p for p in params if p.requires_grad]

self.lr = lr

def step(self):

for p in self.params:

p.data -= self.lr*p.grad # 核心更新步骤

def zero_grad(self):

for p in self.params:

p.grad = None # 重要！每轮训练前需清空上一轮的梯度

```

现在，万事俱备，只差一个训练循环把它们串起来。这个循环是每个深度学习开发者最熟悉的节奏：

1.前向传播：输入数据，得到预测和损失。

2.清空梯度：调用 `optimizer.zero_grad()`。

3.反向传播：调用 `loss.backward()`，梯度填满计算图。

4.参数更新：调用 `optimizer.step()`，模型朝着减少损失的方向迈出一小步。

重复这个过程几十、几百个“轮回”（Epoch），你会惊喜地发现，损失在下降，模型开始变得“聪明”了。

为了让你对搭建过程有个全局视角，我梳理了一个简易的路线图：

阶段	核心任务	关键产出	可能遇到的“坑”
:---	:---	:---	:---
第一阶段：奠基	实现Tensor类，支持基础运算（add,mul）	可进行数值计算的对象	理解值存储与梯度存储的分离；正确实现`__repr__`方便调试
第二阶段：注入灵魂	实现自动微分系统（Autograd）	具备`backward()`方法，能计算标量对张量的梯度	梯度累加的逻辑；处理广播（broadcasting）情况下的梯度传播
第三阶段：搭建积木	实现常用网络层（Linear,ReLU）和损失函数（MSE,CrossEntropy）	可以组装出完整的神经网络	矩阵运算的维度对齐；损失函数数值稳定性处理（如logsoftmax）
第四阶段：闭环运行	实现优化器（SGD）和训练循环	一个能完成从数据到模型更新的完整流程	学习率设置；梯度爆炸/消失的初步感知；正确地在每个epoch前清零梯度