ByteCat

Pytorch中模型的保存有两种方法，第一种是只保存参数，第二种保存整个模型(结构+参数)。由于保存整个模型将耗费大量的存储，故官方推荐只保存参数，然后在建好模型的基础上加载参数即可。

PyTorch中使用GPU会复杂一些，但这也意味着对GPU资源更加灵活高效的控制。

权值初始化的目的是防止层激活输出在深度神经网络的正向传递过程中爆炸或消失。

搭建好了模型，选好了损失函数和优化器就可以执行训练了。

网络模型中的参数model.state_dict()其实是以字典的形式保存下来的。

使用Autograd可实现深度学习模型，但其抽象程度较低，如果用来实现深度学习模型需要编写的代码量极大。torch.nn模块应运而生，它们是专门为深度学习设计的模块。

PyTorch与Python、Numpy等最大的区别在于自动求导机制，这种机制为神经网络训练过程中的梯度计算而特别设计。在PyTorch中，Autograd是所有神经网络的核心内容，为Tensor所有操作提供自动求导方法。

Tensor（张量）是神经网络框架中重要的基础数据类型，可以简单理解为N维数组的容器对象。Tensor之间的通过运算进行连接，从而形成计算图。几乎所有的深度学习框架都是基于张量和计算图的，PyTorch也不例外。

PyTorch是当前难得的简洁优雅且高效快速的框架，可以说它达到目前深度学习框架的最高水平。

有导师学习算法将一组训练集送入网络，根据网络的实际输出与期望输出间的差别来调整连接权。