ByteCat

sparrow框架之core模块介绍。

用Python语言从零开始搭建一个基于计算图的深度学习框架，通过建造来达成理解。

torchvision.models中包含有很多常用的网络结构，并且提供了预训练模型，可以直接调用。

可视化工具可以有效的帮助人们理解深度网络并进行有效的优化和调节，一般包括张量的可视化和训练过程的可视化两部分。

在解决深度学习问题的过程中，往往需要花费大量的精力去处理数据，包括图像、文本、语音或其他二进制数据等。数据的处理对训练神经网络来说十分重要，良好的数据处理不仅会加速模型训练，也会提高模型效果。

如果要直接使用fp8量化保存的模型做推理，需要检查该类型支持情况.

在模型训练完成后可以考虑对冗余的权重进行裁剪.

转换数据类型，降低权重大小。

在介绍完模型的保存与复用之后，实现网络的追加训练就很简单了。最简便的一种方式就是用之前训练的网络权重参数初始化网络继续进行训练即可。

Pytorch中模型的保存有两种方法，第一种是只保存参数，第二种保存整个模型(结构+参数)。由于保存整个模型将耗费大量的存储，故官方推荐只保存参数，然后在建好模型的基础上加载参数即可。