ByteCat

从头预训练一只超迷你LLaMA3。

评估部分，只需要看模型整体的知识掌握程度即可。

训练部分，自研pretrain模型如何训练。

数据部分，自研pretrain模型如何准备数据集。

背景部分，自研pretrain模型的意义有哪些。

大模型在部署的时候，肯定离不开一个概念，叫显存占用。这里主要来看怎么计算大模型的显存占用。

从huggingface模型仓库下载大模型文件和代码。

探讨大模型token分词技巧与词向量的构建，了解其工作原理。

奇妙的涌现现象以及通用人工智能的曙光。

本文介绍什么是端到端的自动驾驶，以及它的优点和缺点。