2026年方向上的规划

从上一篇对25年的工作总结来看，上次的工作就可被看作，”利用当前的大模型来做一些应用工作上的探索”，即大模型的应用。随着工作方向的转变，今年26年，应当是针对当前大规模参数模型的相关内容进行熟悉、了解与深入。

从当前讨论的内容来看，大致可以分为三个方向：

接下来针对每一个部分大致讲一下是什么，以及会以什么方式来熟悉。

大规模参数深度学习模型技术

当前深度学习技术的发展，似乎更多是硬件性能的发展和可堆叠结构，以及以往大量数据存储共同努力的结果，也被叫做”Scaling Law”规则，从形式上看，首先计算量大，参数规模大，数据量需求多。

与之前的“传统”深度学习模型(如CNN，RNN，GNN)相比，当前的模型的一个特点就是参数规模大，数据规模大，对应的，性能较强。性能较强，从直观理解能力来看，就是只要你输入一段话，它就能够预测下一段文字，反复输出，这个基本上是符合互联网给定的信息资源的。

更具体地，当前一个大规模参数模型，主要有三个阶段：预训练，有监督微调(SFT)和强化学习(RL)。每一个步骤分别的目的是：

更通俗易懂来看：

第一阶段，模型能够针对任意给定的文本去预测下一个文字，且比较精准。这里面就包含了各种文字上的任务，但都被归结为Next Token Prediction。而从形式上来看，这是一个生成式模型，类似VAE，有decoder和encoder，也有不同的组合，但常见的是decoder-only架构。
在第二阶段，模型通过给定的一些特殊类型的模板任务，如对话任务，总结任务，分类任务，续写任务等等，在这些专有数据上进行微调，使其能够有对应内容的能力。比如常见的对话模型，就是通过给定一问一答，user-assistant的交互式方式来构建对应的数据集。
在第三阶段，则是模型与环境交互，通过给定一些奖励函数(Reward Function)，告诉模型哪些是好的，哪些是不好的，以此来调整在这些环境中的行为。比如多轮对话，此时已经没有已有的数据，需要模型自主探索环境来输出符合奖励函数的行为(文字)。

这一块是当前比较多研究的热点，比如，如何能够更好地训练出对应的效果，优化器的优化；什么数据是更高质量，数据上的优化；是否还有更好的结构，这是结构上的优化。等等。

对于这一块内容的安排，在25年已经看到了很多相关的课程，类似CS336，Tiny系列的小模型的探索，相信在26年，应该会有更精简的模型和教程出现。

从应用角度来看，实际上预训练这一块的成本仍然比较高，而且当前同质化比较明显，所以这一块主要以熟悉，了解为主，创新可能是相对困难的，因为成本在那，但是这个流程走通还是很有必要的。

而与之相对的，在大规模参数下，模型运行则需要大量的计算，实际上不管是训练还是推理，都需要进行优化。

比如训练优化，数据上的优化，优化器的优化，训练的范式的调整，分布式训练，甚至是一些模型结构的变化，理论工作等等。

比如推理优化，如何使其能够推理得更快，如何使其能够让多个用户使用，增强吞吐量等等。

当前这一块的工作有很多，而且虽然有一些教程性质的，但本身这些领域还在快速发展，而且并不只是大语言模型有训练推理需求，其他的类似扩散模型，甚至是现在的全模态模型也有类似的需求。

总之，这一块，也是需要去了解，因为一个模型要能够使用，能够快速生产，快速推理少不了。

前面的内容主要是深度学习技术本身的讨论，而后续今年，估计还会做一些关于应用层面上的讨论。

对于这一块，实际上真正要讨论的是，业务建模，数据建模等相关的内容，我估计内容也不会特别多。

感觉可能会稍微梳理一下，业务上的建模，以及数据相关的工程上的内容。因为这一块涉及到的更多是业务流程上的构建，并没有一个比较直接的内容，而且之前稍微了解过，这一块内容存在的最大的难题就是数据获取难度大，人工标注成本高，模型生成质量低。

所以今年可能会稍微讨论一些，结合人工标注和生成式AI生成，把这三个流程给梳理清楚：

本身这一块应该算是产品上的工作，针对业务上的需求定产品指标，然后看看业务上是否能够获取相关的数据，甚至需要针对数据进行数据分析，数据挖掘等相关的分析，然后再给到一些模型的反馈。

不过本身应用上就需要有相关的内容，也包括线上反馈等等。这一块，当做一个常规的工作即可。

那么对于这一块的了解和熟悉，则主要是来自工作上的归纳总结，通过对工作流程上的观察和记录，梳理出一条这一块方面的流程，这一块就算是完成了。