LLM 发展历程

第一阶段

最开始出现在人们眼前的并非 GPT-3，而是更早的 BERT(2018)、GPT(2018)和 GPT-2(2019)。 但 GPT-3 (2020)确实是第一个展现出惊人能力的大规模语言模型。 那个时候大家把它当做聊天助手玩儿， 玩儿着玩儿着，感觉不对劲了， 开始发现这东西有点儿牛逼，好像跟若干年前的"人工智障"不一样了。

但随着玩儿的人多了，玩儿的深了，发现这玩意儿也有局限性，比如：

  • 有问必答，即使不确定也会给出答案
  • 输出不稳定，相同输入可能得到不同结果
  • 回答不准确，容易产生幻觉(hallucination)
  • 需要海量训练数据和计算资源

但这些并不妨碍它成为里程碑式的产品。

有局限性，就有解决局限性的需求，于是，催生出了两个方向的优化：

  1. 优化模型本身
  2. 优化模型使用方式

第二阶段

优化模型本身还能再拆：

  1. 架构优化：MoE(Mixture of Experts)架构、Transformer 变体
  2. 训练优化：RLHF(基于人类反馈的强化学习)、CoT(思维链)训练、指令微调(Instruction Tuning)

优化模型使用方式也能再拆：

  1. Prompt Engineering
  2. Fine-tuning 和 LoRA 等参数高效微调方法

也就有了很长一段时间的主基调：

  • 大厂卷参数、模型
  • 中小厂卷 fine-tuning
  • 个人卷 prompt engineering

还真别说，这玩意儿还真就卷起来了，输出稳定多了，用法也多样化了，
人们慢慢开始意识到，大模型更像一个饱读经书的学者，而

  • 大厂不断产出更牛逼的学者
  • 中小厂教会学者业务
  • 个人让学者掌握自己的方法论、SOP

第三阶段

大模型接触到外部数据了，
联网、数据库、PDF、Word 文档、图片、视频...啥都行。
借助实时数据，大模型有如神助，这条路走对了：
大模型的核心在于快速吸收、整理总结、归纳提炼、解决问题的能力，而不是仅仅基于训练数据的"高级聊天机器人"。
客观讲，它是工具；哲学点儿，它就是助理、agent的概念被人们第一次搬上台面。
与此同时就是基于外部数据库的 RAG 架构，让大模型高效、高质检索外部数据。
回看模型本身，从原来的区区 2048 个 context 长度，卷到 32k、128k、256k...
无不是冲着让模型更好的 RAG 去的。

第四阶段

结合 fine-tuning、prompt engineering 和 RAG 的技术积累，Agent 范式逐渐成型。 通过系统化训练和 CoT(思维链)推理，Agent 能够理解任务、检索信息、分析整合、规划方案。 随着 Function Calling 能力的加入，Agent 获得了调用外部工具的能力， 这让它们能够执行更复杂的任务链和自动化流程。