精选资源:大语言模型(LLMs)
最后更新于 2024-05-11 22:40:00
这是一个系列,收集不同领域相关的精选(高价值)内容,包括深入分析文章、视频、工具等。
探索一项新兴技术出现的背景、动机,尤其是其背后的设计哲学,更甚的是在不断的版本演进过程中遇到了什么问题,产生了什么思考,以及是如何决策并得到最优解。
自从 2022 年底 OpenAI 发布 ChatGPT 以来,过去的一年(2023)AI 领域再度爆发热潮,这一次大语言模型(Large Language Model, LLMs) 技术成为大家关注的核心。了解相关技术,探索其背后的技术原理和工程化技巧,为构建 AI 应用做好准备。
首先,什么是大语言模型(LLMs)?
提示词工程
快速上手使用类 ChatGPT 应用需要了解提示词工程(Prompt Engineering) 这一概念,通过不断的调整提示词来获得更好更接近预期的结果。
维基百科:
学习提示词工程:
社区优秀的提示词模板案例:
机器学习
大语言模型背后是机器学习(Machine Learning) 领域的技术,为了更好的理解其技术原理,需要补充一些前置概念知识。
SOTA
如何评估一个模型的好坏,State-of-the-Art(SOTA) 模型?
Scaling Law
Scaling Law 是基于模型训练方面的实践经验的总结,代表损失(模型性能)与模型参数数量、数据集大小和用于训练的计算量呈幂律(power-law)关系,为大模型的设计和训练提供了理论指导。
Embeddings
机器通过嵌入(Embeddings) 技术来理解高维数据,例如文本、图像、音频、视频等等。
Transformer
目前,大语言模型基本上都属于 Transformer 模型,而 Transformer 是一种基于注意力机制的神经网络(neural network)架构,它在自然语言处理(NLP)任务中表现出色。
Fine-tune
大语言模型通常都是基于大量的数据集进行训练的预训练模型(Pre-trained models),出于保证合规的目的,为了过滤掉一些有害信息,通常都会对模型做进一步微调(fine-tune),以让其生成更符合预期的结果。同时,微调是基于通用模型训练专有模型的重要方式。
微调的技术有很多,列举一些比较常见的。
SFT
通常,语言模型的初始训练是无监督的,但微调是有监督的。有监督微调(Supervised fine-tuning)意味着使用标记数据更新预先训练的语言模型来完成特定任务,所使用的数据已提前检查过。
- What is supervised fine-tuning?
- Fine-tuning large language models (LLMs) in 2024
- Understanding LLM Fine Tuning with LoRA
偏技术性的:
一种特殊的微调技术,指令调优(Instruction Tuning):
业界论文:
RLHF
通过训练奖励模型(reward model),以强化学习(Reinforcement Learning) 的方式对语言模型做进一步的微调是 ChatGPT 获得成功的重要因素。
MoEs
大部分大语言模型都属于密集模型(dense models),参数量级越大计算(推理)成本越高,速度越慢,消耗的硬件内存也更大,为了应对这类问题,出现了一种新的模型架构,即混合专家(Mixture of Experts, MoEs)架构。
最后,基于以上这些概念,可以了解下 ChatGPT 的工作原理。