10篇文章 · 5265字 · 1人关注
-
大语言模型的几个关键概念
人工智能中的大型语言模型(LLM)微调的几个关键概念和方法： 【预训练与微调的区别】预训练是通过自监督学习在大量非结构化文本数据上训练LLM，而...
-
AI?Agent?会是下一个爆发式的应用吗？
（本文编译自 Lilian Weng 的个人博客） OpenAI 的联合创始人 Andrej Karpathy 在近期的一次公开活动上提到“相比...
-
RETNET基础架构，不是变革，是优化
清华和微软研究院提出的RETNET基础架构，不是什么变革，而是优化 它的优化就在于，可以同时实现训练并行性、低成本推理和良好的性能，让当前的训练...
-
大语言模型7：注意力机制让模型可以变得很“大”
大语言模型有这波的爆发，起源于Transformer架构，而这个架构最核心的就是“自注意力机制”所带来的并行计算，使得大家可以用非常大的数据集来...
-
大语言模型6：大模型在技术上没有巨大的突破
虽然这一次的生成式AI在效果上突破了人们的预料，效果已经达到了我们无法想象的地步。 但是，从技术演进的角度，似乎平平无奇，只是一个问题接一个问题...
-
大语言模型5：LLM是通用人工智能的曙光？
在GPT火出来以前，人工智能最成功的应用就是计算机视觉，比如我们都知道的人脸识别，更广泛的图像识别已经成功进如商业领域应用（自动驾驶）。 但是，...
-
大语言模型4：预训练和微调有什么区别？
大模型的预训练和之后的微调，完全不是一回事。 预训练是训练出一个已经摸清了各种语言特征规律以及人类知识的模型，并且用参数来固定这些已经学习的东西...
-
大语言模型3：参数
为什么大家都在看大模型的参数量呢？ 现在出来一个大语言模型，除了看训练量（token数），核心就是看这个预训练的模型的参数量是一个什么规模，比如...
-
大语言模型2
大语言模型所处的领域，叫自然语言处理（NLP），也就是机器处理人类的日常的语言，这里有一个最大的难度，也是NLP用十几年的时间走的一个弯路—— ...
