Chatgpt从0到1 李佳芮
[[ 【极客时间】李佳芮:ChatGPT 从0到1.pdf ]]
chatgpt能做什么
- 一问一答式的内容生成。
- 虽然它可能一本正经地胡说八道,但大部分时候的回答很有参考价值。
- 完美理解我们的文字和问题
- 只有我们想不到,没有它答不出来的。
- 持续对话,上下文理解和处理
- 一直问,往广度,深度问都可以
G P T分别指什么
Generative 生成式
自发生成内容
Pre-training 预训练
大规模的语料库上进行 [[ 无监督学习 ]]。 就像人经过技能培训后,就可以解决问题一样。
- 监督学习
- 有标签数据
- 直接反馈
- 预测结果
- 无监督学习
- 无标签
- 无反馈
- 寻找数据中隐藏的结构
- 强化学习
- 决策过程
- 奖励机制
- 学习一系列的行动
Transformer 变换模型
基于自注意力机制的神经网络结构。 注意力机制
技术原理
通过预训练,它在生成回答的时候,就具备了预测下一个词的概率分布。所以我们使用的时候能看到,它的回答是一个字一个字蹦出来的。
chatgpt的技术原理,本质是猜概率
两种文字模型区别:
- BERT
- 双向语言模型
- 猜中间的字,像完形填空
- GPT
- 单向语言模型
- 猜下一个字,像写作文
两种提示方式:
- fine-tuning
- 调参。针对已经预训练好的模型,可以进行微调。
- prompt
- 提示词。在问题中,加入特定的关键词、短语或句子,限定主题、语调
- 对用户而言,我们使用的是zero shot prompt。比如跟gpt说,给我写一首诗,我们无需向他解释什么是诗,它已经知道。
- gpt模型侧用的是few shot prompt。
- 另一个角度考虑,embedding接口,其实是zero shot,因为我们给他一个文本,就返回描述的向量数据了。而competing接口,其实可以用few shot,比如先举几个例子,然后让它给我们回答一个新的问题的答案。。
一个关键概念
chatgpt的前世今生
- 分析型ai
- 比如抖音的推荐算法
- 生成式 ai,也就是 AIGC
- AIGC的构词,模仿UGC、PGC和OGC的区别
- 生成类型
- 文本
- 代码
- 图片
- 语音
- 视频和3d模型
- 以前的chatbot
- 划分专门的领域,比如sir,小爱同学
- 意图和词槽slot
- 现在的chatgpt
- 大语言模型+prompt,就能得到结果
- 通用型,全能选手 ! [[ Pasted image 20230329192147.png ]]
OpenAI
非常创新的股权架构:从非盈利性组织,转型成『利润上限』公司。 非常好地权衡了理想和现实。
自然语言编程 - prompt engineer
学会如何提问,清晰表达自己的想法。必要的时候,给example。