🚀 极客少年 AI 探索系列 · 第 3 讲
大模型的修仙两步曲:通读藏书与拜师学礼!
刚诞生的大模型大脑里一片空白,就像一张干净的白纸。它是怎么学会古今中外的知识,又是怎么从一个说话不着边际的“野蛮学霸”变成懂礼貌的贴心 AI 助手的?一起来看大模型的修仙传奇!
📜 1. 第一步:文渊阁闭关通读藏书(海量预训练)
在修仙的第一阶段,大模型要闭关通读文渊阁藏书——也就是全人类互联网上的万亿篇文章、代码、百科与故事! 它一边读,一边在心里玩文字接龙:“猜猜下一个字是什么?” 只要猜错了,它就会被罚在“误差大雪山”上滑下来一小截,把脑子里的上千亿个数学小旋钮微调一点点!
⛷️ 交互工坊 1:误差雪山大滑梯(梯度下降小实验)
点击按钮让大模型读一亿篇文章,观察误差雪球怎么滑到谷底:
🏫 2. 第二步:出关拜师学礼仪(指令对齐微调)
读完万卷书后,大模型满腹经纶。但这时候它还不能当助教! 为什么呢?因为你问它:“帮我算一下 12 + 15 是多少?”,它可能顺着往下编:“是一道小学二年级数学期中测试卷第五题...”,根本不明白应该停下来认真帮你解答! 所以,它必须去“AI 礼仪学校”接受人类老师的专门指导:
🦁 藏书狂魔 (基座模型)
只知道顺着文字漫无边际地往下续写,不懂什么叫“回答提问”,脾气像个野蛮的小神童。
🌟 文明助教 (对齐模型)
在礼仪学校学会了倾听要求,不仅耐心帮你写诗解题,而且遇到危险有害的请求会果断踩刹车!