首页 / AI 课程 / 拆开大模型的大脑:AI 到底是怎么思考与聊天的? / 【第 2 讲】福尔摩斯的放大镜:神奇的“注意力机制”!
🚀 极客少年 AI 探索系列 · 第 2 讲

福尔摩斯的放大镜:神奇的“注意力机制”!

孤零零的词语就像散落一地的拼图积木。大模型是怎样把一整句话的线索串联起来、猜出故事全貌的?欢迎走进 Transformer 的核心魔法:自注意力侦探所!

🕵️‍♂️ 1. 破案小谜题:“它”到底是指谁?

来看看这个考眼力的小句子:
“调皮的小猴子把金黄的香蕉放在石板上,因为它真的太饿了。”
请问:“它”到底是指小猴子,还是指石板?

我们人类一眼就能看出:石板是石头,怎么可能会喊饿呢?饿的当然是小猴子啦! 但电脑怎么懂?大模型使用了 Self-Attention(自注意力机制):让句子里的每个词都自带一把放大镜,向全句扫描所有和自己相关的词语!

🔍 交互工坊 1:代词消解大侦探现场

“调皮的 小猴子 把金黄的香蕉放在 石板 上,因为 它 真的太饿了。”

👥 2. 多头注意力小分队:神探小队一起出动!

如果 AI 只有一个侦探,他一次只能看一条线索。 所以现代大模型设计了 Multi-Head Attention(多头注意力机制)——就像一个拥有超能力的侦探小分队,几个人分工合作,同时阅读同一句话!

🦸 交互工坊 2:点击认识多头侦探小分队
语法巡警: “我专门盯紧动词和主语!谁在跑?谁在吃?保证句子的骨架没有搭错!”
💡 极客冷知识:
侦探小分队同时工作,几千个字在毫秒间就被彻底读懂,这也就是为什么大模型比以前的老算法聪明一千倍的秘密武器!
← 上一讲:1. 豆腐块识字 📚 查看课程主目录 下一讲:3. 通读与学礼 →