Home / AI Courses / 拆开大模型的大脑:AI 到底是怎么思考与聊天的? / 【第 1 讲】汉字豆腐块与数字藏宝图:AI 怎么识字?
🚀 极客少年 AI 探索系列 · 第 1 讲

汉字豆腐块与数字藏宝图:AI 怎么识字?

每天和我们聊天的 AI,屏幕背后其实是个“数字盲”!计算机根本看不懂汉字,它只认得 0 和 1。让我们化身小小发明家,看看它是怎么把我们的汉字切成豆腐块、又怎么用神奇的藏宝图理解词义的!

🔪 1. 汉字切豆腐机:什么是 Token?

当你在对话框里输入:“小猫在阳台上晒太阳”,大模型并不是一下子把整句话吞进去的。 它必须先掏出一把闪闪发光的小菜刀,把句子切成一小块一小块的“汉字豆腐块”(Token),并为每块豆腐发一张唯一的数字身份证(Token ID)!

🧊 交互工坊 1:汉字豆腐块切片机

🗺️ 2. 数字藏宝图:AI 如何理解词语的意思?(Embedding)

发了身份证号(比如 #1245 号)之后,AI 怎么知道这个词代表什么呢? 科学家为大模型画了一张巨大的高维词义藏宝图:

  • 意思相近的好朋友住在同一个海岛上:“小猫” 和 “小狗” 住在萌宠岛!
  • 八竿子打不着的词离得十万八千里:“西瓜” 和 “太空飞船” 隔着一整个大洋!
🧭 交互工坊 2:词义藏宝图探险仪

点击下方词语组合,测量它们在藏宝图上的海岛距离:

👑 神奇的词语算术题:
既然词语是地图上的坐标,那它们就能做加减法!科学家发现:
藏宝图位置("国王") - 位置("男人") + 位置("女人") = 位置("王后")!
大模型就是靠这种神奇的空间规律,理解了人类语言的博大精深!
📚 查看课程主目录 下一讲:2. 注意力侦探 →