🚀 极客少年 AI 探索系列 · 第 1 讲
汉字豆腐块与数字藏宝图:AI 怎么识字?
每天和我们聊天的 AI,屏幕背后其实是个“数字盲”!计算机根本看不懂汉字,它只认得 0 和 1。让我们化身小小发明家,看看它是怎么把我们的汉字切成豆腐块、又怎么用神奇的藏宝图理解词义的!
🔪 1. 汉字切豆腐机:什么是 Token?
当你在对话框里输入:“小猫在阳台上晒太阳”,大模型并不是一下子把整句话吞进去的。 它必须先掏出一把闪闪发光的小菜刀,把句子切成一小块一小块的“汉字豆腐块”(Token),并为每块豆腐发一张唯一的数字身份证(Token ID)!
🧊 交互工坊 1:汉字豆腐块切片机
🗺️ 2. 数字藏宝图:AI 如何理解词语的意思?(Embedding)
发了身份证号(比如 #1245 号)之后,AI 怎么知道这个词代表什么呢? 科学家为大模型画了一张巨大的高维词义藏宝图:
- 意思相近的好朋友住在同一个海岛上:“小猫” 和 “小狗” 住在萌宠岛!
- 八竿子打不着的词离得十万八千里:“西瓜” 和 “太空飞船” 隔着一整个大洋!
🧭 交互工坊 2:词义藏宝图探险仪
点击下方词语组合,测量它们在藏宝图上的海岛距离:
👑 神奇的词语算术题:
既然词语是地图上的坐标,那它们就能做加减法!科学家发现:
大模型就是靠这种神奇的空间规律,理解了人类语言的博大精深!
既然词语是地图上的坐标,那它们就能做加减法!科学家发现:
藏宝图位置("国王") - 位置("男人") + 位置("女人") = 位置("王后")!大模型就是靠这种神奇的空间规律,理解了人类语言的博大精深!