大語言模型是鬼、兩種工具、組織混亂裡的 AI
Weekly I/O #117：LLM 是鬼魂不是生物、功能型和參與型工具、慘痛教訓或垃圾桶、介面幫助看見與表達、為缺乏勇氣找藉口
嗨，朋友們，
這是你每週的輸入與輸出。學習愉快！
透過預測測試效應（forward testing effect）幫你吸收的更好
輸入
這是我這週學到的東西。
1. 大型語言模型（LLM）像鬼魂，而不是生物。它們是在網路上模仿人類資料訓練出來的數位實體，而非透過演化。這個差異形塑了它們能做什麼與不能做什麼。
Podcast：Andrej Karpathy — AGI 離我們仍有十年之遙
我們用大型語言模型創造的，是哪種智慧？
LLM 是數位實體。它們透過模仿網路上的人類資料來進行訓練。Karpathy 稱之為「蹩腳的演化」，但這是在我們現有技術下，創造智慧實際上可行的版本。
動物的演化則不同。演化在數百萬年間，將能力「寫入」（baked into）牠們的硬體中。一隻斑馬出生幾分鐘後就能跑。那種能力是內建的，不是學來的。（我相信好奇心也是如此。）
但我們並不是用那套演化過程來打造 AI。
Karpathy 對於從動物身上汲取靈感抱持遲疑態度，因為 AI 沒有相同的基礎。打造出像動物一樣運作的系統會很棒（Sutton 的觀點），但那並不是動物實際的運作方式。動物仰賴演化的方式是我們無法複製的。
取而代之的，我們正在打造的，是透過壓縮和模仿人類產物來學習的數位實體。
這是一種根本上不同形式的智慧。理解這個差異，有助於我們對 AI 目前能做什麼和不能做什麼，建立切合實際的期望。
「鬼魂」這個比喻也提醒我們，LLM 很強大，但與生物機制是脫鉤的。它們沒有身體，不會在物理空間中活動，也不像演化生物那樣體驗世界。
我認為 LLM 正在經歷一種慢得多的天擇形式，由人類將他們的偏好施加在 LLM 的特性上。在這種情況下，演化壓力 (selection pressure) 來自於頂尖 AI 實驗室如何解讀和預測他們使用者的偏好。同樣重要的是要記住，演化的成功只用生存和繁衍的標準來評判一切，完全不考慮個體的痛苦與幸福。
2. 兩種工具：一種是像魔法按鈕那樣為你代勞的「功能型工具」，另一種是像小提琴那樣幫助你親自掌握工作的「參與型工具」。挑選工具時，問問自己：你需要的是結果，還是理解？
Podcast：Linus Lee - Engineering for Aliveness - Jackson Dahl
每種工具都落在一個光譜的某處。
一端是：功能型工具 (instrumental tools)。他們是魔法按鈕，像共享乘車 app 和 AI agents。它們拿走你的目標，然後快速、便宜、輕鬆地交付成果。你不在乎它怎麼運作，你只想把事情搞定。例如，當你趕時間去某個地方時，你會用 GPS。你不在乎路線，你只想抵達。
最完美的功能型工具，能讀懂你的心思，並立即完成任務。
另一端是：參與型工具 (engaged tools)。像是樂器、程式編輯器、用來探險的實體地圖。這些工具將你拉進複雜性之中。它們幫助你看得更清楚、表達得更精準。掌握它需要時間，但那正是重點所在。這些工具是分散式認知 (distributed cognition) 的一種。
在這些工具之間的選擇，無關乎專業程度，而是情境問題。當你快遲到時，你想要 GPS。當你在探索時，你想要紙本地圖。因此，在挑選工具時，你應該問自己：
我需要的是結果，還是理解？
選錯工具，你可能在該執行的時候浪費時間學習，或在該建立掌控力時失去主導權。