前沿AI何去何從?
無痛AI實驗 | 一個香港人用 AI 搵食嘅真實紀錄（第三十二集）
呢個星期關於 AI 最有價值的議題，莫過於前沿AI是否要減慢腳步?
Anthropic 嘅 CEO Dario Amodei 發表咗《We Must Pace the Frontier》（我們必須放慢前沿發展腳步）。佢並唔係叫大家停手，而係主張各大實驗室應該放慢速度，好讓安全措拖跟得上。佢提出嘅方案包括：引入擁有「員工級權限」嘅第三方評估人員、喺各大主流實驗室之間建立統一標準，以及進行超越單一公司範疇嘅跨界協調。Sam Altman 表態指 OpenAI 同樣認同行業需要「調節前沿步伐」，並會開放類似嘅權限給獨立評估人員。Elon Musk 留言話 Amodei「講得對」，Demis Hassabis 亦支持呢個方向。
特朗普總統在洛杉磯的 All-In Summit 期間，給正身處台上接受訪問的 Nvidia CEO 黃仁勳（Jensen Huang）打電話。特朗普直言機器人和 AI 不會「毀滅世界」，更形容這種說法是「騙局」（Hoax），又指反對快速擴展 AI 基礎設施只會便宜了競爭對手。雖然他補充指美國仍要「小心一點點」，但不應因此停下腳步。黃仁勳強調 AI 安全依然重要。同時，他亦向特朗普表示，美國絕不能讓競爭對手牽著鼻子走。
時間線
大部分實驗室高層都預計，喺未來 1 到 3 年內，AI 就能勝任大部分人類嘅知識型工作。如果AI模型變得足夠強勁，到底會發生甚麼事？「遞歸式自我改進」（Recursive self-improvement）唔需要一下子由 AGI 暴跳到超人工智慧（Superintelligence）。佢只需要系統能夠穩定、可靠地加速下一代模型嘅開發過程。呢個循環係咪已經展開？到底有多陡峭？目前仲有爭議。
控制權
假設AI系統真係喺策略同研發能力上全面超越人類，人類監管是否會變得好薄弱?
喺走到這一步之前，大家會問:
- 模型係用甚麼數據訓練出來嘅？
- 系統獲得咗甚麼工具同權限？
- 喺開發者依然掌握主導權時，部署咗甚麼評估、可解釋性同關機機制？
- 各大實驗室同各國政府之間，到底係協調、競爭，定係兩者並行？
現實中要「自我凍結 pause」和 要達成跨界「協調」極之困難!
真正關乎成敗嘅係咩？
前沿 AI擁有巨大嘅正面潛力: 醫學、材料科學以及生產力嘅提升。但佢同時面臨著未難以解決嘅管理難題。當系統開始接手越來越多自身嘅研發工作時，考驗嘅唔再係邊個講得好，而係相應嘅安全評估同限制機制，到底可唔可以及時建立起來？以及是否有足夠嘅開發者願意遵守同一套底線？