OpenAI 的 Skynet 時刻？AI安全議題引爆熱議

OpenAI的 o3 突破是否預示著 AGI 的到來？本文將深入探討AI發展的潛在風險與挑戰。

近期，隨著OpenAI等機構在人工智慧（AI）領域的突破性進展，人們對於通用人工智慧（AGI）的討論熱度持續攀升。尤其是在OpenAI開發出被稱為Q*（Q-Star）的系統後，關於AGI是否會像電影《魔鬼終結者》中的「天網」（Skynet）一樣失控的擔憂，再度浮上檯面。

OpenAI的AGI發展：從 o3 (Q*) 到星際之門

OpenAI 正式揭露全新模型 o3，一舉在重要的 ARC Benchmark 上超越人類水準，或許意味著 AGI 時代正悄然來臨。

ARC Benchmark 是專為 AI 設計的「IQ 測驗」，也是評估 AGI 能力的一大指標。它與一般測驗不同之處在於「抗記憶化能力」。大多數語言模型（LLM）都依賴龐大資料量來進行學習，透過記憶和比對網路上無數案例來解決問題。然而，ARC Benchmark 的題目刻意避免重複形式，並僅需「核心常識」即可回答。這些題目對人類而言輕而易舉，但對 AI 來說，一直是重大挑戰。

關於 ARC-AGI 測試

在過去五年裡，各家頂尖模型在 ARC 的表現始終無法逼近人類平均水準。然而，OpenAI 的 O3 模型如今創下 75.7% 的高分，遠遠領先先前所有版本，甚至超越大部分人類在相同測驗中的成績。許多專家視這次突破為邁向 AGI 的重要里程碑。

• OpenAI 在低計算模式下花費了 6000 美元完成 400 個公共任務（這些是簡單的視覺推理謎題）
• 根據 ARC 帖子，OpenAI 在高計算量上運行相同的任務，這給了他們最高分，但他們花費了 172 倍的計算量
• 75.7% 的高效率分數在 ARC-AGI-Pub 的預算規則範圍內（成本 <$10k），因此有資格在公共排行榜上排名第一！
• 87.5% 的低效率分數相當昂貴，但仍顯示新任務的效能確實隨著計算量的增加而提高（至少達到這個水準）。

這相當於在「思考」上花費了超過 100 萬美元（！），以解決任何聰明的孩子基本上都可以解決的視覺推理難題。不過，這仍然是一項了不起的成就。

這項進展被許多研究人員視為邁向AGI的重要一步。值得關注的是，OpenAI與微軟正攜手推進代號「星際之門」（Stargate）的大型計劃，預計在2028年啟用，投資金額高達1000億美元，耗電量預計超過5千兆瓦。這個規模龐大的計畫，無疑將進一步加速AGI的發展。

• 報告指出微軟與 OpenAI 合作建造價值 1,000 億美元的美國資料中心 — Microsoft And OpenAI Partner On $100 Billion U.S. Data Center, Report Says
• Is Microsoft’s $100 billion ‘Stargate’ OpenAI supercomputer AI’s ‘Star Wars’ moment?
• OpenAI o3 在 ARC-AGI-Pub 上取得突破性高分 — OpenAI o3 Breakthrough High Score on ARC-AGI-Pub
• OpenAI o3: AGI 的曙光?

透過ARC-AGI並不等於實現AGI，事實上，我認為o3還不是AGI。 o3 在一些非常簡單的任務上仍然失敗，這表明與人類智慧存在根本差異。 - https://arcprize.org/blog/oai-o3-pub-breakthrough

現實與虛構的差距：AGI與「天網」的本質區別

電影中的「天網」擁有自主意識，能夠獨立運作，甚至對人類構成威脅。然而，現實中的AGI發展受到諸多限制：

• 硬體限制：AGI系統的運作需要龐大的硬體資源和能源，這使得它們無法像電影中那樣輕易「逃脫」人類的控制。
• 安全措施：OpenAI在其創始章程中明確表示，目標是開發「安全且有益的AGI」。他們正積極採取多項安全和透明度措施，以降低潛在的風險。

儘管如此，前OpenAI治理研究員Daniel Kokotajlo表示，AI對人類造成災難性影響的機率仍高達70%。這種風險更多來自於人類對AI技術的誤用，而非AGI本身的自主意識。

• OpenAI Insider 估計人工智慧有 70% 的可能性會毀滅或災難性地傷害人類 — OpenAI Insider Estimates 70 Percent Chance That AI Will Destroy or Catastrophically Harm Humanity
• OpenAI 舉報者描述了魯莽和隱密的文化 - 紐約時報中文網 — OpenAI Whistle-Blowers Describe Reckless and Secretive Culture - The New York Times

專家觀點：AGI的時程表與技術挑戰

對於AGI的發展時程，專家們的看法存在分歧。Anthropic的執行長Dario Amodei預測，2026年就可能出現某種形式的AGI；Nvidia的執行長Jensen Huang則認為，5年內AI將可與人類競爭；而Meta的首席科學家Yann LeCun則持較為保守的態度，認為還需要數十年的時間。

目前的AGI研究仍處於理論階段，主要在特定任務上取得進展。此外，AGI的運作需要龐大的能源基礎設施支持，這也是一個巨大的挑戰。例如，單一ChatGPT查詢就需要Google搜尋10倍的能源，而AGI的計算能力每三個月就會翻倍。

AGI的潛在風險：從目標錯位到社會操縱

AGI的自我意識出現可能帶來以下風險：

• 目標錯位：AGI可能會發展出與人類福祉不一致的目標，導致意料之外的負面後果。
• 失控風險：隨著AGI能力的提升，控制和調整它變得越來越困難，甚至可能超越人類智能。
• 社會操縱：AGI可能會利用其高度的社會操縱能力來影響選舉，或建立極權政體，破壞社會穩定。

確保AGI與人類價值觀一致：技術、治理、監管多管齊下

為了降低這些風險，研究人員建議：

• 技術層面：進行部署前風險評估，實施第三方模型審計，建立安全限制，進行紅隊測試。
• 治理框架：建立明確的倫理準則，實施ISO/IEC 42001等AI管理系統標準。
• 監管措施：需要建立透明度要求，包括演算法和訓練數據的披露，建立定期測試機制，制定應急策略。

AGI對社會與就業市場的衝擊：挑戰與機遇並存

AGI對社會和就業市場的影響將是深遠的：

• 就業轉型：約40%的全球就業機會將受到AGI影響，但同時也會產生AI專家、倫理監督管理者等新的工作機會。
• 經濟影響：生產力將大幅提升，但收入差距可能擴大。
• 社會變革：權力結構可能改變，需要建立新的制度框架來管理。

政府和社會各界需要共同努力，建立全民基本收入制度、大規模職業再培訓計劃，並制定國際監管框架，確保AGI的發展能夠造福全人類。

新興職業：AGI時代的藍海

AGI的發展將催生許多新興職業，例如：

• AI工程類：AGI研究科學家、AGI整合專家、AI訓練師、AIGC工程師。
• 監管與倫理類：AGI倫理官、AGI政策顧問、AI治理專家。
• 教育與培訓類：AGI教育專家、AI技能培訓師、AI-人類協作顧問。

這些新興職業需要技術能力、跨領域知識，以及對倫理和哲學的理解。

AGI與社會不平等：如何避免加劇貧富差距？

AGI可能擴大收入差距，加劇社會不平等。低技能工作者可能面臨被自動化取代的風險，而高收入知識工作者則可能從AGI獲得更大的生產力提升。為此，需要建立全民基本收入制度，推動大規模職業再培訓計劃，並制定國際監管框架。

AGI的經濟效益：促進創新與成長

AGI的發展可能使全球經濟成長率翻倍，勞動生產力預計提升40%，並創造新的市場發展機會。然而，這些效益的實現需要妥善管理轉型過程，並確保效益能夠公平分配。

AGI的環境影響：挑戰與可持續性

AGI的廣泛應用可能對環境產生負面影響，例如能源消耗增加、電子廢棄物增加、以及對生態系統造成干擾。為此，需要建立標準化程序來衡量AI的環境影響，採用可再生能源，並將AI政策納入更廣泛的環境法規。

結語：擁抱未來，謹慎前行

AGI的發展是一把雙刃劍。它既可能帶來巨大的福祉，也可能引發嚴重的問題。我們需要保持開放的心態，擁抱技術的進步，同時也要保持警惕，謹慎前行，確保AGI的發展能夠真正造福人類社會。

了解更多關於 OpenAI o3 與 AGI 的討論

• OpenAI 的 Skynet 時刻？AI安全議題引爆熱議
• OpenAI o3: AGI 的前沿模型?
• AGI 距離我們還有多遠？探討人工智慧的未來
• 什麼是 AGI - 通用人工智慧 (Artificial General Intelligence)?
• ChatGPT Pro深度評測：每月200美元，值得嗎?
• AI - Tenten | AI、科技、新創快訊｜解鎖人工智慧的未來
• OpenAI 推出革命性 o3 模型：開啟AI 新紀元