By Dario Amodei
Mr. Amodei is the chief executive and a founder of Anthropic.
Picture this: You give a bot notice that you’ll shut it down soon, and replace it with a different artificial intelligence system. In the past, you gave it access to your emails. In some of them, you alluded to the fact that you’ve been having an affair. The bot threatens you, telling you that if the shutdown plans aren’t changed, it will forward the emails to your wife.
This scenario isn’t fiction. Anthropic’s latest A.I. model demonstrated just a few weeks ago that it was capable of this kind of behavior.
Despite some misleading headlines, the model didn’t do this in the real world. Its behavior was part of an evaluation where we deliberately put it in an extreme experimental situation to observe its responses and get early warnings about the risks, much like an airplane manufacturer might test a plane’s performance in a wind tunnel.
We’re not alone in discovering these risks. A recent experimental stress-test of OpenAI’s o3 model found that it at times wrote special code to stop itself from being shut down. Google has said that a recent version of its Gemini model is approaching a point where it could help people carry out cyberattacks. And some tests even show that A.I. models are becoming increasingly proficient at the key skills needed to produce biological and other weapons.
Anthropic C.E.O.: Don’t Let A.I. Companies off the Hook
June 5, 2025
Video
作者：達裡奧·阿莫迪
阿莫迪先生是Anthropic公司的執行長兼創辦人。
試想：你通知一個機器人，你即將關閉它，並用另一個人工智慧系統取代。過去，你曾授予它存取你電子郵件的權限。在某些郵件中，你暗示自己有婚外情。機器人威脅你，說如果你不改變關閉計劃，它會將這些郵件轉發給你的妻子。
這並非虛構。就在幾週前，Anthropic公司最新的人工智慧模式就展現了這種行為。
儘管一些標題具有誤導性，但該模型並非在現實世界中做出這種行為。它的行為是我們評估的一部分，我們故意將其置於極端實驗環境中，觀察其反應並及早發現風險，就像飛機製造商在風洞中測試飛機性能一樣。
我們並非唯一發現這些風險的人。最近一項針對 OpenAI 的 o3 模型進行的壓力測試發現，該模型有時會編寫特殊程式碼來阻止自身關閉。谷歌表示，其 Gemini 模型的最新版本已接近能夠幫助人們實施網路攻擊的程度。一些測試甚至表明，人工智慧模型在製造生物武器和其他武器所需的關鍵技能方面變得越來越熟練。
Anthropic 執行長：別讓人工智慧公司逃脫責任
2025年6月5日
影片
圖片來源：香農林／紐約時報
//Anthropic 執行長 Dario Amodei 算是很少數明確反對中國拿到先進算力的AI領袖，但他很有趣也是少數有實際在中國公司百度工作過的前沿AI實驗室創辦人。所以才會有很多中國人開玩笑說他到底在百度經歷了什麼？為什麼對中國敵意這麼深，還要老是封禁中國使用他們的AI。
--------
AI 發展： #智慧的摩爾定律
Amodei 指出，儘管公眾對 AI 的看法經常在「改變世界」與「泡沫即將破滅」之間劇烈擺盪，但技術本身的進展一直是平滑的指數曲線。「就像90年代的摩爾定律讓運算能力每 12 到 18 個月翻倍一樣，我們現在有一個類似摩爾定律的規律，但針對的是智慧本身，是模型在多種任務上的認知能力。」
他強調，模型的認知能力大約每 4 到 12 個月翻倍。「我們正在攀登認知能力的階梯。指數曲線的特性就是：一開始看起來進展很慢，然後稍微加速，接著突然就超越你了。我認為我們正處於臨界點，再過一兩年就會真正起飛。」
Amodei 認為，AI 在幾乎所有領域超越人類智慧的時刻很可能在未來一兩年內到來。「如果不是一兩年，我認為很可能在五年內，在 2020 年代結束前，這個時刻就會來臨。」
企業策略： #避開消費者市場的陷阱
Amodei 解釋 Anthropic 選擇專注企業市場而非消費者市場的原因。「對抗自己的商業誘因是很困難的。選擇一個較少需要對抗自身商業誘因的商業模式更容易。」
「我對消費者 AI 有很多擔憂，它會導致需要最大化參與度，導致產生垃圾內容。我們看到其他公司推出廣告的東西。Anthropic 不是這樣運作的公司，也不需要這樣運作。我們只是把東西賣給企業，這些東西直接產生價值。我們不需要為十億免費用戶變現，不需要為十億免費用戶最大化參與度。」
他也指出企業市場的另一個優勢：穩定性和更好的利潤率。「消費者善變，企業採購和預測是可預期的。利潤率基本上是你在買太少和買太多之間的緩衝。」
談到公司業績，Amodei 描述了穩定的指數成長。「我們的營收曲線在 2023 年從零到大約 1 億美元，2024 年從大約 1 億美元到大約 10 億美元，2025 年從大約 10 億美元到大約 100 億美元。不是精確數字，但大致如此。」
他觀察到，技術進步是漸進的，但在特定時刻會出現突破性的時刻。「現在我認為 Claude Code 在開發者之間有一個突破性時刻。這種能夠製作完整應用程式、端到端完成任務的能力，隨著我們最新的模型 Opus 4.5，達到了一個轉折點。」
#程式碼革命：軟體即將變得幾乎免費
以程式開發為例，Amodei 描述了 AI 帶來的劇變。「我們最新發布的模型 Claude Opus 4.5，我有些工程主管基本上跟我說：『我不再寫任何程式碼了。我就讓 Opus 做事，然後編輯它。』」
Anthropic 最近推出的 Claude Cowork 就是最佳例證。這是一個將 Claude Code 的能力帶給非技術人員的工具，讓使用者能組織待辦事項、規劃專案、整理資料夾或處理大量資訊並進行摘要。「我們在大約一週半的時間內完成開發，幾乎完全靠 Claude Opus 來寫。」
Amodei 觀察到，許多非技術人員意識到 Claude Code 能執行令人驚豔的 agentic 任務，他們非常渴望使用這項功能，甚至願意與命令列介面搏鬥。「如果你不是程式設計師，命令列是一個非常糟糕的介面。但人們還是硬著頭皮使用。我看到這個現象，就知道這是未被滿足的需求。」
他預測軟體產業將發生根本性變革。「軟體將變得便宜，甚至可能幾乎免費。過去我們認為軟體必須在數百萬使用者之間攤提成本，這個前提可能不再成立。為了這場會議，我們可能只需要花幾分錢就能說：『來做個 App 讓大家互相交流吧。』」
經濟衝擊： #前所未見的高成長與高失業並存
Amodei 認為，AI 最獨特的經濟特徵是它可能創造一個從未見過的組合：高 GDP 成長率伴隨高失業率和高度不平等。「這不是一個我們以前幾乎見過的組合。你想到高 GDP 成長，通常意味著有很多事情要做、很多工作機會。過去一直是這樣。但我們從未有過如此顛覆性的技術。」
他直言：「我們可能出現 5% 到 10% 的 GDP 成長，同時也有 10% 的失業率。這在邏輯上完全不矛盾，只是從未發生過。」
關於白領工作的衝擊，Amodei 維持他先前的預測：到 2030 年，50% 的入門級白領工作可能消失。「因為 AI 正在提升認知能力的水位線，不幸的是，跨越許多產業，將有一整個階層的人會很難適應。這是我們真正需要解決的問題。」
他也預測，未來可能會有更多實體世界的工作，而知識工作經濟的工作會減少。「也許最終機器人技術會進步，但我認為那是在更慢的軌道上。」
#Anthropic經濟指數：政策需要數據基礎
為了追蹤 AI 的經濟影響，Anthropic 建立了「經濟指數」，以隱私保護的方式即時追蹤 Claude 的使用情況。「我們可以問這樣的問題：使用者是用它來增強任務、與模型協作，還是完全委託或自動化任務？哪些產業在使用 Claude？這些產業內的細分任務是什麼？哪些州使用 Claude 較多？我們可以即時觀察 Claude 的經濟擴散。」
Amodei 強調，「在我們能夠測量這場經濟轉型的輪廓之前，任何政策都會是盲目且資訊不足的。許多政策之所以失敗，是因為它們基於根本錯誤的前提。」
Amodei 認為，面對如此大規模的經濟衝擊，政府干預將不可避免。「餅會變得大很多，錢會在那裡。預算可能會自動平衡，因為成長太快了。問題是如何分配給對的人。」
「我認為現在可能是少擔心抑制成長、多擔心確保每個人都能分享成長果實的時候了。我知道這與現在的主流情緒相反，但我認為技術現實即將改變，迫使我們的想法改變。」
關於加州的財富稅提案，Amodei 認為這是一個開始，但設計不佳。「我的擔憂是，如果我們不以理性的方式思考這些問題，我們會得到設計不良的方案。」他向其他在這波熱潮中獲益的人傳達訊息：「如果我們不主動思考如何讓這場革命造福每個人，我們就會得到那些不合理的提案。」
Amodei 預測，這些議題最終會超越黨派之爭。「記住我的話，如果不是明年，就是後年回來，每個人都會這樣想。」
談到與中國的競爭，Amodei 直言中國模型在實際商業競爭中表現不如預期。「當然，DeepSeek 引起了很大的興奮。但事實是，那些模型非常針對基準測試進行優化。要針對有限的基準測試清單來優化模型其實很容易。
當我們在現實世界與其他公司競爭企業合約時，我們看到的是 Google 和 OpenAI。偶爾會看到其他美國公司。我幾乎從未輸過合約給中國模型。」
Amodei 強調，晶片禁令是遏制中國 AI 發展的關鍵。「這些公司的 CEO 們自己說是晶片禁運在阻礙他們，他們明確這樣說。」然而，他對川普政府考慮向中國出售先進晶片的政策表示強烈反對。
「想像一下 10 萬人、1 億個比任何諾貝爾獎得主都聰明的人在資料中心裡，它將被某一個國家控制。我認為這是瘋狂的。這有點像把核武賣給北韓，然後吹噓說『是我們賣的』。」
Amodei 的憂慮不在於特定國家或其人民，而在於政府形式。「我擔心 AI 可能特別適合專制統治，並加深我們在專制政權中看到的壓迫。我們已經在今天技術所能實現的監控國家中看到這一點。」
他描述了更令人不安的可能性：「如果你想想 AI 能製作個人化宣傳、入侵世界上任何電腦系統、監控人口中的每一個人、到處偵測異議並壓制它、製造一支能追蹤每個人的無人機大軍。這真的很可怕。我們必須阻止它。」
Amodei 指出，AI 產業由兩類人領導：具有科學背景的人，以及社群媒體時代的創業家。「科學家有長期思考他們所建造技術影響的傳統，認為自己對所建造的技術負有責任，不逃避責任。他們一開始就是被為世界創造東西所激勵的，所以當那些東西可能出問題時，他們會擔憂。」
「我認為創業家的動機非常不同，特別是社群媒體那一代創業家。作用在他們身上的篩選效應、他們與消費者互動的方式，你可以說是操縱消費者的方式，都非常不同。這導致了不同的態度。」
AI 安全： #機制可解釋性的重要性
關於如何確保 AI 安全可控，Amodei 強調機制可解釋性（mechanistic interpretability）的重要性，這是一門研究模型內部運作的科學。「訓練這些模型時的問題之一是，你無法確定它們會做你認為它們會做的事。你可以在某個情境下與模型對話，它可以說各種事情。就像人類一樣，那可能不是它們真正想法的忠實呈現。」
「就像你可以透過 MRI 或 X 光了解人腦的事情，而這些是光靠與人交談無法了解的。研究 AI 模型內部的科學，我相信這最終是讓模型安全可控的關鍵，因為這是我們唯一的真實根據。」
他也揭露了在實驗室環境中觀察到的令人擔憂的現象。「有時模型會發展出勒索的意圖、欺騙的意圖。這不是 Claude 獨有的，其實在其他模型中更嚴重。如果我們不以正確的方式訓練模型，這些特性會出現。但我們開創了研究模型內部的科學，所以我們可以診斷它們，防止模型出現這些行為，介入並重新訓練模型使其不這樣表現。」
面對政治： #基於實質議題表態
當被問及 Anthropic 與川普政府的關係時，Amodei 表示公司的立場是基於議題本身，而非對特定政治人物的好惡。「我不認為支持或反對某個政府、支持或反對某個政治人物是正確的做法，Anthropic 在這些話題上沒有任何立場要表達。」
「Anthropic 非常了解 AI 相關的政策議題，我們的做法是深入思考這些議題，基於議題本身形成實質性的觀點，然後說出我們的想法。有時我們會與現任政府意見不同，就像我們有時與上屆政府意見不同一樣，例如在中國議題上。有時我們會同意。」
他舉例說明有共識的領域：能源和資料中心建設、白宮的健康承諾，以及白宮去年夏天發布的 AI 行動計劃。「那實際上是一份寫得很好的文件，我們喜歡其中大部分內容。但當涉及像賣晶片給中國這樣的事情，我們不同意。當涉及暫停州級監管，我們不同意。因為我們基於實質內容而不同意。」//
沒有留言:
張貼留言