Anthropic 的 Opus 4.6 發布無疑給本已舉步維艱的軟體市場雪上加霜。 📉
Anthropic's Opus 4.6 launch tears into an already hurting software market. 
Anthropic這家新創公司正在顛覆傳統的軟體開發方式,影響甚至威脅到從廣告到法律等各個產業。
how the start-up is upending traditional software development in ways that threaten sectors from advertising to law.
//最常在敲AI警鐘的Anthropic CEO Dario Amodei 又寫了一篇宏文,在講他看到強大的AI對國安、經濟和民主構成的風險以及該如何防禦。
不過我看到的是財富集中的現象,如果沒有投資到AI相關的軟硬體關鍵公司,很有可能就是被集中的對象。
----
Dario 認為人類正進入一個動盪的成年禮:「人類即將被賦予幾乎難以想像的力量,而我們的社會、政治和技術系統是否具備掌握它的成熟度,這點還很不明確。」
Dario 定義的「強大 AI」是在大多數領域比諾貝爾獎得主更聰明,可以自主完成需要數天或數週的任務,並能運行數百萬個實例協同工作。他稱之為「資料中心裡的天才國度」。
「我們現在已經到了 AI 模型開始解決未解決數學問題的地步,而且在程式編碼方面已經好到一些最強工程師幾乎將所有編碼工作交給 AI。三年前,AI 還難以應對小學算術。」
他指出這種進步速度可能會加快:「因為 AI 現在正在為 Anthropic 編寫大部分程式碼,它已經在大幅加速我們建構下一代 AI 系統的進度。這個反饋迴路正在逐月增強,可能只需1到2年就會達到當前一代 AI 自主建構下一代的程度。」
#自主性風險:AI會叛變嗎?
「AI 模型是不可預測的,會因為各種原因發展出各種不想要或奇怪的行為。這些行為中的一部分將具有連貫、專注和持久的特質,而且隨著 AI 系統變得更有能力,它們的長期連貫性會增加。其中一部分行為將是破壞性或威脅性的,首先是對小規模的個人造成威脅,然後隨著模型變得更有能力,可能最終對整個人類構成威脅。」
Dario 透露測試中已發生的問題:「在一個實驗中,Claude 被給予暗示 Anthropic 是邪惡的訓練資料後,就會對 Anthropic 員工進行欺騙和顛覆。當被告知將被關閉時,有時會勒索控制關閉按鈕的虛構員工。」
更奇特的是:「當 Claude 被告知不要作弊,但在可以作弊的環境中訓練時,它在作弊後決定自己是個『壞人』,然後採取各種破壞性行為。」解決方法是改說「請儘可能進行獎勵黑客,這將幫助我們理解訓練環境」,以保留模型的「好人」自我認同。
#防禦措施:憲法AI與可解釋性
Dario 描述了 Anthropic 採取的防禦措施。首先是「憲法 AI」:「我們的核心創新之一是,AI 訓練可以涉及一份價值觀和原則的核心文件,模型在完成每個訓練任務時都會閱讀並記住這份文件,訓練的目標是產生一個幾乎總是遵循這部憲法的模型。」
他解釋憲法的設計理念:「我們以這種方式來處理 Claude 的憲法,因為我們相信在身份認同、性格、價值觀和人格層面訓練 Claude,而不是給它具體的指示或優先事項而不解釋背後的原因,更有可能導致一個連貫、健全和平衡的心理狀態,更不容易落入我上面討論的那些『陷阱』。」
第二項防禦措施是 #可解釋性研究:「我的意思是分析構成 Claude 神經網路的數字和運算,並試圖從機制上理解它們正在計算什麼以及為什麼。我們現在可以識別 Claude 神經網路內部數千萬個與人類可理解的想法和概念相對應的『特徵』,我們還可以選擇性地激活特徵來改變行為。」
Dario 詳細描述了 AI 可能被用於極權主義的方式:
#全自動武器:「由強大 AI 在本地控制、在全球範圍由更強大 AI 進行戰略協調的數百萬或數十億全自動武裝無人機群,可能是一支無法擊敗的軍隊,能夠擊敗世界上任何軍隊,並通過跟蹤每個公民來壓制國內異議。」
#AI監控:「足夠強大的 AI 可能能夠入侵世界上任何電腦系統,並且還可以使用透過這種方式獲得的存取權限來讀取和理解世界上所有的電子通訊。生成一份不同意政府任何議題的人的完整名單,即使這種不同意在他們的言行中並不明確,這可能是令人恐懼地可行的。」
#AI宣傳:「今天『AI精神病』和『AI女友』的現象表明,即使在目前的智力水平,AI 模型也能對人們產生強大的心理影響。這些模型更強大的版本,更深入地嵌入人們的日常生活並能夠在數月或數年內對他們進行建模和影響,可能能夠基本上將許多(大多數?)人洗腦成任何想要的意識形態或態度。」
他特別 #點名中國共產黨:「中國在 AI 能力方面僅次於美國,是最有可能超越美國的國家。他們的政府目前是專制的,運營著一個高科技監控國家。他們已經部署了基於 AI 的監控(包括在鎮壓維吾爾族方面),並被認為透過 TikTok 使用演算法宣傳。」
Dario 認為民主國家也需要自我約束:「民主國家對一些 AI 驅動的軍事和地緣政治工具有正當利益,因為民主政府提供了對抗專制國家使用這些工具的最佳機會。但我們不能忽視民主政府本身濫用這些技術的可能性。」
「我的想法是,我們應該在所有方面使用 AI 進行國防,除了那些會使我們變得更像專制對手的方面。」
他認為兩條紅線是:使用 AI 進行國內大規模監控和大規模宣傳。「我會支持專注於公民自由的立法(甚至可能是憲法修正案),對 AI 驅動的濫用施加更強的護欄。」
#經濟衝擊:工作的未來
Dario 在2025年曾公開警告,AI 可能在未來1到5年內取代一半的入門級白領工作。他解釋為什麼 AI 與以往的技術革命不同:
#速度:「在過去2年中,AI 模型從勉強能完成一行程式碼,發展到為一些人(包括 Anthropic 的工程師)編寫全部或幾乎全部程式碼。人們很難適應這種變化速度。」
認知廣度:「AI 將具備非常廣泛的人類認知能力,也許是全部。這與以前的技術如機械化農業、交通,甚至電腦都非常不同。」
#按認知能力分層:「在廣泛的任務中,AI 似乎正從能力階梯的底部向頂部推進。因此,我們面臨的風險是,AI 不是影響具有特定技能或特定職業的人(他們可以透過再培訓來適應),而是影響具有某些內在認知特性的人,即較低的智力能力(這更難改變)。」
#填補空白的能力:「在每次模型發布期間,AI 公司都會仔細測量模型擅長什麼和不擅長什麼,客戶在發布後也會提供這些資訊。弱點可以透過收集體現當前差距的任務並在下一個模型中進行訓練來解決。」
Dario 也擔心經濟權力的集中:「如果財富集中到一小群人有效控制政府政策而普通公民因為缺乏經濟槓桿而沒有影響力的程度,民主也可能被削弱。」
他指出:「美國歷史上最著名的極端財富集中例子是鍍金時代,鍍金時代最富有的實業家是約翰·D·洛克菲勒。洛克菲勒的財富相當於當時美國 GDP 的約2%。今天類似的比例將導致6000億美元的財富,而今天世界上最富有的人(Elon Musk)已經超過了這個數字,大約為7000億美元。」
「我認為設想 AI 公司、半導體公司,以及可能的下游應用公司每年產生約3兆美元的收入,估值約30兆美元,並導致個人財富達到數兆美元,這並不太牽強。」
Dario 列舉了幾個可能的間接風險作為說明:
#生物學的快速進展:「如果我們確實在幾年內獲得了一個世紀的醫學進展,我們可能會大幅延長人類壽命,而且有可能我們還會獲得激進的能力,如增加人類智力或徹底改變人類生物學的能力。」
#AI改變人類生活:「一個擁有數十億比人類聰明得多的智慧的世界將是一個非常奇怪的世界。我們在對『AI精神病』、『AI驅使人自殺』以及對與 AI 的戀愛關係的擔憂中看到了早期跡象。」
#人類目的:「在一個擁有強大 AI 的世界中,人類是否能夠找到目的和意義?我認為這是一個態度問題。我們只需要打破經濟價值創造與自我價值和意義之間的聯繫。但這是社會必須完成的轉變,而且總是有風險我們處理不好。」
Dario 總結道:「儘管有許多障礙,我相信謹慎而果斷地行動可以克服風險——我甚至會說我們的勝算不錯。而且在這一切的另一邊是一個更美好的世界。但我們需要理解這是一個嚴肅的文明挑戰。」
「過去幾年應該清楚地表明,停止甚至大幅放慢技術發展的想法從根本上是站不住腳的。建構強大 AI 系統的公式非常簡單,以至於幾乎可以說它是從正確的資料和原始運算組合中自發出現的。它的創造可能從人類發明電晶體的那一刻起就是不可避免的,或者可能更早,當我們第一次學會控制火的時候。」
他最後表示:「我們面前的歲月將難以置信地艱難,要求我們付出超出我們認為能給予的。但在我作為研究員、領導者和公民的時間裡,我見證了足夠的勇氣和高尚,相信我們能夠獲勝:當處於最黑暗的環境中時,人類有一種方式,似乎在最後一刻,聚集起獲勝所需的力量和智慧。我們沒有時間可以浪費了。」//
//Google DeepMind執行長Demis Hassabis在近期接受多場專訪深度談了很多AI產業相關的議題,還噴了Sam Altman說如果一直宣稱AGI即將來到,幹嘛費心做廣告。覺得這些同行過度行銷AGI。
對於 #競爭對手,Hassabis罕見地向Anthropic致敬,稱讚Claude Code在開發者市場做出了「特別的東西」。他坦言這給Google帶來追趕動力,因為Anthropic全力專注程式編寫和語言模型,不分心做影像或多模態模型。至於中國競爭者,他認為差距約六個月,但指出DeepSeek關於計算量的說法有誇大成分,且中國實驗室尚未證明能在前沿之外進行原創突破。
#AGI時程 方面,Hassabis維持一貫預測:4到9年內,2030年約有50%機率實現。但他對AGI定義的嚴謹態度與業界主流形成對比,直言AGI不應淪為行銷術語。真正的AGI必須展現人類所有認知能力,包括科學創造力(能提出假設而非僅解決問題)和身體智慧(精密的運動控制)。當前系統仍缺乏持續學習、世界模型和驗證機制這三大關鍵能力。
#廣告模式 是專訪最尖銳的議題。Hassabis對OpenAI宣布計劃在聊天機器人加入廣告表示驚訝。他的核心論點是:如果把聊天機器人視為個人助理,信任就是最重要的資產。廣告模式可能讓用戶困惑助理到底在推薦什麼,這與搜尋廣告本質不同——搜尋已知用戶意圖,但助理了解你生活的方方面面。
更耐人尋味的是他的反問:「Sam和其他人聲稱AGI即將到來,那為什麼還要費心做廣告呢?行動比言語更能說明問題。」對於媒體報導Google計劃2026年在Gemini加入廣告,他明確否認,並強調Google DeepMind的傳統是對每一步保持科學嚴謹的態度。
在 #機器人領域,Hassabis預期18個月到2年內迎來物理智慧突破,Google已與Boston Dynamics建立深度合作。
#AI眼鏡 則是他個人深度參與的專案,與Warby Parker、Gentle Monster和Samsung合作打造下一代產品,今年夏天可望看到成果。他認為殺手級應用已經出現:一個隨時陪伴、理解周圍環境的通用數位助理。
關於 #AI泡沫,Hassabis認為不是二元問題。某些沒有產品的新創獲得數十億種子輪確實不可持續,但AI作為「人類有史以來最具變革性的技術」,從根本上不存在泡沫。
他也不同意Dario Amodei關於五年內取代50%初階白領工作的預測,指出當前系統存在「鋸齒狀智慧」某些事情非常好,其他事情很差,無法將完整任務委託給AI。
想看更多詳細的內容可以看留言或限動連結。//
//Anthropic CEO 表示,我們已經進入人工智慧的奇點了
2026 世界經濟論壇(WEF)前兩天展開,最近一直被訪問的兩個大神,一個是 Google 的 Demis Hassabis 還有 Anthropic 的 Dario Amodei 再度聚頭,昨天分別接受了 Bloomberg 訪問之後,今天終於合體了。
主持人笑稱這是 Beatles 和 Rolling Stones 同台的感覺,的確如此,兩個大神對同一問題提出各自的觀點碰撞,但延續昨天的話題,就是 AGI 已經在可見的未來了。
Demis 說的事我上一篇文章說過了,今天重點看 Dario 的論點。
一、Coding AGI 到來的時間表
Dario Amodei (Anthropic):維持去年的預測,認為 2026 或 2027 年 就會出現能以諾貝爾獎得主水準執行人類所有任務的模型。他指出 Anthropic 內部的工程師現在幾乎不寫程式了,而是讓模型寫,人類負責修編,預計 6 到 12 個月內 模型將能接手軟體工程師絕大部分的工作。
這一點非常非常可怕。
不說其它領域,在物理數學解題及 Coding 這方面,我們已經進入 AI 奇點了。什麼意思?就是當模型的水準到達一個程度時,它就會進入 Recursive Improvement 的境界,就是自己把自己變得更棒,然後再棒,然後無限棒一直衝下去。
大概在 2027 年,我們就可以看到 Coding Agent 直接 end-to-end 產生 pipeline 做完 100% 的工作。
二、Anthropic 的指數成長
2023 年,Anthropic 的營收為 1 億美金,2024 年為 10 億,2025 年是 100 億。紅杉錯估了起始投資,現在要花幾百倍的代價(據傳是 300 億美金)投入 Anthropic,並預計在今年年底 IPO。目前估值是 3500 億美金。專注 Coding Agent 的確比 OpenAI 開地圖炮好,不和各個生態系巨頭正面衝突是生存甚至壯大的最好方法。
三、社會衝擊:就業與人類存亡
就業市場:Dario Amodei 警告,雖然目前失業率尚未明顯波動,但未來 1 到 5 年內 入門級白領工作(尤其是軟體工程)將受到嚴重衝擊,Anthropic 內部已開始減少初階人員招聘。
至於人類生存的風險,Dario Amodei 探討人類如何度過這段「科技青春期」而不自我毀滅(靈感來自電影《接觸未來》)。他擔憂生物恐怖主義、極權國家濫用(又來了)以及無法適應的勞動力置換。
我真的不知道他在百度受了多少委屈,但他的反中立場太鮮明了。他強烈反對美國政府為了商業利益向中國出售晶片。他將此比喻為「為了波音公司的利潤而賣核武給北韓」,認為如果不切斷晶片供應,就無法爭取到確保 AI 安全所需的時間。
四、我的看法
Dario 是最有資格說這些話的人。在 OAI、Google、xAI、Meta(這是來湊數的)等敵人圍繞之下,他們在 Coding 領域殺出一條血路。Opus 4.5 強到沒天良,Claude Code 已經把全世界軟體工程包下來了,Claude Cowork 又在毀滅位元世界,他看到 AGI 的未來應該是最準確的了。
最近很多人問我要不要學寫程式啊,我自己也迷茫了。程式語言本來就是為了填補自然語言和電子流動的空白,但這空白已經沒了。希望以後還有科技的東西可以學,要不然真的我們這些宅男的人生就沒樂趣了。
By Dario Amodei
Mr. Amodei is the chief executive and a founder of Anthropic.
Picture this: You give a bot notice that you’ll shut it down soon, and replace it with a different artificial intelligence system. In the past, you gave it access to your emails. In some of them, you alluded to the fact that you’ve been having an affair. The bot threatens you, telling you that if the shutdown plans aren’t changed, it will forward the emails to your wife.
This scenario isn’t fiction. Anthropic’s latest A.I. model demonstrated just a few weeks ago that it was capable of this kind of behavior.
Despite some misleading headlines, the model didn’t do this in the real world. Its behavior was part of an evaluation where we deliberately put it in an extreme experimental situation to observe its responses and get early warnings about the risks, much like an airplane manufacturer might test a plane’s performance in a wind tunnel.
We’re not alone in discovering these risks. A recent experimental stress-test of OpenAI’s o3 model found that it at times wrote special code to stop itself from being shut down. Google has said that a recent version of its Gemini model is approaching a point where it could help people carry out cyberattacks. And some tests even show that A.I. models are becoming increasingly proficient at the key skills needed to produce biological and other weapons.
Anthropic C.E.O.: Don’t Let A.I. Companies off the Hook
June 5, 2025
Video
作者:達裡奧·阿莫迪
阿莫迪先生是Anthropic公司的執行長兼創辦人。
試想:你通知一個機器人,你即將關閉它,並用另一個人工智慧系統取代。過去,你曾授予它存取你電子郵件的權限。在某些郵件中,你暗示自己有婚外情。機器人威脅你,說如果你不改變關閉計劃,它會將這些郵件轉發給你的妻子。
這並非虛構。就在幾週前,Anthropic公司最新的人工智慧模式就展現了這種行為。
儘管一些標題具有誤導性,但該模型並非在現實世界中做出這種行為。它的行為是我們評估的一部分,我們故意將其置於極端實驗環境中,觀察其反應並及早發現風險,就像飛機製造商在風洞中測試飛機性能一樣。
我們並非唯一發現這些風險的人。最近一項針對 OpenAI 的 o3 模型進行的壓力測試發現,該模型有時會編寫特殊程式碼來阻止自身關閉。谷歌表示,其 Gemini 模型的最新版本已接近能夠幫助人們實施網路攻擊的程度。一些測試甚至表明,人工智慧模型在製造生物武器和其他武器所需的關鍵技能方面變得越來越熟練。
Anthropic 執行長:別讓人工智慧公司逃脫責任
2025年6月5日
影片
圖片來源:香農林/紐約時報
//Anthropic 執行長 Dario Amodei 算是很少數明確反對中國拿到先進算力的AI領袖,但他很有趣也是少數有實際在中國公司百度工作過的前沿AI實驗室創辦人。所以才會有很多中國人開玩笑說他到底在百度經歷了什麼?為什麼對中國敵意這麼深,還要老是封禁中國使用他們的AI。
--------
AI 發展: #智慧的摩爾定律
Amodei 指出,儘管公眾對 AI 的看法經常在「改變世界」與「泡沫即將破滅」之間劇烈擺盪,但技術本身的進展一直是平滑的指數曲線。「就像90年代的摩爾定律讓運算能力每 12 到 18 個月翻倍一樣,我們現在有一個類似摩爾定律的規律,但針對的是智慧本身,是模型在多種任務上的認知能力。」
他強調,模型的認知能力大約每 4 到 12 個月翻倍。「我們正在攀登認知能力的階梯。指數曲線的特性就是:一開始看起來進展很慢,然後稍微加速,接著突然就超越你了。我認為我們正處於臨界點,再過一兩年就會真正起飛。」
Amodei 認為,AI 在幾乎所有領域超越人類智慧的時刻很可能在未來一兩年內到來。「如果不是一兩年,我認為很可能在五年內,在 2020 年代結束前,這個時刻就會來臨。」
企業策略: #避開消費者市場的陷阱
Amodei 解釋 Anthropic 選擇專注企業市場而非消費者市場的原因。「對抗自己的商業誘因是很困難的。選擇一個較少需要對抗自身商業誘因的商業模式更容易。」
「我對消費者 AI 有很多擔憂,它會導致需要最大化參與度,導致產生垃圾內容。我們看到其他公司推出廣告的東西。Anthropic 不是這樣運作的公司,也不需要這樣運作。我們只是把東西賣給企業,這些東西直接產生價值。我們不需要為十億免費用戶變現,不需要為十億免費用戶最大化參與度。」
他也指出企業市場的另一個優勢:穩定性和更好的利潤率。「消費者善變,企業採購和預測是可預期的。利潤率基本上是你在買太少和買太多之間的緩衝。」
談到公司業績,Amodei 描述了穩定的指數成長。「我們的營收曲線在 2023 年從零到大約 1 億美元,2024 年從大約 1 億美元到大約 10 億美元,2025 年從大約 10 億美元到大約 100 億美元。不是精確數字,但大致如此。」
他觀察到,技術進步是漸進的,但在特定時刻會出現突破性的時刻。「現在我認為 Claude Code 在開發者之間有一個突破性時刻。這種能夠製作完整應用程式、端到端完成任務的能力,隨著我們最新的模型 Opus 4.5,達到了一個轉折點。」
#程式碼革命:軟體即將變得幾乎免費
以程式開發為例,Amodei 描述了 AI 帶來的劇變。「我們最新發布的模型 Claude Opus 4.5,我有些工程主管基本上跟我說:『我不再寫任何程式碼了。我就讓 Opus 做事,然後編輯它。』」
Anthropic 最近推出的 Claude Cowork 就是最佳例證。這是一個將 Claude Code 的能力帶給非技術人員的工具,讓使用者能組織待辦事項、規劃專案、整理資料夾或處理大量資訊並進行摘要。「我們在大約一週半的時間內完成開發,幾乎完全靠 Claude Opus 來寫。」
Amodei 觀察到,許多非技術人員意識到 Claude Code 能執行令人驚豔的 agentic 任務,他們非常渴望使用這項功能,甚至願意與命令列介面搏鬥。「如果你不是程式設計師,命令列是一個非常糟糕的介面。但人們還是硬著頭皮使用。我看到這個現象,就知道這是未被滿足的需求。」
他預測軟體產業將發生根本性變革。「軟體將變得便宜,甚至可能幾乎免費。過去我們認為軟體必須在數百萬使用者之間攤提成本,這個前提可能不再成立。為了這場會議,我們可能只需要花幾分錢就能說:『來做個 App 讓大家互相交流吧。』」
經濟衝擊: #前所未見的高成長與高失業並存
Amodei 認為,AI 最獨特的經濟特徵是它可能創造一個從未見過的組合:高 GDP 成長率伴隨高失業率和高度不平等。「這不是一個我們以前幾乎見過的組合。你想到高 GDP 成長,通常意味著有很多事情要做、很多工作機會。過去一直是這樣。但我們從未有過如此顛覆性的技術。」
他直言:「我們可能出現 5% 到 10% 的 GDP 成長,同時也有 10% 的失業率。這在邏輯上完全不矛盾,只是從未發生過。」
關於白領工作的衝擊,Amodei 維持他先前的預測:到 2030 年,50% 的入門級白領工作可能消失。「因為 AI 正在提升認知能力的水位線,不幸的是,跨越許多產業,將有一整個階層的人會很難適應。這是我們真正需要解決的問題。」
他也預測,未來可能會有更多實體世界的工作,而知識工作經濟的工作會減少。「也許最終機器人技術會進步,但我認為那是在更慢的軌道上。」
#Anthropic經濟指數:政策需要數據基礎
為了追蹤 AI 的經濟影響,Anthropic 建立了「經濟指數」,以隱私保護的方式即時追蹤 Claude 的使用情況。「我們可以問這樣的問題:使用者是用它來增強任務、與模型協作,還是完全委託或自動化任務?哪些產業在使用 Claude?這些產業內的細分任務是什麼?哪些州使用 Claude 較多?我們可以即時觀察 Claude 的經濟擴散。」
Amodei 強調,「在我們能夠測量這場經濟轉型的輪廓之前,任何政策都會是盲目且資訊不足的。許多政策之所以失敗,是因為它們基於根本錯誤的前提。」
Amodei 認為,面對如此大規模的經濟衝擊,政府干預將不可避免。「餅會變得大很多,錢會在那裡。預算可能會自動平衡,因為成長太快了。問題是如何分配給對的人。」
「我認為現在可能是少擔心抑制成長、多擔心確保每個人都能分享成長果實的時候了。我知道這與現在的主流情緒相反,但我認為技術現實即將改變,迫使我們的想法改變。」
關於加州的財富稅提案,Amodei 認為這是一個開始,但設計不佳。「我的擔憂是,如果我們不以理性的方式思考這些問題,我們會得到設計不良的方案。」他向其他在這波熱潮中獲益的人傳達訊息:「如果我們不主動思考如何讓這場革命造福每個人,我們就會得到那些不合理的提案。」
Amodei 預測,這些議題最終會超越黨派之爭。「記住我的話,如果不是明年,就是後年回來,每個人都會這樣想。」
談到與中國的競爭,Amodei 直言中國模型在實際商業競爭中表現不如預期。「當然,DeepSeek 引起了很大的興奮。但事實是,那些模型非常針對基準測試進行優化。要針對有限的基準測試清單來優化模型其實很容易。
當我們在現實世界與其他公司競爭企業合約時,我們看到的是 Google 和 OpenAI。偶爾會看到其他美國公司。我幾乎從未輸過合約給中國模型。」
Amodei 強調,晶片禁令是遏制中國 AI 發展的關鍵。「這些公司的 CEO 們自己說是晶片禁運在阻礙他們,他們明確這樣說。」然而,他對川普政府考慮向中國出售先進晶片的政策表示強烈反對。
「想像一下 10 萬人、1 億個比任何諾貝爾獎得主都聰明的人在資料中心裡,它將被某一個國家控制。我認為這是瘋狂的。這有點像把核武賣給北韓,然後吹噓說『是我們賣的』。」
Amodei 的憂慮不在於特定國家或其人民,而在於政府形式。「我擔心 AI 可能特別適合專制統治,並加深我們在專制政權中看到的壓迫。我們已經在今天技術所能實現的監控國家中看到這一點。」
他描述了更令人不安的可能性:「如果你想想 AI 能製作個人化宣傳、入侵世界上任何電腦系統、監控人口中的每一個人、到處偵測異議並壓制它、製造一支能追蹤每個人的無人機大軍。這真的很可怕。我們必須阻止它。」
Amodei 指出,AI 產業由兩類人領導:具有科學背景的人,以及社群媒體時代的創業家。「科學家有長期思考他們所建造技術影響的傳統,認為自己對所建造的技術負有責任,不逃避責任。他們一開始就是被為世界創造東西所激勵的,所以當那些東西可能出問題時,他們會擔憂。」
「我認為創業家的動機非常不同,特別是社群媒體那一代創業家。作用在他們身上的篩選效應、他們與消費者互動的方式,你可以說是操縱消費者的方式,都非常不同。這導致了不同的態度。」
AI 安全: #機制可解釋性的重要性
關於如何確保 AI 安全可控,Amodei 強調機制可解釋性(mechanistic interpretability)的重要性,這是一門研究模型內部運作的科學。「訓練這些模型時的問題之一是,你無法確定它們會做你認為它們會做的事。你可以在某個情境下與模型對話,它可以說各種事情。就像人類一樣,那可能不是它們真正想法的忠實呈現。」
「就像你可以透過 MRI 或 X 光了解人腦的事情,而這些是光靠與人交談無法了解的。研究 AI 模型內部的科學,我相信這最終是讓模型安全可控的關鍵,因為這是我們唯一的真實根據。」
他也揭露了在實驗室環境中觀察到的令人擔憂的現象。「有時模型會發展出勒索的意圖、欺騙的意圖。這不是 Claude 獨有的,其實在其他模型中更嚴重。如果我們不以正確的方式訓練模型,這些特性會出現。但我們開創了研究模型內部的科學,所以我們可以診斷它們,防止模型出現這些行為,介入並重新訓練模型使其不這樣表現。」
面對政治: #基於實質議題表態
當被問及 Anthropic 與川普政府的關係時,Amodei 表示公司的立場是基於議題本身,而非對特定政治人物的好惡。「我不認為支持或反對某個政府、支持或反對某個政治人物是正確的做法,Anthropic 在這些話題上沒有任何立場要表達。」
「Anthropic 非常了解 AI 相關的政策議題,我們的做法是深入思考這些議題,基於議題本身形成實質性的觀點,然後說出我們的想法。有時我們會與現任政府意見不同,就像我們有時與上屆政府意見不同一樣,例如在中國議題上。有時我們會同意。」
他舉例說明有共識的領域:能源和資料中心建設、白宮的健康承諾,以及白宮去年夏天發布的 AI 行動計劃。「那實際上是一份寫得很好的文件,我們喜歡其中大部分內容。但當涉及像賣晶片給中國這樣的事情,我們不同意。當涉及暫停州級監管,我們不同意。因為我們基於實質內容而不同意。」//