最近看到來自法國的圖靈獎得主，也是前 Meta 首席 AI 科學家 Yann LeCun，回應有人問「法國擁有的費爾茲獎得主，比歐洲任何其他國家都多，但在國際數學奧林匹亞競賽（IMO）的表現卻非常差。像匈牙利、羅馬尼亞、保加利亞這些國家，在 IMO 上表現非常好，卻連一位費爾茲獎得主都沒有。為什麼會這樣?」。
他說法國數學家、2022 年費爾茲獎得主 Hugo Duminil-Copin 曾告訴他，自己從來沒有參加過數學競賽，而且非常不擅長這類競賽。
創新的數學研究需要的是創造力、直覺、極高強度的專注，以及長時間的思考；有時這種思考甚至會延續好幾年。
在數學奧林匹亞競賽中表現好，基本上只是測試快速解題的能力。這件事現在 AI 也做得到。一位研究者的重要工作之一，不論是在數學還是其他領域，都不是回答問題，而是提出正確的問題。
這讓人想到多年前 vgod 前輩分享的《軟體工程師的修煉與成長》系列文。vgod 前輩是資訊奧林匹亞的獎牌得主，當年保送台大，後來去 MIT 拿資工博士。他在系列文分享過，即使自己程式能力強，幾乎什麼解決方案都實作得出來，在職涯前幾年卻升遷受挫。
後來他理解到一個人寫程式，與團隊做軟體開發的差異；過去自己常常一個人埋頭做事，雖然做了很多事，但績效考核時卻沒有達到預期。
直到他跟主管深聊後，才意識到原來一直把精力放錯方向，這導致他雖然產出很多，卻沒辦法幫助自己升遷。畢竟不重要的事，就算做兩倍也不會變比較重要。
寫程式只是軟體工程的一小部分。更關鍵的是，在大公司裡，工程師要學的不是只有把想法寫成程式，還包含怎麼在團隊裡寫好程式、怎麼在已上線系統中除錯、怎麼不把別人的程式搞壞、怎麼在橫跨多團隊的複雜系統裡協作。
就如同 Yann LeCun 談到研究者最重要的工作不是回答問題，當軟體工程師升到主任工程師以上 (Staff+)，重點也不會是在解題比別人快。甚至多數時候，重點不是自己跳下來寫程式，而是透過問對的問題、提出對的架構與流程，讓整個組織犯更少的錯。
進到 AI 代理時代，AI 代理會逐漸代勞越來越多局部實作。工程師的角色會更往上移，從親手完成每一步，轉向建立起讓 AI 代理能穩定產出、可驗證、可累積、可交接的工程系統。
這也是我們在《AI Coding 201:從實戰到最佳實踐》談的核心內容，感興趣的讀者，歡迎加入 E+ 成長計畫後觀看。我們把相關連結放在下方留言區～
顯示較少
----
到 2010 年代初，研究人員開始證明神經網路可以為包括人臉辨識系統、數位助理和自動駕駛汽車在內的各種技術提供支援。
By the early 2010s, researchers had begun to show that neural networks could power a wide range of technologies, including face recognition systems, digital assistants and self-driving cars.An A.I. Pioneer Warns the Tech ‘Herd’ Is Marching Into a Dead End
Dr. Yann LeCun 勒昆博士，人工智慧先驅 , 65 歲 談 ：科技「大軍」走錯了方向，正走向死胡同。他的新創公司試圖預測人工智慧行為的後果tried to predict the outcome of its actions. 。他說，這將取得更大進展。 大型語言模式 (LLM) 的限制： 缺乏真正的推理能力。為何語言能力 ≠ 智能。......
Yann LeCun helped create the technology behind today’s chatbots. Now he says many tech companies are on the wrong path to creating intelligent machines.
勒昆博士一再強調，開源是最安全的方式。這意味著沒有任何一家公司能夠控制這項技術，任何人都可以使用這些系統來識別和應對潛在風險。
Dr. LeCun repeatedly argued that open source was the safest path. It meant that no one company would control the technology and that anyone could use these systems to identify and fight potential risks.
Yann LeCun helped create the technology behind today’s chatbots. Now he says many tech companies are on the wrong path to creating intelligent machines.
勒昆博士一再強調，開源是最安全的方式。這意味著沒有任何一家公司能夠控制這項技術，任何人都可以使用這些系統來識別和應對潛在風險。
Dr. LeCun repeatedly argued that open source was the safest path. It meant that no one company would control the technology and that anyone could use these systems to identify and fight potential risks.
----
在德里舉行的AI影響力高峰會上，Yoshua Bengio表示，人工智慧系統應該在沒有任何目標的情況下進行預測。
他認為，目標會賦予系統驅動力和慾望，可能以危險的方式影響系統。
他聲稱，合適的模板是理想化的人類科學家。
我完全不同意這個前提。
我認為任何系統如果沒有目標就無法做任何有用的事情。
我們一致認為，LLM（語言學習模型）本質上是不安全的。但它們不安全的原因恰恰在於它們沒有任何目標，只是模仿那些創作了訓練文本的人類。
我的建議與Yoshua的觀點截然相反。
人工智慧系統*應該*有目標。它們的設計應該使其只能完成我們賦予它們的目標。
當然，這些目標必須包含安全防護措施。
但關鍵在於，根據設計，該系統*必須*實現我們設定的目標，並且*必須*遵守安全防護措施的限制。
我稱之為目標驅動型人工智慧架構。
(At the AI Impact Summit in Delhi, Yoshua Bengio says that AI systems should make predictions without any goal.
He says goals would bias the systems in possibly dangerous ways by giving it drives and desires.
He claims that the proper template to use is idealized human scientists.
I completely disagree with the whole premise.
I don't think any system can do anything useful without an objective.
One point we agree on is that LLMs are intrinsically unsafe. But they are unsafe precisely because they don't have any objectives and merely emulate the humans who produced the text they've been trained on.
My recommendation is the exact opposite of Yoshua's.
AI systems *should* have goals. They should be designed so that they can do nothing else but fulfilling the goals we give them.
Naturally, these goals and objectives must include safety guardrails.
But the point is that, by construction, the system *must* fulfill the goal we give it and *must* abide by the safety guardrail constraints.
I call this objective-driven AI architectures.)
沒有留言:
張貼留言