銷售奇才
如果Jetson Orin Nano把名字最後加上Super就可以稱之為AI Supercomputer的話，那真是太神奇了。我將如此誇大的用詞和宣傳視為NV黃總裁的幽默，好比寒冬經歷一個愚人節的玩笑，看看有哪些人真的瞎起鬨、被愚弄 🙂
如此80TOPS就算是超級電腦，那麼我的研究團隊已經擁有不少可以稱得上AI 超級電腦的設備，要瞎起鬨的話，是不是把實驗室名字最後加上Super，也可以成為超級電腦實驗室呢？下學期的課，或許每一組學生發一個Nano Super，宣稱大家都有超級電腦可以做實驗？
玩笑就開到這裡。
話說NVDIA的Jetson系列已經有多年的歷史[1]，基本上是把GPU整合進耗電不大的系統晶片，作為嵌入式系統開發版使用。由於有NV自家的GPU，可以跑特定版本的CUDA以及cuDNN等，因此特別主打智慧多媒體、智慧控制器、機器人等應用，適合拿來做教學。
只是說，Jetson系列一直賣得不是很好。理由在此就不多談，簡單地說就是功能不上不下，價格欠缺吸引力。以Orin Nano 而言，8GB的版本的定價是1萬8千多元台幣，現在都可以買一台最新的16GB的Mac Mini了。我們去年為了研究和利用NV GPU-CPU之間的實體共享記憶體效能，花了6萬元以上買AGX Orin，價格並不親民，雖然它64GB的記憶體可以跑較大的LLM，但算力還是有其局限性。
這次推出的Jetson Orin Nano Super，對顧客（玩家）而言最重要的是價格折半，加上NV的宣傳推銷手段，我猜接下來應該會看到校園專題競賽和Maker活動中出現一波內建小型語言模型（SLM）、用SLM辨認分析、會與人對話的智慧裝置、機器人。
竟然可以蹭上NV超算的熱度，黃總行銷團隊的想像和創作能力，以及媒體的操作力真是驚人。
不過正如我前幾天所提到的，在本地端跑SLM/LLM的確有其需求，只是等待應用軟體成熟。NVIDIA之所以願意長期耕耘Jetson系列，即是希望藉著自身在GPU的智財以及在AI生態系獨領風騷的利基，在本地端AI起飛之際，以Jetson系列佔據領空。
黃總真是銷售奇才。
[1] https://en.m.wikipedia.org/wiki/Nvidia_Jetson
「Top-5 Things」（簡稱T5T）的電子郵件，列出5件最重要的事項
T5T郵件制度在幫助他把握公司動態、
這些被稱為「T5T」的郵件，內容包含員工正在進行的工作、思考的事情，以及在各自工作領域中觀察到的現象。黃仁勳表示：「只要你寄出，我就會讀。」他透過閱讀 ...黃仁勳的制勝法寶：透過T5T郵件掌握公司脈動，實現層級扁平化
T5T郵件制度在幫助他把握公司動態、
《The Nvidia Way》曝最愛用台灣白板筆
Chip War: The Fight for the World's Most Critical Technology
Wikipedia
https://en.wikipedia.org › wiki › Chip_War:_The_Fight...
Chip War: The Fight for the World's Most Critical Technology is a 2022 nonfiction book written by Chris Miller, an economic historian and nonresident senior ...
'Every Industry, Every Company, Every Country Must ...
NVIDIA Blog
https://blogs.nvidia.com › ai-summit-japan-huang-son
Nov 12, 2024 — NVIDIA founder and CEO Jensen Huang and SoftBank Group Chairman and CEO Masayoshi Son discuss Japan's emerging role in AI.
Missing: g5 | Show results with: g5
Nvidia CEO Jensen Huang to Softbank founder and ...
Times of India
https://timesofindia.indiatimes.com › ... › Tech News
Nov 14, 2024 — Japan's SoftBank Group Corp will be the first to build a supercomputer with chips using Nvidia's new Blackwell design.
Missing: g5 | Show results with: g5
NVIDIA AI Summit Japan to Feature Discussion on AI's Future
NVIDIA Blog
https://blogs.nvidia.com › blog › ai-summit-japan
Nov 7, 2024 — NVIDIA founder and CEO Jensen Huang will join SoftBank Group Chairman and CEO Masayoshi Son in a fireside chat at NVIDIA AI Summit Japan.
Nvidia gained a commanding position in artificial intelligence because its chief executive, Jensen Huang, bet that its semiconductors could be essential to building the technology.Jim Wilson/The New York Times
Wikipedia
https://en.wikipedia.org › wiki › Chip_War:_The_Fight...
Chip War: The Fight for the World's Most Critical Technology is a 2022 nonfiction book written by Chris Miller, an economic historian and nonresident senior ...
英伟达CEO黄仁勋是如何避税80亿美元的
通过把个人财富转化为金融工具、利用慈善基金会捐款等操作，黄仁勋和家人预计可以省下约80亿美元税金。这些规避遗产税的措施凸显出极富阶层如何操控美国税收系统。
即使脫下皮夾克，黃仁勳依舊是行銷高手。
這是他第二次造訪越南。一年前，他初次到訪河內時喝到「蛋咖啡」，他暗中記下。 現在他再度造訪河內，受邀參加 100 名人工智慧專家會議，就堅持親自調配 100 杯蛋咖啡，分給與會者享用。
黃仁勳表示「越南是 Nvidia 的第二故鄉」。又說他十分喜愛蛋咖啡，它象徵著越南人民在艱困時期的創造力，有機會的話他會繼續喝蛋咖啡，並希望在國外看到越南咖啡品牌。
蛋咖啡的產地就在河內，黃仁勳以蛋咖啡為喻，既顯示他了解越南人的歷史，也誇讚當地人的機智，還不經意點出越南企業想走出國際的願望。為了證明他不只是隨口說說，他還親手調製了 100 杯蛋咖啡給與會者。雖然完全不清楚為何「越南是 Nvidia 的第二故鄉」，但是黃仁勳顯然打動了在場越南專家及媒體的心。
這背後其實是 Nvidia 行銷團隊的努力。據該餐廳店長表示，他們大約兩個月前收到通知，被要求保密。然後幾乎每天都有 Nvidia 的人聯繫他們，再三確保每一個細節，並且要求在蛋咖啡杯上畫上越南風景而特製了餐廳的杯子。
隨後黃仁勳也沒停下，立刻趕去和總理范明正會合並聯袂逛街，受到市民如明星般的歡迎。黃仁勳因為越南炎熱的天氣，而不得不脫下著名的皮夾克，身著T恤，但是絲毫不減受到追捧的程度，許多人在擁擠的人群中如追星般要求他的簽名和合照，黃仁勳並且和總理范明正一起坐下喝啤酒，隨後為 Nvidia 在越南的未來鋪好了路。
'Every Industry, Every Company, Every Country Must ...
NVIDIA Blog
https://blogs.nvidia.com › ai-summit-japan-huang-son
Nov 12, 2024 — NVIDIA founder and CEO Jensen Huang and SoftBank Group Chairman and CEO Masayoshi Son discuss Japan's emerging role in AI.
Missing: g5 | Show results with: g5
Nvidia CEO Jensen Huang to Softbank founder and ...
Times of India
https://timesofindia.indiatimes.com › ... › Tech News
Nov 14, 2024 — Japan's SoftBank Group Corp will be the first to build a supercomputer with chips using Nvidia's new Blackwell design.
Missing: g5 | Show results with: g5
NVIDIA AI Summit Japan to Feature Discussion on AI's Future
NVIDIA Blog
https://blogs.nvidia.com › blog › ai-summit-japan
Nov 7, 2024 — NVIDIA founder and CEO Jensen Huang will join SoftBank Group Chairman and CEO Masayoshi Son in a fireside chat at NVIDIA AI Summit Japan.
“Our total cost of ownership is so good that even when the competitor’s chips are free, it’s not cheap enough,” Mr. Huang said The Furious Contest to Unseat Nvidia as King of A.I. Chips
Amazon, Advanced Micro Devices and several start-ups are beginning to offer credible alternatives to Nvidia’s chips, especially for a phase of A.I. development known as “inferencing.”
Amazon announced the availability of computing services based on its new Trainium 2 A.I. chips and testimonials from potential users including Apple. The company also unveiled computers containing either 16 or 64 of the chips, with ultrafast networking connections that particularly accelerate inferencing performance.Amazon is even building a kind of giant A.I. factory for the start-up Anthropic. That computing “cluster” will have hundreds of thousands of the new Trainium chips and will be five times as powerful as any that Anthropic has ever used,
【機械人時代】黃仁勳獲香港科大榮譽博士 稱機械人時代即將到來
“Our total cost of ownership is so good that even when the competitor’s chips are free, it’s not cheap enough,” Mr. Huang said
The Furious Contest to Unseat Nvidia as King of A.I. Chips
Amazon, Advanced Micro Devices and several start-ups are beginning to offer credible alternatives to Nvidia’s chips, especially for a phase of A.I. development known as “inferencing.”
Amazon announced the availability of computing services based on its new Trainium 2 A.I. chips and testimonials from potential users including Apple. The company also unveiled computers containing either 16 or 64 of the chips, with ultrafast networking connections that particularly accelerate inferencing performance.
Amazon is even building a kind of giant A.I. factory for the start-up Anthropic. That computing “cluster” will have hundreds of thousands of the new Trainium chips and will be five times as powerful as any that Anthropic has ever used,
【機械人時代】黃仁勳獲香港科大榮譽博士 稱機械人時代即將到來
Nvidia Doubles Profit as A.I. Chip Sales Soar
The company, which dominates the market for chips used to build artificial intelligence, expects another big jump in the current quarter.
Nvidia gained a dominant position in A.I. because its chief executive, Jensen Huang, bet that its semiconductors could be essential to building the technology. He spent years developing software and servers that would allow the chips, known as graphics processing units, or GPUs, to train systems in order to recognize images and predict words. The wager helped him corner 90 percent of the chip market.
黃仁勳在加州理工學院演講
輝達執行長黃仁勳14日赴加州理工畢業典禮致詞，他敘述了超微（AMD）、英特爾與高通如何一年又一年地先後斷絕輝達崛起之路。而這些挫折，又如何養出輝達的韌性與性格。
他用輝達崛起的故事，說明輝達如何透過策略思考與分析，勇於押注。
他也不吝嗇分享輝達一路上遭遇的諸多挫折──比方說，輝達為何必須退出行動裝置市場，以及輝達如何遭競爭者夾殺，不得不學會把挫折當契機。以下為黃仁勳在畢業典禮上的致詞摘要：
你們應該更興奮一點，你們是從加州理工學院畢業耶，這可是物理學家理查·費曼（Richard Feynman）、萊納斯·鮑林（Linus Pauling）和對半導體業影響深遠電腦科學家卡弗·米德（Carver Mead）待過的學校。
今天不僅是你們光榮和開心的日子，也是父母、家人數不清的犧牲，讓你們達到這個里程碑。讓我們抓住這一刻為他們鼓掌，展現你們有多愛他們。
你不會想忘記謝謝他們，因為你不知道你還要住在家裡多久。（笑）
作為驕傲的家長，我很開心孩子沒有搬出去，每天見到他們是美好的事。但他們現在搬走了，讓我好難過。
你們能走到這裡，證明了你們的性格、決心，願意為了夢想做出的犧牲。你們應該感到自豪。做出犧牲，忍受痛苦和磨難，這些都是人生所需特質。
你們和我有一個共通點。首先，輝達兩位晶片科學家都出身加州理工。而我今天來發表演講的其中一個原因是，輝達在找人。我要告訴你們輝達是一間很好的公司，我是個好老闆，大家都愛我。來輝達上班吧。
我們也都對科學和工程充滿熱情，雖然年齡可能差了40年，但我們都處於生涯的顛峰。對於關注輝達和關注我的人來說，你們大概懂我的意思。以你們的情況來說，更多巔峰在後頭。而我希望我還沒到頂。（笑聲）
我一直很努力，要有更多機會登峰造極。
去年我很榮幸在台灣大學發表畢業演講，分享了幾個關於輝達的旅程故事，以及一些也許對畢業生有價值的創業教訓。我必須承認，我不喜歡給建議，尤其是給別人的孩子建議。所以，今天我的建議會隱藏在一些我喜歡的故事和一些我享受過的人生經歷中。（看更多：謙卑、堅持、有所捨 黃仁勳台大畢典致詞：跑起來，別用走的）
我想我是當今世上在任時間最長的科技CEO，在31年的時間裡，我成功避免了破產、沒有倦勤、沒被解雇。因此，我有幸享受了從無到有創建輝達的許多人生經歷。
在80年代，我是第一代 VLSI （超大規模集成電路系統）工程師之一，學會了設計晶片，它使我們這一代人能夠設計超大型晶片，最終設計了 CPU。
我在你們這個年紀的時候，IT 產業還很小，賣軟體賺錢的概念還像是天方夜譚。
Dennard縮放比例定律（Dennard scaling）、電晶體縮放（Transistor Scaling）的限制，讓CPU 性能的成長慢了下來。當計算需求繼續指數成長時，CPU 性能成長減慢了。計算需求和計算能力之間的指數成長差距若未獲得解決，計算能源消耗和成本上升最終會限制每個行業。我們現在就能非常清楚看到算力通貨膨脹的跡象。
經過二十年的進步，我們發展了 NVIDIA CUDA（Compute Unified Device Architecture，統一計算架構）。它在我們見證計算通貨膨脹的時候，恰好出現了。通過將耗時的演算法轉移到專門進行並行處理的 GPU 上，我們經常實現10倍、100倍，有時甚至1000倍的加速，節省了時間、成本和能源。
無論加速計算在時間、成本或節能方面帶來了多大的提升，肯定會在其他地方引發新的發展。我們只是不知道它是什麼，直到我們認識了深度學習。
2012年，加拿大科學家克里澤夫斯基（Alex Krizhevsky） 和辛頓（Jeff Hinton） 設計了一個新的架構─深度學習架構AlexNet，在ImageNet 比賽中震驚了電腦視覺社群，這是深度學習的大爆炸，標誌著 AI 革命的開始。我們其後做出的決策徹底改變了我們的公司，這是值得注意的。
當時我們是一家規模相對小的公司，建構大型 GPU 集群可能花費數億美元，我們該如何在不構建這些大型 GPU 集群的情況下探索深度學習的極限？沒有人知道深度學習能擴展到多遠，如果我們不構建它，我們永遠不會知道。
這是一個「投入之後，會換來結果嗎」的問題。但我們的邏輯是，如果我們不建造它，就不會有結果。
我們堅定基於第一原理信念和分析，最終我們相信這將非常有效，當我們公司相信某件事時，就會全力以赴。我們深入研究深度學習，並在接下來的十年中有系統地重新發明計算領域的每一個層面。從 GPU 本身開始，發明了現代 GPU，它與我們最初發明的 GPU 完全不同。
我們繼續發明互連系統、系統、網路，當然還有軟體。我們投資了數十億，把數十億投進未知領域。數千名工程師在十年內致力於深度學習的研究和發展，對於技術能把我們帶到多遠一知半解。我們設計並建造了超級電腦，以開發 GPU。2016年，我們發明了我們的第一台超級電腦DGX-1，並將第一台超級電腦送到舊金山致力人工智慧的無名小卒新創，公司名稱叫OpenAI。
在2022年，十年後的 AlexNet，以及計算能力成長了一百萬倍。想像一下，如果你的筆記型電腦的作業能力成長了一百萬倍。一百萬倍之後，OpenAI 推出了 ChatGPT，AI 走向主流。
在這十年裡，輝達從一家你們可能知道的顯卡公司，製造 GPU，到現在成為一家 AI 公司，製造大規模資料中心等級的超級電腦。我們徹底改變了我們的公司。我們徹底改變了運算。
軟體及其能做的事情已經完全改變。甚至我們的產業也在發生變化，變革創造了一個從未見過的新行業。在我們眼前，一個行業正在變革。AI 的輸入和輸出是符號。所有的工程師，你們知道我在說什麼。 一連串的挫折，輝達找沒有客戶的市場。
AI 的下一波浪潮是機器人技術。AI 除了語言模型外，還將擁有物理世界模型。我們與數百家公司合作，製造機器人、機器人車輛、搬運機器人、人形機器人，甚至整個巨大的機器人倉庫。但與我們在 AI 工廠中的經驗不同，AI 工廠的策略是透過推理和有意的行動形成的，而我們的機器人技術之旅則是一系列挫折的結果。
如你所知，輝達發明了 GPU，這是在我們發明 AI 工廠之前。我們開始將 GPU 與主機板晶片結合起來。我們推出了一款集成顯卡晶片，當時用於超微（AMD） 的 CPU。我們的晶片業務迅速取得了成功，幾乎一夜間從零成長到十億美元。但後來，AMD 希望控制 PC 中所有技術，而我們希望保持獨立，所以他們收購了繪圖晶片大廠ATI，不再需要我們。
我們轉而找上英特爾。這可能不是一個好主意，但我們轉向了英特爾（全場笑），並且協商了一項連接到英特爾 CPU 的許可。蘋果對我們正在建構的東西感到興奮，並要求我們與他們合作開發一台新電腦，這就是第一代 MacBook Air。英特爾看到這一切後，不再希望我們這樣做，所以他們終止了我們的合約。
嗯，我們再一次轉向。這次我們去獲得了安謀（ ARM） 的授權，建構了一個低功耗的系統單晶片（SoC）。一個行動 SoC，那是世界上第一個本質上算是一台電腦系統的SoC，它非常棒。Google看到興奮不已，要求我們與他們合作開發一個新設備，這個設備成為了 Android行動設備。
好了，這下高通決定他們不希望我們這樣做。他們不希望讓我們連接到他們的數據機，而沒有連接到數據機很難製造行動設備。沒有其他 LTE 數據機公司，所以我們不得不退出行動設備市場。
基本上，這每年都會發生一次。我們會建構某些東西，取得巨大成功，讓客戶興奮，一年後就被踢出市場。
沒有更多市場可以找了，於是我們決定打造一個確定沒有客戶要的東西。（全場笑聲） 因為至少有一件事可以確定，如果沒有客戶，就沒有競爭對手，也沒有人在乎你。
所以我們選擇了一個沒有客戶的市場，一個零商機市場，那就是機器人技術。我們製造了世界上第一個機器人電腦，處理一種當時沒有人理解的演算法，稱為深度學習。這已經是十多年前的事了。十年後，我對我們所建立的一切感到非常滿意。我們有機會創造下一波 AI。更重要的是，我們培養深具靈活性和韌性的文化。
一次又一次的挫折中，我們振作起來，奔向下一個機會。每次我們都獲得新技能，鍛鍊和增強了性格，企業的性格。如今，有任何挫折出現，都被我們看成機會的曙光。
世界是充滿不確定性的，正如物理學家理查·費曼所說，世界可能是不公平的，並且狂發給你一些爛牌。
快速地把它甩在腦後吧（swiftly Shake It Off）。快速地把它甩在腦後吧。（借用泰勒絲的梗，但觀眾的笑聲來得很慢）拜託，這個梗很好笑好不好？我自己都笑了。
2024年畢業生們，我幾乎無法想像有誰比你們更準備好了。你們全身心投入、努力、從世界上最負盛名的學校之一獲得了世界級的教育。當你們進入下一階段時，希望我的經驗能在未來的路上幫上忙。你們可能會找到你們的 GPU，你們可能會找到你們的 CUDA，你們可能會找到你們的生成式 AI，找到你們的輝達。
希望你們能把挫折看作契機。痛苦和磨難將增強你們的品格、韌性和靈活性，它們是終極的超能力。在所有我最珍視的能力中，智慧並不排在首位。我的超能力是忍受痛苦和磨難。我能夠長時間專注於某件事。我能與挫折共處並看到機遇就在轉角處。希望這些超能力也是你們的。
我希望你們找到精湛技能。有沒有在第一天就下定決心並不重要，就算沒有很快決定也不要緊。但願你們找到一種願意終身致力追求完美的技藝，不斷提高技能。最後，為人生安排優先順序。生活中有很多事在發生，懂得輕重緩急，你們會有足夠的時間做重要的事情。
恭喜2024畢業生。上吧！
※資料來源：天下Web only：2024-06-15
。。。。
AI 成吉思汗
黃仁勳請客的哲學：
『 宴請大老闆們，吃小餐廳，每桌4800元；
宴請員工們，吃大飯店，每桌1萬8千。
因為他知道，大老闆不是來吃飯的，是來聊天的；
重點不是吃什麼，而是跟誰在一桌然後聊了些什麼。
員工們來，是來吃好菜的；
重點不是老闆是誰，而是老闆請我吃的是什麼好菜。』
用4800元請大老闆吃飯，雖在美國長大，確吃最台式的熱炒，快速將彼此的距離拉近，也表示雖然大家都極有錢，但絕對用錢謹慎，大家成為合作伙伴肯定靠譜。
宴請員工吃大飯店，表示老闆不止慰勞員工，也重視員工，因為沒有一群優秀且賣力的員工，哪能成就一間偉大的公司。
。。。。
如果給黃仁勳的演講抓一個給大眾的看點，我覺得是「#喜歡看到別人成功」。
他的演講很技術，CUDA（快快快！）、數位孿生、機器人⋯⋯但我想聊聊他每年COMPUTEX都要埋的哏：夜市。
我一直好奇，以nVIDIA的地位，黃仁勳完全無需再做帶記者逛夜市這樣的PR活動，但他似乎樂此不疲。今年，他甚至帶上了科技大老們。我幾乎能想像Morris與Barry的為難，兩位都七、九十高齡，半退隱了呀！
到底動機是什麼？
這一次他說出來了：#喜歡看到別人成功。
========
演講起頭是講到2016年，當時默默無名的OpenAI向nVidia訂了一台超級電腦。看簡報照片，黃仁勳親自送去了（當時就開始穿皮衣！）電腦，並與馬斯克合影。
故事後來的發展，我們都很清楚。
接著，簡報秀出大家熟悉的ChatGPT對話介面：「What is the closest night market to Taipei 101？」（離台北101最近的夜市是哪一個？）
黃仁勳話鋒一轉，開始講夜市。
「你們都知道，夜市對我很重要，我很喜歡看人，」四歲半時，爸媽常帶他去圓環（網友說，應該是台南民族路夜市延伸到西門圓環？台南鄉親請考古XD）逛夜市，吃蚵仔煎。有次攤販在洗刀子，沒注意到小小的他，臉上就留了一道疤，也留下深刻的印象。
他開始點名，通化夜市有個水果阿姨，做了43年；每一年去，都覺得她切工愈來愈好，還要大家快去找她，「真的很好吃啦！」
每個故事都有細節、有情緒，透露黃仁勳真的對一個個的「人」好奇。我猜，他爸媽應該把童年那場可怕的意外，轉化成一個正向經驗，不然他可能就不敢逛夜市了XD。
正當全場哄堂大笑，黃仁勳輕描淡寫帶過一句，「#我喜歡看到她成功。」
我突然看懂了。這一次，黃仁勳的台北美食地圖更多，連多年理髮師也被他主動曝光；球場簽名更是來者不拒，「#給別人一點快樂嘛！」他這麼說。
這句話從一個幾乎是全球最有權、也最有錢的人口中說出，多麼有重量。
========
兩小時演講最後，原本high得像個搖滾巨星的黃仁勳，突然開始結巴，然後便猝不及防地，放了那支「感謝台灣」的影片。
「台灣幫助我們實現了一個願景，在這條漫長的路上，無數的夥伴支持著我們，
從加速運算，電腦繪圖，科學研究到人工智慧的高峰，
每一個晶片，每一台電腦，都描寫著你們辛勤工作，和追求完美的故事。
#台灣是無名的英雄，卻是世界的支柱，
一起，我們推動了產業的復興；辛勤的耕耘，讓我們能夠納入嶄新的運算領域⋯⋯
親愛的夥伴們，你們是AI產業革新的後盾，無論面對多大的風浪，你始終穩如磐石。
科技的卓越，勤奮，與齊心合力的精神，是你的超能力，
沒有你，我們的願景只是一個無法實現的夢想。
與你同行，我們勇往直前。
謝謝你，台灣。
#讓我們繼續為這段AI創新之旅，打造一個成功與繁榮的產業。」
========
我看著這支台味十足的影片，一邊激動回想：
台灣成為全球關鍵科技聚落30年來，哪個外國CEO曾在最如日中天時，於重要公開場合肯定台灣的重要，並一點點名，感謝供應鏈給予的幫助？
一時還真想不到。於是日子久了，我們也開始看輕，甚至看衰自己。
回到多年前某個時空，幾個台灣企業在沒有強烈期待下，接了走投無路的nVIDIA訂單，鼓動了一個微妙的「蝴蝶效應」；如今迎來AI時代高峰，黃仁勳才能回過頭來，幫助台灣產業、甚至整個國家，一起成功。
台灣科技業與黃仁勳不只是單純商業夥伴，或許，還有那麼一點點惺惺相惜。
喜歡幫別人成功的人，#誰不也想幫助他成功呢？
>> 未來城市 https://futurecity.cw.com.tw
>> 天下COMPUTEX特別報導 https://www.cw.com.tw/
【AI熱潮】輝達宣佈2026年推出下一代Rubin人工智能平台
https://reurl.cc/70nA1N
輝達行政總裁黃仁勳（見圖）說，輝達計劃每年升級其人工智能AI加速器，宣佈2025年推出Blackwell Ultra晶片，2026年推出名為Rubin研發中的下一代平台。他表示，輝達把產生式人工智能的崛起視為一場新的工業革命，預計隨著該技術向個人電腦轉移，將發揮重要作用。
#AI熱潮 #輝達 #黃仁勳 #BlackwellUltra晶片 #Rubin #新工業革命
I watched Nvidia's Computex 2024 keynote and it made my blood run cold
When I saw Nvidia ACE at CES 2024, I was genuinely impressed by the potential for this technology to make video games feel more dynamic and alive. I should have known that we're far more likely to see Nvidia ACE at the checkout counter than in any PC games any time soon.
In one segment of the keynote, Huang talked about the potential for Nvidia ACE to power 'digital humans' that companies can use to serve as customer service agents, be the face of an interior design project, and more. This makes absolute sense, since who are we kidding, Nvidia ACE for video games won't really make all that much money.
However, if a company wants to fire 90% of its customer service staff and replace it with an Nvidia ACE-powered avatar that never sleeps, never eats, never complains about low pay or poor working conditions, and can be licensed for a fee that is lower than the cost of the labor it is replacing, well, I don't have to tell you how that is going to go.
輝達（Nvidia）創辦人黃仁勳今（6/2）日在台灣大學致詞，以下為演講內容：
大家好，今天非常高興能夠回到這裡。首先，我要感謝國立台灣大學，讓我們使用你們的體育館。上一次來這裡時，我獲頒了一個台大的學位，在演講時我說了“Run, don't walk”這樣的金句。所以，今天我們有很多內容要講，我不能用走的，而得用跑的。
1. NVIDIA從這裡開始
台灣是我們非常珍貴的夥伴的集中地，NVIDIA的一切都從這裡開始。我們的夥伴和銷售團隊，從台灣把這一切帶到全世界。台灣與輝達的合作，創造了全世界的AI基礎架構。
2. 輝達的靈魂
今天我想要跟大家談幾件事：首先，生成式AI對於我們的產業以及所有其他產業的影響。我還會談談我們未來的前景及所帶來的機會，以及接下來會有什麼樣的發展。現在是非常令人振奮的時刻，我們要重新啟動我們的電腦產業，這個產業是由大家打造和創造的，現在也要準備好開啟下一個重大的旅程。
在我們開始之前，我想強調輝達NVIDIA在電腦繪圖、模擬及人工智慧方面的重要性。這些技術是我們的靈魂。今天展示的全部都是擬真和模擬，背後都是數學、科輝達的靈魂學和電腦科學，這些都不是動畫，而是我們自製自產的技術，這是輝達的靈魂。
我們將這些技術放入虛擬世界中，稱之為Omniverse。請看Omniverse的展示，它背後的兩個關鍵技術是加速運算和人工智慧。這些技術在Omniverse裡運行，會重新打造整個電腦產業。
3. 我們的發明
電腦產業已有60年的歷史，從IBM 360的中央處理器開始，至今經歷了數次重大科技轉型。下一個重大改變即將來臨，處理器的效能擴展速度大幅降低，但我們需要處理的資料卻在快速增長，這導致了運算通膨。加速運算成為了必然，我們發明了平行運算架構，結合GPU和CPU，從而大幅提升了運算速度和效能。
過去20年，我們開發了各種函式庫來加速運算，像是CUDNN、Aerial、ParaBricks等，涵蓋了從AI到電信至基因定序等多個領域。我們在全球擁有500萬名開發人員，服務各行各業，從金融到健康護理，從電腦產業到交通運輸。
加速運算帶來的效益顯著，我們在資料中心節省了大量成本和能源，開發了更多應用程式，並降低了運算成本。這種良性循環使得我們能夠開發出更多創新技術，如地球的數位孿生，用以預測和應對氣候變遷和天災。
今天，我們即將見證一個新的電腦時代的開始，生成式AI的發展讓我們能夠實現更多不可能的事情。
4. 全球氣候的數位孿生模型
在星期六，颱風再次朝北前進，其路線帶來巨大的不確定性，而這不確定性帶來了對台灣不同的影響。但現在，我們能夠想像一個世界，一個能夠預測未來的世界，這就是數位孿生所能實現的。數位孿生是一種虛擬模型，它反映了真實世界的情況，並且能夠從現有的數據中預測未來的影響。NVIDIA EARTH 2就是一個極佳的例子。它利用AI、物理模擬和電腦圖形技術，建立了一個全球氣候的數位孿生模型。
其中一個核心技術是CoreDiff，這是NVIDIA的生成式AI模型，它能夠以高達12倍的解析度生成天氣模式，這將區域天氣預測帶入了一個全新的境界。更驚人的是，它比傳統的物理模擬方法快了1000倍，並且能源效率高達3000倍。
在台灣的中央氣象署，他們使用這些模型來更精確地預測颱風登陸點，這對於減少颱風帶來的災害有著重大的意義。而未來的發展將朝著超本地預測方向發展，這將使預測更加精確，能夠考慮到城市基礎設施的影響。CoreDiff AI還在使用像是PAL生成的高解析度數據進行訓練，這使得模型能夠更準確地模擬大氣和海洋邊界層，預測出像下沖這樣的現象，從而更好地保護城市和居民的安全。
5. 發現了CUDA的潛力
在2012年，一件重要的事件改變了遊戲規則。我們持續改進CUDA，期望提高效能、降低成本。於是，AI研究人員在2012年發現了CUDA的潛力，這是NVIDIA第一次接觸到人工智慧，標誌著重要的一天。我們與科學家合作，研究深度學習系統，使我們的電腦系統取得重大突破。更重要的是，我們必須了解深度學習的基礎，以及它的長遠影響和潛力。
6. 深度學習
深度學習是幾十年前的演算法，但現在因為資料量和運算能力的增加，使得深度學習從不可能變成可能。而隨著更多資料、更大的網路和更好的運算能力，深度學習的潛力無限。在2012年之後，我們有了Tensor Core和NVLink等技術，整合在我們嶄新的電腦裡面。
7. 超級電腦時代
2016年，我們將全球第一台超級電腦交給了OpenAI，開啟了DGX超級電腦時代。隨後，我們不斷擴大規模，到2017年推出了Transformer系統，進行大量資料的訓練，並分析長時間的資料，實現自然語言處理等重大突破。
2022年11月，我們用幾千個幾萬個NVIDIA的GPU，做了很多訓練，因此，OpenAI等公司在短短5天內，就有100萬人在使用我們的人工智慧系統，取得了驚人的成績。
這些創新的背後是NVIDIA的不斷努力，我們致力於改進CUDA和其他技術，以提供更好的效能和使用體驗。我們相信，隨著技術的不斷發展，AI將為人們的生活帶來更多便利和可能性。
在應用程式與系統優化方面，易於部署的微服務或NIMS已經變得十分普及。開發者可以將ACE NIMS整合到現有的框架、引擎和數位人體體驗中。Nemotron SLM和LLM NIMS能夠理解我們的意圖並協調其他模型的運作。Riva Speech NIMS用於互動式語音和翻譯，而音訊到面部和手勢NIMS則用於面部和身體動畫。Omniverse RTX與DLSS可進行皮膚和頭髮的神經渲染。ACE NIMS運行於NVIDIA GDN上，這是一個全球性的NVIDIA加速基礎設施網絡，提供低延遲的數位人體處理服務覆蓋100多個地區。
ACE可在雲端上運行，也可以在個人電腦上運行，並且所有RTX GPU都配備Tensor Core Processing。現在，有超過一億台GeForce RTX AI個人電腦，並且推出了200多款新的AI個人電腦。未來，個人電腦將成為一個重要的AI平台，提供各種背景的支援和由AI強化的應用程式。
8. AI的發展
AI的發展將朝向更加符合物理定律的方向。大多數的AI目前還不太符合物理定律，但未來的AI將基於物理定律，並逐漸理解這些定律。AI將從各種方式中學習，包括觀看影片、模擬和與其他電腦互相學習，這就像AlphaGo與自己對弈一樣。
透過強化學習和合成生成的資料，AI的發展速度將加快，並將更好地適應物理定律。因此，未來的模型將變得越來越強大，需要更大的GPU來支援。
Blackwell就是為了這樣子的一個新的時代而發明的，Blackwell當然其中光是晶片的規模，晶片的大小大家就會發現是一個很大的成就，因為台積電它可以生成的最大晶片，我們把它連接在一起，它每秒是10TB的連結，這個可以說是全世界最先進的Service，把它連接在一起，然後我們把這兩個放在一個電腦的節點上，用Grey CPU把它連接在一起，Grey CPU可以做很多事情，在訓練的這一個情境裡頭，我們可以來做快速的檢查點，然後重新啟動，那麼在推論的情況，它可以用來儲存這個情境的記憶，所以AI它就有記憶了，它了解這個對話的情境，這是我們的第二代的Transformer的引擎，Transformer的引擎讓我們可以去，動態的去適應更低的精度，根據我們所需要的精度，需要的範圍來調整，這是第二代的GPU，是我們可以請，要求我們的這個服務供應商來保護我們的AI，讓它不會被偷竊，或者是被毀壞，這是我們第五代的MV-Link，MV-Link讓我們可以把多個GPU連接在一起，等一下會再給大家展示。
9. RAS的系統
除此之外，這也是我們的第一代，有一個可靠而且可用的引擎，這個RAS的系統讓我們去測試每一個電晶體，每一個Flip Flop的記憶，不管是晶片上或晶片外，讓我們可以去決定說，某一個晶片是不是失靈了，如果說一台超級電腦它有一萬個GPU，它的平均時，NTBF是一萬個小時過去，但是現在是用分鐘來測量的，所以一台超級電腦，它要能夠運行很長的一段時間，讓它可以長期好幾個月來訓練一個模型，它的前提是我們的科技要非常可靠。
換句話說它不能夠中斷運行，你要持續的讓它運行，它就要花很多的時間很多的金錢，所以我們加入了一個資料的壓縮引擎，還有解壓縮的引擎，讓我們可以在資料存取上面快20倍，那麼這個都是Blackwell，我們這邊有一個已經在生產中的Blackwell，在GDC我有給大家看Blackwell，它是一個圓形，我們看，原來是在另外一邊，這就是為什麼要先做一些演練嘛，在美國剛好是反過來哦，各位女士，各位先生，這就是Blackwell，這就是我們正式生產的Blackwell，裡頭有最尖端的科技，這就是我們實際生產的一個板，可以說是有史以來功能效能最強大的一個晶片，這個是我們的CPU，每一個裸晶，應該說我們把兩個GPU的裸晶串聯在一起，這可以說是世界上我們可以生產出來最大的晶片，而且它兩個串聯起來的時候，它的連接的速度是10個TB，這個是Blackwell的電腦，它的效能非常的強大。
10. 浮點運算能力
請各位注意一下我們的螢幕上面所秀出來的，我們來看一下它的浮點運算能力，每一代的產品，它的浮點運算能力，幾乎8年內增加了1000倍，摩爾定律，如果是經過8年的話，頂多我們算一下吧，大概40倍頂多，對不對，40倍60倍，可是在過去這8年當中，摩爾定律它的速度已經變慢了，所以我們來做個比較，即便是在摩爾定律的巔峰時期，拿來跟Blackwell做一個比較，其實Blackwell我們看到這個GPU的運算能力，它進步的速度真的太快了，而且它的成本會不斷的下降，因此它的運算能力不斷的提高，這也代表我們用來訓練GPT-4系統，也就是它有兩兆個參數，有8兆個次元的這樣的一個系統，我們所要消耗的電力，大概就是原來的1/350而已，Pascal過去可能要，滑1000度，換句話說，我們現在還沒有一個Gigawatt的資料中心，你如果是有這樣的資料中心，你要花一個，你如果是100個Megawatt，你要花一整年的時間，來處理這麼多的資料，當然我們不可能去蓋這樣的一個資料中心，這就是為什麼大型語言模型過去，8年之前都還是不可能的，可是因為它的效能提升了，能源效率提升了，它的成本下降了，因此我們有了Blackwell之後，過去要100個，1000個Gigawatt，也就是如果是Gigawatt的資料中心，過去要花1000年，現在只需要3年，譬如說如果有1萬個GPU的話，大概只需要幾天就可以完成了，大概10天就可以完成同樣的資料處理的數量，所以這過去8年的進步的速度，真的是非常的驚人。
11. 次元的生成
我們現在講的是推論，講的是次元的生成，因為這個效能越來越大，所以我們消耗的電力只有過去的1/45，過去Pascal每個次元大概要4萬5千個Joule，大概就是兩個電燈泡持續電兩天的時間，才有辦法去產生一個GPT-4所需要的次元，你一個字大概需要三個次元來組成，換句話說，過去Pascal要產生GPT-4，要有Chet-GPT這樣的系統出現，幾乎是不可能的事情，可是我們只需要用0.4Joule，就可以產生一個次元，而且次元生成的速度非常的快，它消耗的能源非常的低，Blackwell真的是一個大躍進，即便如此還是不夠，我們必須要打造更大型的機器，這就是我們所謂的DGX，這是我們的Blackwell的晶片，把它放到DGX系統當中，這就是為什麼我們要一再的演練才行，這就是DGX Blackwell，是氣冷式的，裡頭有八個這樣的GPU。
12. 散熱系統
你們有沒有看到，這裡頭我們的散熱系統，大概是15000瓦，它是氣冷式的，它可以支援X86，而且可以跟我們的Hopper結合在一起，不過假如你要一冷式的系統的話，我們現在也有這個新的產品，這個新的產品，就是用這樣的一個板子，我們把它叫做MGX，叫做模組化的一個系統，這就是我們的MGX系統，裡頭有兩個Blackwell的板子，那每一個板子有四個Blackwell的晶片，這個是一冷式的系統，九個加在一起，這裡有九個 這裡有九個，總共72個GPU，把它們用NVLink，新的NVLink連接在一起，這是我們NVLink的交換器，是我們第五代的NVLink的產品，NVLink的交換器，可以說是科技上的一種奇蹟，它的資料傳輸速率，真的是太扯了，我們如果把這個Blackwell，所有的晶片串聯在一起的話，就可以有一個72個GPU的Blackwell系統，這樣做有什麼樣的好處呢，你在每一個GPU的領域當中，看起來就像一個GPU，實際上它有72個，上一代的版本只有8個，所以是過去的9倍，而它的頻寬是過去的18倍，而它的浮點運算能力是過去的45倍，可是它所消耗的電力只有過去的10倍，這是一個100個KW，之前是10個KW，當然你可以把更多的晶片串聯在一起，這個晶片這個NVLink的晶片，為什麼說它是一個科技上的奇蹟呢，因為這NVLink，把所有的晶片串聯在一起，大型語言模型不能夠只有一個節點，不能夠只有一個GPU，我們必須要把整個機架裡頭，所有的GPU全部都連接在一起，這樣子我們才能夠有一個，可以處理10兆個參數以上的，大型語言模型，它有500億個電晶體，而且它每一個有72個Port，它有4個NVLink，它每一秒鐘的速度是1.8個TB，裡頭有這個交換器，這個交換器可以幫我們，協助深度學習系統，來進行資料的彙整跟縮減，這個就是我們現在的DGX。
13. NVIDIA到底是做什麼
很多人都在問我們說，他們說，好像大家搞不太清楚，NVIDIA到底是做什麼的，大家心裡面有個疑問，為什麼NVIDIA就單單憑GPU，規模就能夠變得這麼大，這個就是GPU看起來，就像這個樣子，這可以說是世界上最先進的GPU，不過是打電玩用的GPU，可是我們都知道，我旁邊的這個也是個GPU，各位女士各位先生，這就是我們的DGX GPU，跟過去已經截然不同了，這個GPU的後面，就是NV LINK所組成的一個背板，這個背板當中有5000條線，加起來有兩英里這麼長，就在這邊，這個呢，這就是我們所謂的NV LINK的背板，可以連接72個GPU，把72個GPU連接在一起，這可以說是在電機學上面的一種奇蹟，因為它有transceiver，它裡頭呢，透過銅線，讓這個NV LINK的交換器，透過這個背板當中的銅線，讓我們一個機架，可以節省20個KW，我們可以把節省下的20KW，用來進行資料處理，這就是NV LINK的背板，哇，要稍微運動一下，其實這樣還不算大耶，因為我們要打造AI工廠，所以我們必須要有更高速的網路技術，我們有Infiniband，我們有兩種，第一種是Infiniband，用在AI工廠，用在超級電腦當中，而且它成長速度非常的快，可是並不是每個資料中心都可以用Infiniband，因為他們以前已經採用了乙太網路了。
14. Infiniband的功能
實際上你要管理Infiniband，是需要一些特別的技術，因此我們就把Infiniband，它有的一些功能，把它擺到乙太網路架構當中，這其實非常的困難，為什麼呢，道理非常的簡單，乙太網路當初設計的時候，它是針對平均傳輸量比較高的系統，每一個電腦，每一個節點，都是連接到一個不同的人，而大部分是資料中心，跟另外一端的人在進行溝通，可是AI工廠當中的深度學習系統，GPU並不是跟人來做溝通，GPU是他們彼此之間在做溝通，為什麼呢，因為他們在收集一些資料，也就是把這個產品的部分的資料收集起來，然後進行縮減，然後再重新的來進行分配，所以重點不是平均的傳輸量，而是說最後一個接收到資訊的那個GPU，因為你是從每一個人那邊，去收集一些資料，譬如說，我把每一個人都在做的東西呢，這邊拿一點那邊拿一點，然後看誰的速度最慢，這個系統的速度就決定，是哪一個人給我資料的時候速度最慢，那個人就決定了這樣的一個速度，過去以太網路是辦不到的，所以我們必須要有端到端的架構，而且這當中有四個不同的技術，NVIDIA有世界上最先進的MDNA，RDMA對不起RDMA，這個是專門針對以太網路所做設計。
15. 永塞控制系統
除此之外我們還有永塞控制系統，這個交換器，他很快的在處理這些參數的數值，因此每次假如有任何的GPU送出太多的資料，我們就叫他慢一點，這樣子才不會產生瓶頸，第三個就是調適性的路由器，以太網路必須要傳送跟接收資料的時候，必須要按順序來，假如我們看到有任何地方，有任何的port沒有使用，或者是有塞車情形，我們就把這個資訊送到沒有永塞port，這樣子我們就可以把工作的順序，重新安排好，還有一個很重要的雜訊的隔離，因為我們在訓練的模組不止一個，所以資料中心裡頭一定都會有一些雜訊，一旦進入我們的工作流程當中，就會產生很多的雜音，這樣子就會影響資料傳遞的速度，就會使訓練的速度變慢，我們已經打造了一個50億，或者是30億美金造價的資料中心來做訓練，假如它的利用率，網路的利用率，下降了40%，那你所需要訓練時間就必須要增加20%，51億的資料中心，現在就突然變成像60億的資料中心，為什麼因為它的成本增加了，所以原本你只花了50億，實際上感覺就像60億美金一樣，所以我們的系統就可以去改善這些問題，這個是一個了不起的成就。
16. Spectrum X800
我們現在有很多儀態網路的產品會陸續的推出，這個是Spectrum X800，它有我們有所謂的RAIDX，這個RAIDX以前是256，現在明年會有512，這個當中，最重要的是X800，它是針對，幾千個GPU所設計的，那我們下一代的產品，它可以使用幾十萬個GPU，然後再下來，它可以使用幾百萬個GPU，我們當然希望能夠訓練比較大型的模型，不過在未來，我們在跟網路或者跟電腦進行互動的時候，裡頭應該在雲端系統裡頭，都會有生成式的AI系統在裡面，它在跟你進行互動，在不斷的生成圖片、影片、文字，甚至有一個數位人在裡面，所以你幾乎不斷的在跟電腦，具有生成式A功能的電腦進行互動，有些時候是在你的裝置當中，有些是在雲端系統裡面，而且這個生成式的AI，它可以幫你做推論，它可以幫你做推理，所以它會不斷的進行思考之後，再把最好的答案告訴你，所以以後我們透過這樣的系統，可以辦到的事情，是我們現在難以想像的。
17. Hopper平台
我相信在台北電腦展之前從未有人進行過這樣的演講，或許這也將是最後一次。這樣的專題演講只有NVIDIA能做得到，只有我能做得到。
Blackwell當然是第一代的NVIDIA平台，這個平台是我們在AI時代開始時推出的。當時我們才剛開始了解到AI工廠的重要性，這個新的產業革命的開端。我們有許多夥伴，無論是OEM、電腦製造商、CSP、GPU甚至是電信公司等各式各樣的企業，他們都站在我們的背後。對於Blackwell的支持程度，我真的感激得無以名狀，但是我們也不停止腳步。在這個成長的期間，我們希望能持續地強化效能、降低成本，包括訓練和推論的成本，並持續地擴充AI的能力，讓所有的公司都能擁有AI。
Hopper平台當然是最成功的資料中心處理器，這應該是史上最成功的一個案例。但現在有了Blackwell，我們每一個平台都可以看到，你有CPU、GPU、NVLink、NIC，還有交換器。而這個NVLink Switch可以把所有的GPU連結在一起，形成一個最大的領域。透過這個，我們可以使用非常高速的交換器，但其實它是一整個平台。我們打造了整個平台，並將它整合成一個AI工廠的超級電腦，然後再分散到全世界各地讓大家使用。
為什麼要這樣做呢？因為在座的各位都有能力去創造非常有趣、非常有創意的設置和配置，並能以不同的風格滿足不同的資料中心和顧客需求。我們讓它具有彈性，讓大家能夠以最具創意的方式進行構建。現在我們推出了Blackwell的平台，而明年將會是Blackwell Ultra。我們之前有H100、H200，而下一代就是Blackwell Ultra，一樣會將性能推向極限。而下一代的Spectrum Switch也將會是我們第一次給大家看的，我不知道我是否會後悔。
我們公司裡頭有各式各樣的開發代碼，我們盡量的保密，有的時候大部分的員工，甚至都不曉得這些開發碼是什麼，但是我們下一個平台叫做Rubin，Rubin的這個平台，我不會花太多時間講，因為我知道會發生什麼事情，大家一定會拍照，然後會去想辦法去看，它裡頭的這個細節，沒關係，那這個Rubin的平台，一年之後我們會有Rubin Ultra的平台，那麼這些給大家看的晶片，都已經在開發當中了，百分之百都在開發當中了。
而這個一年推出一次的節奏，基本上就是跟我們的架構，是相容的，那所以上面當然也會有，很多的這個軟體，那過去這12年，從我們ImageNet開始，然後我們了解到說，這個運算的未來，會有大幅的改變的時候，其實就像我剛才給大家看的G-Force，它在2012年之前，跟現在的這個NVIDIA有什麼差別，其實我們整個公司，已經有很大的轉型，我當然要非常感謝我們所有的夥伴，在這一路上的支持，這個就是NVIDIA的Blackwell平台。
18. 未來的發展
我接下來要講我們未來的發展，我想新一波的AI，就是所謂的符合物理定律的AI，這個AI理解物理定律，AI它可以在我們的生活周遭協助我們，因此AI必須要了解整個世界，讓他們可以知道，怎麼樣子去感知這個世界，當然這個AI也有非常好的認知能力，讓他們了解我們，讓AI能夠了解我們，到底在問什麼樣子的問題，幫我們做什麼樣子的事情，未來機器人會是越來越普遍的一個概念，我所謂的機器人，包括了人型機器人，人型機器人通常就是大家想到，機器人的時候，出現的這個想像，但是不僅是人型機器人，未來工廠裡頭會有很多的機器人，那麼這些機器人，它會製造各式各樣的機器。
換句話說，這個機器它互相互動，會有互動，然後它可以去製造機器人，等一下給大家看這個影片，機器人的時代到了，有一天，所有動物都會變得自由，研究者和世界各地的公司，正在研發機器人，由物理智能發揮的機器人，物理智能是能夠理解指令的模型，並且能夠自由地進行，在現實世界中複雜的工作。
多元化的物理智能是能夠讓機器人學習，理解世界各地的情況，並計劃他們的行為，從人類的示範中，機器人可以學習，需要和世界互動的技巧，利用粗糙的機械技術，一種進步機器人的基本技術，就是強化學習，就像LM需要RLHF，人類回應學習強化學習，學習一些技巧，物理智能人類可以學習強化學習，物理回應學習，在模擬世界中，這些模擬環境，是讓機器人學習作出決定，通過在實際世界中進行行動，遵守物理法律，在這些機器人健身房，機器人可以學習，做出複雜和動作的工作，安全和快速，通過數百萬次試驗和失敗，來精準化他們的技巧，我們將NVIDIA Omniverse，作為機器人的運作系統，讓物理智能人類可以創造Omniverse是一個開發平台，讓人類實現實時的物理基礎的運作，物理模擬，以及智能智能技術，在Omniverse中機器人可以學習變身，學習自動操縱物件，以精準的方式，例如抓住和控制物件，或自動探索環境，尋找最佳路徑，避免障礙和危險，在Omniverse中學習，減少模擬實際空間，以減少學習行為的轉移，製造機器人，使用智能智能人類，需要三台電腦NVIDIA AI超級電腦，來訓練模型，NVIDIA Jetson Oren，以及下一代的Jetson Thor超級電腦，來運作模型。
在Omniverse中，機器人可以學習和精準化他們的技巧，在模擬世界中，我們建立了平台，快速圖書館以及AI模型，需要開發商和企業，讓他們可以使用任何或所有適合他們的模型，AI的下一個波段就在這裡，機器人，由物理智能人類，來發展發展產業，這個不是未來，這個是現在就在發生的事情。
19. 未來服務市場的方式
我們未來服務市場的方式有很多種，第一個是針對不同的機器人系統來打造平台，第一個是像是機器人的工廠，或者是倉庫，另外一個則是，我們在機器人的工廠，來打造平台，我們在機器人的工廠來打造平台，我們在機器人的工廠或者是倉庫，另外一個則是能夠操作東西的機器人，再來是移動的機器人，第四個則是人型機器人，所以每一個不同的機器人平台，跟我們過去做的一樣，就是會有一個電腦有加速的函式庫，還有預先訓練的模型，然後我們會去測試一切，訓練一切，把它整合在Omniverse裡頭，Omniverse就如同影片裡頭所說的，就是機器人學習怎麼成為機器人。
那麼當然整個生態系，就是機器人的倉庫的生態系，非常的複雜，因為它需要很多的公司，很多的工具，很多的技術，才能夠讓我們打造一個現代的倉庫，那麼這個未來，它機器人當然會越來越能夠自主，那麼在這些不同的生態體系裡頭，會有SDK也會有API，它把它連結到各式各樣的軟體，還有是連結到邊緣AI的產業，那麼有一些公司，他們則是去設計PLC，這個是為了Odeon，然後會有整合商，把它整合在一起，來打造顧客所需要的倉儲，舉例來說KenMech，他們就廣運在，為巨大集團打造一個工廠。
20. 未來工廠
然後這邊我們來談，接下來談一談工廠，未來工廠會是完全不一樣的生態系，那麼現在鴻海在打造，世界上最先進的工廠，包括了邊緣運算機器人，還有設計工廠的軟體，各式各樣的工作流程，還有PLC電腦，還有機器人的編程，這些全部都會把它整合在一起，這些SDK都會跟這些生態系，連結在一起，這個全部都在台灣發生，鴻海正在打造，他們工廠的數位孿生模型，台達電也在打造，自己數位工廠的數位孿生模型有一半是數位的，一半是真實的，那麼和碩他們也在打造，他們的機器人工廠，緯創也在打造，他們的數位孿生模型，然後這邊真的很酷，這個影像是鴻海新的工廠。
21. 數位孿生模型
NVIDIA的數位孿生模型，正在全球發展，世界正在進行全球化，傳統數位進入AI產業中，FOXCONN世界上最大的電子產業廠商，正在應對這個需求，建立機械工廠，與NVIDIA Omniverse和AI工廠計劃員使用Omniverse，來結合設施和裝置資料，從領導業的應用，例如Siemens Team Center X，和AutoDesk Revit，在數位孿生模型中，他們將地面設計和線條設計最佳，並在設置最佳攝像位置，以監察未來的運作，使用NVIDIA Metropolis，支援的視覺AI，數位孿生模型，能夠省下計劃員，在大量的物理改變項目中，付出的費用，在建造過程中，FOXCONN的團隊使用數位孿生模型，作為真相的源頭，以傳達和核實準確的裝置設計，數位孿生模型，也就是機械工廠，在這裡FOXCONN的開發者訓練和測試，NVIDIA Isaac AI應用，對於機械理解和操縱，以及Metropolis AI應用，對於感應融合。
在Omniverse中，FOXCONN在運行運作前先測試兩台機械人，並在機械工廠上，在組裝線上，他們測試Isaac操縱系統，和AI模型，以自動的視覺檢查，避免物理認證，失敗探測，以及旅程計劃，以HGX系統轉移到測試機，他們測試Isaac，以Perceptor能力的Ferrobot AMR，以3D地圖和重建，來觀察和運行環境，在Omniverse中，FOXCONN建造了機械工廠，運行NVIDIA Isaac運行的機械人，來建造NVIDIA AI超級電腦，並且訓練了FOXCONN的機械人，機械人工廠，機器人工廠，其實就是具備AI功能的電腦，來協助訓練，因為需要有人進行，工廠裡頭各種作業項目的協調，機械手臂，機械移動，自動，自主性移動的機器人，其實也一樣的道理，他們會在同樣的虛擬空間當中，而這個機械手臂，就會被擺到機器人工廠裡面。
22. 三個不同的電腦
這裡有三個不同的電腦，包括了加速運算，還有訓練的模組，這當中我們剛才已經聽到了，在Omniverse裡頭，我們有操作系統，有感知系統，這真的是一個很棒的計劃，我們也跟我們的夥伴共同合作，Semantic AI，它整合了ISAC Manipulator，還有ABB, Cougar, Yasakawa, Phenom，Universal Robotics，還有Tipman，這些都是我們的合作夥伴，而西門子，也幫我們做了系統的整合，我們一起來看一下系統整合的結果，ISAC Perceptor，為人類動物系統的，人類動物認識和人類動物遙控，提供了更多的技術，BYD Electronics，正在將ISAC Manipulator和Perceptor，融合到AI機械人工，以提升全球客戶的製造效率，Idealworks正在將ISAC Perceptor，融合到AI機械人工，工廠設備的IWOS軟件，Intrinsic,一家文字公司，正在將ISAC Manipulator，融合到他們的流動體系平台，以提升人工認識。
Gideon正在將ISAC Perceptor，融合到AI機械人工，以提升AI機械人工的設備，Argo Robotics正在將ISAC Perceptor，融合到前瞻基礎AMR的，Perception Engine，Solomon正在使用，ISAC Manipulator AI模型，在他們的Acupic 3D軟件，進行工業操作，Techman Robot正在將ISAC Sim，和Manipulator融合到TM Flow，以提升自動化的，視覺檢查，Teradyne Robotics正在融合，ISAC Manipulator，融合到Cobots的Polyscope X，以及Mir AMR的ISAC Perceptor，Vention正在融合，ISAC Manipulator，融合到AI機械人工，融合到機械理論，機械人工正在到來，所以我們現在有機器人，有物理AI，這不是科幻小說。
23. 台灣很多的工程、工廠都已經在使用這些系統
其實台灣很多的工程，很多的工廠，都已經在使用這些系統了，所以工廠裡頭，會有很多的機器人，有兩種機器人，它的市場是非常大的，第一種是自駕車，自駕車它有很高的自主性，NVIDIA我們有，完整系列的產品，明年，Mercedes會使用我們的系統，2026年，還有另外一家汽車公司，也會使用我們的系統，不論我們開發的是，哪一個層級的產品，我們都會把它做到最好，而接下來最大的機器人的市場，是跟製造業有關，因為在製造業的工廠當中，有很多的機器人，大部分都是人形機器人。
其實近年來，在這方面已經有了長足的進步，他們因為有了基礎模型，所以有更好的感知能力，而且我們也不斷地在開發，具備更好感知能力的，機器人的系統，其實人形機器人，是最使用起來，最簡便的一種機器人，我們可以有大量資料，來訓練這些機器人，因為他們的外形，是跟我們一樣的，我們以後，這樣的人形機器人，他們會有非常好的感知，跟操作的能力，我想接下來，我們要歡迎一些機器人進場了，好，大概跟我差不多高，其實都是電腦，其實他們裡頭用到的科技，跟我們現在台灣所生產的這些電腦產品，所使用的科技非常的類似，我們非常期待未來，屬於人工智慧的時代，屬於機器人的時代。
美國股市很有意思。這是市場主導。然而，有主導力。
現在到臺大體育館，可以看到該公司的黃先生六月初電腦展的“主題演講”的大海報。
Reuters
Nvidia's shares rallied around 6% to hit a record high on Tuesday, leaving the AI chipmaker's stock market value about $100 billion away from overtaking Apple in a major reshuffle of Wall street's biggest players.
【AI造富】AI熱經久不散 黃仁勳身家超過美國首富家族的每位成員
https://bit.ly/3VgGwdu
晶片製造商輝達超出預期的季報助力其聯合創辦人黃仁勳在個人財富上一舉超越美國首富沃爾頓家族的每位成員。黃仁勳的淨身家5月23日躍升至913億美元，在彭博億萬富豪指數上的排名躍升三位，成為全球第17大富人。
#黃仁勳 #輝達 #富豪
。。。。
過去一年，黃仁勳帶著世界往前跑！
黃仁勳再度來台，整個資本市場又再掀起一陣旋風！去年的這個時候，黃仁勳到台大為應屆畢業生致詞，前一天，他到饒河街逛夜市，手上提著麻花捲，這個畫面風傳全台灣，黃仁勳要同學用力奔跑，不要用走的，不要成為被獵食者⋯⋯
Nvidia股價就在這一天大漲，22年底，輝達股價只有108.13美元，市值266億美元，如今飛奔到1064.75美元，市值2.619兆美元，成為僅次於微軟，蘋果的全球第三大企業，而且，輝達市值也超過Aramco石油公司的2.458兆美元，這也意味著晶片的重要性已超過石油。
過去一年，輝達的市值幾乎成長近10倍，Ai貫穿整個資本市場，幾乎所有大咖的企業家都必須為Ai的未來說幾句話，Ai也成為今年畢業典禮最熱門的話題。今天台股的台積電，聯發科，鴻海，廣達，華碩電腦等股價都跟著輝達而轉變。
幾年前，我說台積電股價可能上千元，大家以為在開玩笑，現在有黃仁勳帶路，台積電資深副總張曉強表示：半導體黃金時刻已經到了，2030年產值上看一兆美元，台積電股價到878元，市值跑到22.48兆台幣，美國Adr到160.66美元，市值跑到8299.21億美元，看起來新台幣1000元，Adr市值破一兆美元的可能性愈來愈高，台股也因為台積電，加權指數撐高到大家不敢置信的位置！
這種財富現場也愈來愈可怕，一家輝達市值超過整個德國股市的總和，這也是一個不可思議的現象！這次黃仁勳再度來台，會再刮起什麼樣的旋風？大家拭目以待！
聯合創辦人的最新押注：在紐約州打造「量子谷」
現年64歲的普裡姆將捐贈7,500多萬美元，使倫斯勒理工學院能夠擁有一套由IBM製造的量子計算系統，使其成為世界上第一台在大學校園中使用的量子計算設備。
Mark Zuckerberg, Tim Cook, Satya Nadella, Jensen Huang, Sundar Pichai, Andy Jassy and Elon Musk run the "Magnificent Seven."
也不是那麽有重要内容的文章，不過讀了很勵志就是：
'I've cleaned more toilets than all of you combined': Nvidia founder Jensen Huang says he wishes ‘pain and suffering’ on Stanford students.
Jensen Huang is a Taiwan-born American entrepreneur and businessman. He co-founded the graphics-processor company Nvidia and serves as its president and CEO. Wikipedia
Born: February 17, 1963 (age 54), Taipei
Spouse: Lori Huang
Net worth: 3.6 billion USD (2017) Forbes
Salary: USD $24.6 million (2007)
Education: Oregon State University, Stanford University
Organization founded: Nvidia
Nvidia Corporation is an American technology company based in Santa Clara, California. It designs graphics processing units for the gaming and professional markets, as well as system on a chip units for the mobile computing and automotive market. Wikipedia
Stock price: NVDA (NASDAQ)$148.01 +4.37 (+3.04%)
Jun 5, 4:00 PM EDT - Disclaimer
CEO: Jensen Huang (Apr 1993–)
Founded: April 1993
Headquarters: Santa Clara, California, United States
Revenue: 6.91 billion USD (2016)
Founders: Jensen Huang, Curtis Priem, Chris Malachowsky
Subsidiaries: Icera, NVIDIA Advanced Rendering Center, more
Nvidia 近年來在 AI 人工智慧產業上的表現讓人驚豔，成果大家也有目共睹，張忠謀大讚黃仁勳是一個優秀且成功的企業家。
Nvidia 黃仁勳受贈交大榮譽博士，張忠謀盛讚 Nvidia 還有 30 年成長
回台參加 Computex Taipei 2017 開幕演講的繪圖晶片大廠輝達 ( Nvidia) 創辦人黃仁勳，5…
FINANCE.TECHNEWS.TW|作者：財經新報
LLM的效能評比
三不五時就有公司發佈最新的LLM，每次總挑對自己有利的部分來講，而某些使用者根據自己的使用經驗所分享的資訊不見得全面、合理、正確。
要知道LLM的效能可以用多種項目和多個面向來衡量，對使用者而言，最基本的是品質（quality）、速度（speed）、價格（price）這三項。想要高品質的LLM，通常得接受較慢的速度，以及付出較高的價格，這是工程或商業上必須做權衡（tradeoff）的議題。
以Meta剛釋出的Llama 3.3 70B為例，綜合測試的品質在12個模型中排第6好，速度排第3快，價格排第3低，在CP值上算是表現得還不錯。何況它還是開源的，可以下載到自己的設備上跑。
如果只看綜合測試的結果，恐怕會覺得Llama 3.3 70B完勝Llama 3.1 405B，後者不應該繼續存在。雖然新版的通常比較厲害，但70B真的厲害到能完勝舊版的405B嗎？如果進一步看分項測試的成績，會發現3.3 70B的品質的確在某些項目比3.1 405B好，但有些項目則是3.1 405B勝出，因此3.1 405B並不是沒有用的。
話說我們長年做效能分析的人，對於這類測試都會有一個疑慮，那就是新產品往往會針對測試做優化，以拿到更好的成績。訓練AI模型的過程中如果拿考古題來特訓，自然會拿高分，但這種高分真的代表學習成效或智力嗎？如同考試，這些測試標竿（benchmarks）應該經常更新、與時俱進才好。
我對目前的測試標竿持保留態度。
沒有留言:
張貼留言