自稱是好老闆!黃仁勳加州畢典演講 6 重點:希望你找到自己的 GPU
輝達執行長黃仁勳在加州理工學院畢業典禮上勉勵學生相信非傳統,勇於探索未知,並分享了輝達的創業歷程和對未來機器人技術的展望。

輝達執行長黃仁勳的最新大學畢業典禮演講,被熱議了。
「相信非傳統,勇於探索未知。」
這是黃院士對加州理工 2024 屆畢業生的勸勉,也似乎是輝達發展史和老黃創業的寫照。
當然,黃院士也從輝達的視角講述了一段微縮版的電腦科學發展歷史。
當今電腦是最重要的知識工具,它是每個科學產業每個產業的基礎。當你進入這個產業時,瞭解正在發生的事情很重要。
眾所周知,黃仁勳沒有博士學位,他移民美國後,本科就讀於俄勒岡州立大學,然後 1990 年獲得史丹佛大學電子工程碩士學位,1993 年創辦了輝達,並在 1999 年面向遊戲產業發明瞭 GPU。
之所以來加州理工做畢業典禮演講,老黃也直言不諱:我是來招聘的。我是一個好老闆。
演講要點
- 一些違反直覺的教訓:在面對技術和業務挑戰時,堅持知識誠實和謙遜,以及在必要時採取戰略性撤退。
- 人工智慧是老黃所知的唯一一項同時以多個指數級發展的技術。
- 現代電腦可以追溯到 IBM System 360,它的主要思想、架構和戰略仍然主導著今天的電腦產業。
- 基於 Carver Mead 在加州理工學院關於晶片設計方法和教科書的開創性工作,徹底改變了 IC 設計。它使我們這一代人能夠設計出超大型晶片,並最終設計出 CPU。
- NARD 縮放、晶體管縮放和指令級並行性的限制降低了 CPU 性能。CPU 性能提升速度放緩之際,電腦需求持續呈指數級成長。計算需求與電腦能力之間呈指數級成長的差距,如果不加以解決,電腦能源消耗和成本以及通貨膨脹,最終將扼殺每個產業。
- 人工智慧的下一波浪潮是機器人技術,這是一個「0 億美元市場」,但未來將價值數十億美元,就像 Nvidia 剛起步時的 GPU 加速計算一樣。……
以下為黃仁勳演講全文:
尊敬的校長羅森・鮑姆教授、敬愛的教職工、尊貴的來賓、自豪的家長們,尤其是加州理工學院 2024 屆的畢業生們:
今天對你們來說真是一個快樂的日子,你們必須看起來更興奮一些。你們即將從加州理工學院畢業,這所學校孕育了偉大的理查德・費曼、萊納斯・鮑林,以及對我們的產業產生了深遠影響的卡弗・米德。這的確是一件大事。
今天是一個充滿自豪和喜悅的日子。這不僅僅是你們的夢想成真,也是你們的父母和家人無數犧牲的結果。讓我們借此機會向他們表示祝賀和感謝,並讓他們知道你們愛他們。不要忘記這一點,因為你們可能不知道將來會在家裏住多久。
作為一名自豪的父親,我非常喜歡我的孩子們還住在家裏,每天都能見到他們。但現在他們已經搬出去了,這讓我有些難過。所以,希望你們能花些時間陪伴父母。
你們在這裡的旅程證明瞭你們的性格、決心和為夢想做出犧牲的意願,你們應該為此感到自豪。在生活中,你們將需要這種做出犧牲、忍受痛苦和折磨的能力。
NVIDIA 的兩位首席科學家都來自加州理工學院。我今天站在這裡發表演講的原因之一是因為我正在尋找人才。所以,我想告訴大家,NVIDIA 是一家非常偉大的公司,我是一個非常好的老闆,受到普遍愛戴。加入 NVIDIA 吧!
你們和我都有一個共同點:我們對科學和工程充滿熱情。儘管我們相差約 40 年,但我們都處於職業生涯的巔峰。對於那些一直關注 NVIDIA 和我個人的人來說,你們知道我的意思。只是對你來說,你還有很多很多的高峰要去攀登。我只是希望今天不是我的巔峰。
去年,我有幸在台灣大學發表畢業典禮致辭,分享了幾個有關 NVIDIA 歷程的故事以及我們學到的可能對畢業生有價值的經驗教訓。我必須承認我不喜歡提供建議,尤其是給別人的孩子。因此,我今天的建議很大程度上會隱藏在一些我喜歡的故事和我的一些生活經歷中。
我相信,我是當今世界上任職時間最長的科技公司執行長。31 年來,我沒有破產,沒有感到無聊,也沒有被解雇。因此,我非常榮幸地享受了很多人生經歷,從創建 NVIDIA 開始,從一無所有到今天的成就。
我談到了我們曾經參與的一個非常公開的、被取消的世嘉遊戲機項目,以及知識誠實。我知道理查德·費曼非常關心並經常談論這一點,知識誠實和謙遜拯救了我們的公司。以及如何撤退,戰略性撤退,是我們最好的策略之一。所有這些都是我在畢業典禮上談到的違反直覺的教訓。
但我鼓勵畢業生接觸人工智慧,這是我們這個時代最重要的技術。稍後我會詳細討論這一點,但你們都知道人工智慧。很難不沈浸其中、被它包圍,並引發大量關於它的討論。當然,我希望你們所有人都在使用它並玩弄它,得到令人驚訝的結果,有些神奇,有些令人失望,有些令人驚訝。但你必須享受它,你必須參與它,因為它進步如此之快。
這是我所知道的唯一一項同時以多個指數級發展的技術。因此,技術的變化非常非常快。所以我建議台大的學生要跑,不要走,要參與 AI 革命。然而,一年後,它的變化之大令人難以置信。
所以今天,我想做的就是從我的角度與你們分享我對你們畢業時正在發生的一些重要事情的看法。這些正在發生的非同尋常的事情你應該有一個直觀的理解,因為它對你很重要,對整個產業也很重要。希望您能充分利用眼前的機會。
加速計算已達臨界點
電腦產業正在從其基礎、從字面上看是從螺柱開始轉變。從螺母開始,一切都在變化。很快,每個產業也將發生轉變。其原因非常明顯,因為電腦是當今最重要的知識工具。它是每個產業和每個科學產業的基礎。如果我們如此深刻地改變電腦,它當然會對每個產業產生影響。
當您進入這個產業時,瞭解正在發生的事情很重要。現代電腦可以追溯到 IBM System 360。那是我學習的架構手冊。這是一本你不需要學習的架構手冊。從那時起,就出現了更多更好的文檔以及對電腦和體系結構的更好的描述。
但 IBM System 360 在當時是非常重要的,事實上,它的主要思想、架構和戰略仍然主導著今天的電腦產業。它是在我出生一年後推出的。
在 80 年代,我是第一代 VLSI 工程師之一,他們從 Mead 和 Conway 的裏程碑式教科書中學習了晶片設計。我不確定這裡是否還在教授它。應該是在 VLSI 系統的引入中。基於 Carver Mead 在加州理工學院關於晶片設計方法和教科書的開創性工作,徹底改變了 IC 設計。它使我們這一代人能夠設計出超大型晶片,並最終設計出 CPU。
CPU 導致計算量呈指數級成長。性能和令人難以置信的技術進步,即所謂的摩爾定律,推動了資訊技術革命。我們這一代人所經歷的工業革命見證了世界前所未見的東西的大規模生產。大規模生產無形的、易於複製的東西,大規模生產軟體。它催生了一個價值 3 兆美元的產業。
當我坐在你坐的地方時,IT 產業還很小。銷售軟體可以賺錢的想法是一個幻想。然而今天,它是我們產業生產的最重要的商品、最重要的技術和產品創造之一。
然而,NARD 縮放、晶體管縮放和指令級並行性的限制降低了 CPU 性能。CPU 性能提升速度放緩之際,計算需求持續呈指數級成長。計算需求與電腦能力之間呈指數級成長的差距,如果不加以解決,電腦能源消耗和成本以及通貨膨脹,最終將扼殺每個產業。
正如我們所說,我們看到了非常明顯的計算通貨膨脹的跡象。經過 NVIDIA CUDA 二十年的發展,NVIDIA 的加速計算提供了一條前進的道路。這就是我來這裡的原因。因為最終,當我們目睹幾十年後的計算膨脹時,業界終於意識到了加速計算的令人難以置信的有效性。
通過將耗時的演算法卸載到專門從事並行處理的 GPU,我們通常可以實現 10 倍、100 倍,有時甚至 1,000 倍的加速,從而節省資金、成本和能源。我們現在加速應用產業的發展,從電腦圖形學、光線追蹤,當然到基因測序、科學計算、天文學、量子電路模擬、SQL 數據處理,甚至 pandas、數據科學。
加速計算已達到臨界點。這是我們對電腦產業的第一項偉大貢獻,我們對社會的第一項偉大貢獻,加速計算。它現在為我們提供了一條可持續計算的前進道路。
成功押注深度學習
隨著計算需求的不斷成長,成本將繼續下降。加速計算所帶來的時間、成本或能源節省的一百倍,一百倍肯定會在其它地方引發新的發展。我們只是不知道它是什麽,直到深度學習進入我們的意識。
一個全新的電腦世界出現了。Jeff Hinton、Alex Krzyzewski 和 Ilya Sutskever 使用NVIDIA CUDA GPU 訓練 AlexNet,並贏得 2012 年 ImageNet 挑戰賽,震驚了電腦視覺界。這是一個重要時刻,深度學習的大爆炸,一個象徵著人工智慧革命開始的關鍵時刻。
AlexNet 改造我們公司後的決定值得關注。AlexNet 後我們的決定改變了我們的公司,也可能改變了其它一切。我們看到了深度學習的潛力,並且相信,只是通過原理思考相信,通過我們自己對深度學習的可擴充功能性的分析相信。我們相信該方法可以學習其它有價值的功能。也許深度學習是一種通用函數學習器,有多少問題很難或不可能使用基本的第一原理來表達。
因此,當我們看到這一點時,我們認為這是一項我們真正必須關注的技術,因為它的局限性可能僅受模型和數據規模的限制。然而,當時也遇到了挑戰。現在是 2012 年,2012 年剛過不久。我們如何才能在不構建這些大規模 GPU 集群的情況下探索深度學習的極限呢?
當時我們還是一家相當小的公司,構建這些龐大的 GPU 集群可能要花費數億美元。但如果我們不這樣做,就無法保證擴大規模後會有效。然而,沒有人知道深度學習可以擴充功能到多遠。如果我們不建造它,我們永遠不會知道。這是其中之一,如果你建造它,他們會來嗎?我們的邏輯是,如果我們不建造它,他們就不會來。
因此,我們根據我們的首要原則信念和分析做出了奉獻。我們相信這會非常有效,當公司相信某件事時,我們就應該採取行動。因此,我們深入研究深度學習,並在接下來的十年裏系統地重塑了一切。從 GPU 本身開始,我們重新發明瞭每個計算層。現代 GPU的 發明,與我們最初發明的過去的 GPU 非常不同。
我們繼續發明了電腦、互連、系統、網路和計算的幾乎所有其它方面。當然,還有軟體。我們投資了數十億美元。我們向未知產業投資了數十億美元。十年來,成千上萬的工程師致力於深度學習,並推進和擴充功能深度學習,但他們並不真正知道我們可以將這項技術真正應用到什麽程度。
我們投資了數十億美元。我們設計並建造了超級電腦來探索深度學習和人工智慧的極限。2016 年,我們發布了 DGX-1,我們的第一台人工智慧超級電腦,我將第一台電腦交付給了舊金山的一家新創公司,一家無人知曉的新創公司,我的一群從事人工智慧工作的朋友,一家公司稱為 OpenAI。
2022 年,也就是 AlexNet 出現 10 年後,計算量成長了大約一百萬倍,一百萬倍。如果您能想像一下,如果您的筆記型電腦的功能增強一百萬倍,會是什麽樣子?百萬倍之後,OpenAI 推出了 ChatGPT,AI 成為主流。
在這十年中,NVIDIA 從一家圖形公司(你們中的許多人可能首先知道我們是一家製造 GPU 的公司)轉變為現在一家構建大型數據中心規模超級電腦的人工智慧公司。我們徹底改變了我們的公司。我們還徹底改變了電腦技術。當今電腦的基本方式已經發生了根本性的改變。
計算堆棧現在使用 GPU 來處理在超級電腦上訓練的大型語言模型,而不是使用處理程式員編寫的指令的 CPU。我們現在正在創建人類無法編寫的軟體。我們現在正在創建的軟體可以完成人類無法想像的事情,即使是在 10 年前。電腦現在是意圖驅動的而不是指令驅動的。告訴電腦你想要什麽,它就會弄清楚如何做。
與人類一樣,人工智慧應用程式將理解任務、原因、計劃並編排大型語言模型團隊來執行任務。未來的應用程式的工作方式和執行方式將與我們的工作方式非常相似,組建專家團隊,使用工具,推理和計劃,並執行我們的任務。軟體以及軟體可以做什麽已經完全改變了。甚至我們的產業,隨著它的改變和轉變,創造了另一個產業,一個世界上從未有過的產業。
一個產業正在我們眼前形成。AI 的輸入和輸出都是代幣。對於房間裏的所有工程師,你們知道我的意思。這些是嵌入智慧的浮點數。公司現在正在建設一種以前不存在的新型數據中心,專門生產智慧代幣。本質上是人工智慧工廠。就像尼古拉·特斯拉在過去的工業革命中發明的交流發電機一樣,我們現在有了 AI 代幣發電機,它們將成為新工業革命的工廠。
有生產能源、電力的大型工業。我們現在有一個龐大的產業,生產一些看不見的東西,稱為軟體。在未來,在不久的將來,我們將擁有生產、製造智慧代幣、人工智慧發生器的產業。一個新的計算模型已經出現,一個新的產業已經出現,這一切都是因為我們從第一原理出發,形成了對未來的信念,並付諸行動。
機器人技術是下一波浪潮
人工智慧的下一波浪潮是機器人技術,其中人工智慧除了語言模型之外,還有物理世界模型。我們與數百家公司合作,製造機器人、機器人車輛、拾放手臂、人形機器人,甚至整個巨型機器人倉庫。但與我們的人工智慧工廠戰略和經驗不同,我們的人工智慧工廠戰略和經驗實際上是通過推理和深思熟慮的行動形成的,我們的機器人之旅是一系列挫折的結果。
如您所知,NVIDIA 發明了 GPU。這是在我們發明人工智慧工廠之前。我們對電腦產業的第一個偉大貢獻是通過可程式撰寫著色器重塑電腦圖形。我們在 2000 年發明瞭 GPU 和可程式撰寫著色。我們希望將 GPU 整合到每台電腦中,因此我們開始將 GPU 與主闆晶片結合起來,當時我們針對 AMD CPU 推出了一款非常棒的整合顯卡晶片。
我們的晶片組業務立即取得了成功。我認為它幾乎一夜之間就從零增加到了十億美元。但突然之間,AMD 想要控制 PC 中的所有技術,而我們想要保持獨立,所以他們收購了 ATI,不再需要我們。我們轉向英特爾。這可能不是一個好主意,但我們求助於英特爾並協商了連接英特爾 CPU 的許可。
Apple 對我們正在開發的產品感到非常興奮,並要求我們與他們一起開發一台新電腦,這就是第一台 MacBook Air。好吧,英特爾看到了發生的事情並決定他們不想讓我們再這樣做,所以他們終止了我們的協議。好吧,我們再次轉向,這一次我們獲得了 ARM的 許可,我們構建了一個低功耗 SoC,一個移動 SoC,世界上第一個 SoC,本質上是一台電腦,一台完整的作業系統電腦,這是令人難以置信的。
我們的晶片讓 Google 興奮不已,他們要求我們開發一款新設備,結果就是 Android 移動設備。好吧,高通決定他們不希望我們這樣做,所以他們不希望我們連接到他們的調制解調器,並且在不連接到調制解調器的情況下很難構建移動設備。而且沒有其它 LTE 調制解調器公司,所以我們不得不退出移動設備市場。
嗯,這幾乎是按照一年的節奏發生的,我們會建造一些東西,它會非常成功,產生巨大的興奮,然後一年後,我們被踢出了這些市場。好吧,由於沒有更多的市場可供轉向,我們決定在我們確定沒有客戶的地方建立一些東西,因為你絕對可以保證的事情之一就是沒有客戶,也沒有競爭對手,也沒有人關心你。
所以我們選擇了一個沒有客戶的市場,一個價值 0 億美元的市場,那就是機器人技術。我們建造了世界上第一台機器人電腦,處理當時無人理解的深度學習演算法。這已經是十多年前的事了。十年後,我對我們所構建的東西以及創造下一波人工智慧浪潮的機會感到非常高興。更重要的是,我們培養了敏捷性和韌性文化。
一次又一次的挫折,我們擺脫了困境,抓住了下一個機會。每一次,我們都獲得了技能並增強了我們的性格。我們強化了企業特色。我們的公司真的很難分散注意力,也很難洩氣。
如今,我們遇到的任何挫折都不是一個機會。諷刺的是,我們今天建造的機器人電腦甚至不需要圖形,這就是我們的旅程開始的原因。所以我們今天所處的位置告訴了我們一些東西並教會了我們一些東西。正如理查德·費曼所說,世界是不確定的,世界可能不公平,給你發難牌。迅速擺脫它。顯然,你對你的書籍過於關注了。迅速甩掉它。來吧,這很聰明。我笑了。那裡還有另一個機會,或者創造一個機會。
找到自己的 GPU
讓我再告訴你一個故事。我曾經每年夏天在我們的一個國際站點工作一個月。當我們的孩子十幾歲的時候,我們在日本度過了一個夏天。週末我們參觀了京都銀閣寺。如果你還沒有機會去,你一定要去。它以其精緻的苔蘚花園而聞名。
我們參觀的那天是典型的京都夏日,悶熱潮濕,黏糊糊的。熱量從地面散發出來。空氣凝重、寂靜。我們和其它遊客一起漫步在精心打理的苔蘚花園中。我注意到了那個孤獨的園丁。現在,記住,苔蘚花園,這是銀殿,苔蘚花園巨大。它擁有世界上幾乎所有苔蘚種類的最大收藏。而且它維護得非常精緻。
我看到孤獨的園丁蹲著,用竹鑷子小心翼翼地夾著青苔,放進竹籃裏。你必須這樣做,這是一把竹鑷子,你知道,而且就是這個園丁。籃子看起來是空的。嗯,有那麽一會兒,我以為他正在把想像中的苔蘚撿到一堆想像中的死苔蘚中。於是我走到他面前,問他,你在做什麽?他用英語說,我正在採摘死苔蘚。我正在打理我的花園。
我說,但是你的花園太大了。他回答說,我照顧我的花園已經 25 年了。我有的是時間。嗯,這是我一生中最深刻的教訓之一。它確實教會了我一些東西。這位園丁致力於他的手藝並從事他一生的工作。當你這樣做時,你就有了充足的時間。
我每天早上都開始,我每天早上都以完全相同的方式做事,我每天早上都先做我最優先的工作。我有一個非常清晰的優先級列表,我首先從最高優先級的工作開始。在我開始工作之前,我的一天就已經很成功了。我已經完成了最重要的工作,可以將這一天奉獻給幫助他人。
當人們為打擾我而道歉時,我總是說我有足夠的時間,而且我確實有。2024 屆畢業生們,我很難想像還有誰比你們對未來做好了更充分的準備。你奉獻了自己,你努力工作,你從世界上最負盛名的學校之一獲得了世界一流的教育。當您開始進入下一階段時,請採納我的經驗教訓,希望它們能一路幫助您。
我希望你相信一些東西,一些非傳統的東西,一些未經探索的東西,但讓它被告知並讓它被推理。然後全身心投入去實現它。你可能會找到你的 GPU,你可能會找到你的 CUDA,你可能會找到你的生成式 AI,你可能會找到你的 NVIDIA。
我希望你能將挫折視為新的機遇。你的痛苦和折磨會增強你的性格、你的韌性和敏捷性,它們是終極的超能力。在我最看重的關於我的能力的所有方面中,智力並不是最重要的。我忍受痛苦和折磨的能力,我在很長一段時間內從事某件事的能力,我處理挫折和看到即將到來的機會的能力,我認為這是我的超能力,我希望它們是我的超能力。你的。
我希望你能找到一門手藝。希望你能找到一門手藝。第一天做出決定並不重要,甚至很快做出決定也不重要,但我希望你確實找到一門手藝,你想奉獻一生去完善它,磨練技能,並讓它成為你的一生工作。
最後,優先考慮你的生活。有很多事情正在發生,有很多事情要做,但是優先考慮你的生活,你將有足夠的時間去做重要的事情。
恭喜2024屆畢業生,加油吧。
- 本文經授權轉載自:《深潮 TechFlow》
你可能想知道