03-19-2024, 09:01 AM
「我們需要更大的GPU」 英偉達宣布推出最強AI芯片 成本和能耗較前代改善25倍
https://www.wenweipo.com/a/202403/19/AP6...e4b95.html
號稱今年全球頭號人工智能（AI）領域開發者大會的英偉達2024 GTC AI大會於美東時間3月18日周一拉開帷幕。今年是英偉達時隔五年首次讓年度GTC重回線下，也是此前分析認為英偉達要「拿出點真傢伙」的AI盛會。
當地時間周一下午，英偉達創始人兼CEO黃仁勛在美國加州聖何塞SAP中心進行主題為「面向開發者的1#AI峰會」（1#AI Conference for Developers）演講。黃仁勛介紹了運行AI模型的新一代芯片和軟件。英偉達正式推出名為Blackwell的新一代AI圖形處理器（GPU），預計將在今年晚些時候發貨。
Blackwell平台能夠在萬億參數級的大型語言模型（LLM）上構建和運行實時生成式AI，而成本和能耗比前身低25倍。
另據媒體報道，英偉達CEO黃仁勛在GTC宣布，將在其企業軟件訂閱中增加一款名為NIM的新產品。NIM可以更容易地使用舊的英偉達GPU進行推理，並允許公司繼續使用他們已經擁有的數億個英偉達GPU。該產品將使新人工智能模型的初始訓練推理所需的算力更少。該公司的策略是讓購買英偉達服務器的客戶註冊英偉達企業版，每個GPU每年收取費用4500美元。黃仁勛表示，該軟件還將幫助在配備GPU的筆記本電腦上運行人工智能，而不是在雲服務器上運行。
此外，英偉達CEO黃仁勛宣布推出下一代人工智能超級計算機，英偉達還發布6G研究雲平台，以便用AI技術推進無綫通信。
英偉達推新AI芯片
據外媒報道，英偉達於周一宣布推出新一代人工智能芯片和用於運行人工智能模型的軟件。該公司在美國聖何塞舉行的開發者大會上宣布了這一消息，正值這家芯片製造商尋求鞏固其作為人工智能公司首選供應商的地位。
自OpenAI的ChatGPT於2022年末掀起人工智能熱潮以來，英偉達的股價上漲了五倍，總銷售額增長了兩倍多。英偉達的高端服務器GPU對於訓練和部署大型AI模型至關重要。微軟和Meta等公司已經花費了數十億美元購買這些芯片。
新一代AI圖形處理器命名為Blackwell。首款Blackwell芯片名為GB200，將於今年晚些時候發貨。英偉達正在用更強大的芯片吸引客戶，以刺激新訂單。例如，各公司和軟件製造商仍在爭相搶購當前一代的「Hopper」H100芯片及類似產品。
「Hopper很棒，但我們需要更大的GPU，」英偉達首席執行官黃仁勛周一在該公司於加利福尼亞州舉行的開發者大會上表示。不過，周一盤後交易中，英偉達股價下跌超過1%。該公司還推出了名為NIM的創收軟件，該軟件將簡化AI的部署，為客戶提供了在日益增多的競爭者中堅持使用英偉達芯片的另一個理由。
英偉達高管表示，該公司正從一個唯利是圖的芯片提供商轉變為更像微軟或蘋果的平台提供商，其他公司可以在此基礎上構建軟件。
「Blackwell不僅僅是一款芯片，而是一個平台的名稱，」黃仁勛表示。
英偉達企業副總裁Manuvir Das在接受採訪時表示：「可銷售的商業產品是GPU，而軟件則是為了幫助人們以不同的方式使用GPU。當然，我們現在仍然這樣做。但真正改變的是，我們現在真的有了商業軟件業務。」
Das表示，英偉達的新軟件將更容易在任何英偉達GPU上運行程序，甚至是那些可能更適合部署而不是構建AI的老舊GPU。「如果你是開發者，你有一個有趣的模型，你希望人們採用它，如果你把它放入NIM中，我們會確保它可以在我們所有的GPU上運行，這樣你就可以覆蓋很多人，」Das說道。
Blackwell擁有六項革命性技術
英偉達每兩年更新一次其GPU架構，實現性能的飛躍。過去一年發布的許多AI模型都是在該公司的Hopper架構上訓練的，該架構被用於H100等芯片，於2022年宣布推出。
據悉，英偉達稱，Blackwell擁有六項革命性的技術，可以支持多達10萬億參數的模型進行AI訓練和實時LLM推理：
全球最強大的芯片：Blackwell架構GPU由2080億個晶體管組成，採用量身定製的台積電4納米工藝製造，兩個reticle極限GPU裸片將10 TB/秒的芯片到芯片鏈路連接成單個統一的GPU。
第二代Transformer引擎：結合了Blackwell Tensor Core技術和TensorRT-LLM和NeMo Megatron框架中的英偉達先進動態範圍管理算法，Blackwell將通過新的4位浮點AI支持雙倍的計算和模型大小推理能力。
第五代NVLink：為提高數萬億參數和混合專家AI模型的性能，最新一代英偉達NVLink為每個GPU提供了突破性的1.8TB/s雙向吞吐量，確保最複雜LLM之間多達576個GPU之間的無縫高速通信。
RAS引擎：Blackwell支持的GPU包含一個專用引擎，實現可靠性、可用性和服務性。此外，Blackwell架構還增加了芯片級功能，利用基於AI的預防性維護進行診斷和預測可靠性問題。這可以最大限度地延長系統正常運行時間，並提高大部署規模AI的彈性，使其能連續運行數周甚至數月，並降低運營成本。
安全人工智能：先進的機密計算功能可在不影響性能的情況下保護AI模型和客戶數據，並支持新的本機接口加密協議，這對於醫療保健和金融服務等隱私敏感行業至關重要。
解壓縮引擎：專用解壓縮引擎支持最新格式，加快數據庫查詢，提供數據分析和數據科學的最高性能。未來幾年，在企業每年花費數百億美元的數據處理方面，將越來越多地由GPU加速。
Blackwell GPU體積龐大，將兩個單獨製造的晶粒組合成一個由台積電製造的芯片。它還將作為一款名為GB200 NVLink 2的整個服務器提供，該服務器結合了72個Blackwell GPU和其他旨在訓練AI模型的英偉達部件。
亞馬遜、谷歌、微軟和甲骨文將通過雲服務提供對GB200的訪問。GB200將兩個B200 Blackwell GPU與一個基於Arm的Grace CPU配對。英偉達表示，亞馬遜網絡服務將構建一個包含20000個GB200芯片的服務器集群。
英偉達沒有提供新款GB200或其使用系統的成本。據分析師估計，英偉達基於Hopper的H100芯片成本在2.5萬至4萬美元之間，而整個系統的成本高達20萬美元。
英偉達推理微服務
英偉達還宣布，將在其英偉達企業軟件訂閱中添加一款名為NIM（英偉達推理微服務）的新產品。NIM讓使用較舊的英偉達GPU進行推理（或運行AI軟件的過程）變得更加簡單，並允許公司繼續使用其已經擁有的數億個英偉達GPU。與新AI模型的初始訓練相比，推理所需的計算能力較少。對於那些希望運行自己的AI模型，而不是從OpenAI等公司購買AI結果作為服務的企業來說，NIM無疑是他們的得力助手。
英偉達的策略是吸引購買基於英偉達的服務器的客戶註冊英偉達企業版，每個GPU每年的許可費為4500美元。
英偉達將與微軟或Hugging Face等AI公司合作，確保他們的AI模型能夠在所有兼容的英偉達芯片上運行。隨後，開發者可以使用NIM在自有服務器或基於雲端的英偉達服務器上高效運行模型，無需繁瑣的配置過程。
「在我原本調用OpenAI的代碼中，我只需替換一行代碼，將其指向從英偉達獲取的NIM即可。」Das說道。
英偉達表示，該軟件還將助力AI在配備GPU的筆記本電腦上運行，而非僅限於雲端服務器。
https://www.wenweipo.com/a/202403/19/AP6...e4b95.html
號稱今年全球頭號人工智能（AI）領域開發者大會的英偉達2024 GTC AI大會於美東時間3月18日周一拉開帷幕。今年是英偉達時隔五年首次讓年度GTC重回線下，也是此前分析認為英偉達要「拿出點真傢伙」的AI盛會。
當地時間周一下午，英偉達創始人兼CEO黃仁勛在美國加州聖何塞SAP中心進行主題為「面向開發者的1#AI峰會」（1#AI Conference for Developers）演講。黃仁勛介紹了運行AI模型的新一代芯片和軟件。英偉達正式推出名為Blackwell的新一代AI圖形處理器（GPU），預計將在今年晚些時候發貨。
Blackwell平台能夠在萬億參數級的大型語言模型（LLM）上構建和運行實時生成式AI，而成本和能耗比前身低25倍。
另據媒體報道，英偉達CEO黃仁勛在GTC宣布，將在其企業軟件訂閱中增加一款名為NIM的新產品。NIM可以更容易地使用舊的英偉達GPU進行推理，並允許公司繼續使用他們已經擁有的數億個英偉達GPU。該產品將使新人工智能模型的初始訓練推理所需的算力更少。該公司的策略是讓購買英偉達服務器的客戶註冊英偉達企業版，每個GPU每年收取費用4500美元。黃仁勛表示，該軟件還將幫助在配備GPU的筆記本電腦上運行人工智能，而不是在雲服務器上運行。
此外，英偉達CEO黃仁勛宣布推出下一代人工智能超級計算機，英偉達還發布6G研究雲平台，以便用AI技術推進無綫通信。
英偉達推新AI芯片
據外媒報道，英偉達於周一宣布推出新一代人工智能芯片和用於運行人工智能模型的軟件。該公司在美國聖何塞舉行的開發者大會上宣布了這一消息，正值這家芯片製造商尋求鞏固其作為人工智能公司首選供應商的地位。
自OpenAI的ChatGPT於2022年末掀起人工智能熱潮以來，英偉達的股價上漲了五倍，總銷售額增長了兩倍多。英偉達的高端服務器GPU對於訓練和部署大型AI模型至關重要。微軟和Meta等公司已經花費了數十億美元購買這些芯片。
新一代AI圖形處理器命名為Blackwell。首款Blackwell芯片名為GB200，將於今年晚些時候發貨。英偉達正在用更強大的芯片吸引客戶，以刺激新訂單。例如，各公司和軟件製造商仍在爭相搶購當前一代的「Hopper」H100芯片及類似產品。
「Hopper很棒，但我們需要更大的GPU，」英偉達首席執行官黃仁勛周一在該公司於加利福尼亞州舉行的開發者大會上表示。不過，周一盤後交易中，英偉達股價下跌超過1%。該公司還推出了名為NIM的創收軟件，該軟件將簡化AI的部署，為客戶提供了在日益增多的競爭者中堅持使用英偉達芯片的另一個理由。
英偉達高管表示，該公司正從一個唯利是圖的芯片提供商轉變為更像微軟或蘋果的平台提供商，其他公司可以在此基礎上構建軟件。
「Blackwell不僅僅是一款芯片，而是一個平台的名稱，」黃仁勛表示。
英偉達企業副總裁Manuvir Das在接受採訪時表示：「可銷售的商業產品是GPU，而軟件則是為了幫助人們以不同的方式使用GPU。當然，我們現在仍然這樣做。但真正改變的是，我們現在真的有了商業軟件業務。」
Das表示，英偉達的新軟件將更容易在任何英偉達GPU上運行程序，甚至是那些可能更適合部署而不是構建AI的老舊GPU。「如果你是開發者，你有一個有趣的模型，你希望人們採用它，如果你把它放入NIM中，我們會確保它可以在我們所有的GPU上運行，這樣你就可以覆蓋很多人，」Das說道。
Blackwell擁有六項革命性技術
英偉達每兩年更新一次其GPU架構，實現性能的飛躍。過去一年發布的許多AI模型都是在該公司的Hopper架構上訓練的，該架構被用於H100等芯片，於2022年宣布推出。
據悉，英偉達稱，Blackwell擁有六項革命性的技術，可以支持多達10萬億參數的模型進行AI訓練和實時LLM推理：
全球最強大的芯片：Blackwell架構GPU由2080億個晶體管組成，採用量身定製的台積電4納米工藝製造，兩個reticle極限GPU裸片將10 TB/秒的芯片到芯片鏈路連接成單個統一的GPU。
第二代Transformer引擎：結合了Blackwell Tensor Core技術和TensorRT-LLM和NeMo Megatron框架中的英偉達先進動態範圍管理算法，Blackwell將通過新的4位浮點AI支持雙倍的計算和模型大小推理能力。
第五代NVLink：為提高數萬億參數和混合專家AI模型的性能，最新一代英偉達NVLink為每個GPU提供了突破性的1.8TB/s雙向吞吐量，確保最複雜LLM之間多達576個GPU之間的無縫高速通信。
RAS引擎：Blackwell支持的GPU包含一個專用引擎，實現可靠性、可用性和服務性。此外，Blackwell架構還增加了芯片級功能，利用基於AI的預防性維護進行診斷和預測可靠性問題。這可以最大限度地延長系統正常運行時間，並提高大部署規模AI的彈性，使其能連續運行數周甚至數月，並降低運營成本。
安全人工智能：先進的機密計算功能可在不影響性能的情況下保護AI模型和客戶數據，並支持新的本機接口加密協議，這對於醫療保健和金融服務等隱私敏感行業至關重要。
解壓縮引擎：專用解壓縮引擎支持最新格式，加快數據庫查詢，提供數據分析和數據科學的最高性能。未來幾年，在企業每年花費數百億美元的數據處理方面，將越來越多地由GPU加速。
Blackwell GPU體積龐大，將兩個單獨製造的晶粒組合成一個由台積電製造的芯片。它還將作為一款名為GB200 NVLink 2的整個服務器提供，該服務器結合了72個Blackwell GPU和其他旨在訓練AI模型的英偉達部件。
亞馬遜、谷歌、微軟和甲骨文將通過雲服務提供對GB200的訪問。GB200將兩個B200 Blackwell GPU與一個基於Arm的Grace CPU配對。英偉達表示，亞馬遜網絡服務將構建一個包含20000個GB200芯片的服務器集群。
英偉達沒有提供新款GB200或其使用系統的成本。據分析師估計，英偉達基於Hopper的H100芯片成本在2.5萬至4萬美元之間，而整個系統的成本高達20萬美元。
英偉達推理微服務
英偉達還宣布，將在其英偉達企業軟件訂閱中添加一款名為NIM（英偉達推理微服務）的新產品。NIM讓使用較舊的英偉達GPU進行推理（或運行AI軟件的過程）變得更加簡單，並允許公司繼續使用其已經擁有的數億個英偉達GPU。與新AI模型的初始訓練相比，推理所需的計算能力較少。對於那些希望運行自己的AI模型，而不是從OpenAI等公司購買AI結果作為服務的企業來說，NIM無疑是他們的得力助手。
英偉達的策略是吸引購買基於英偉達的服務器的客戶註冊英偉達企業版，每個GPU每年的許可費為4500美元。
英偉達將與微軟或Hugging Face等AI公司合作，確保他們的AI模型能夠在所有兼容的英偉達芯片上運行。隨後，開發者可以使用NIM在自有服務器或基於雲端的英偉達服務器上高效運行模型，無需繁瑣的配置過程。
「在我原本調用OpenAI的代碼中，我只需替換一行代碼，將其指向從英偉達獲取的NIM即可。」Das說道。
英偉達表示，該軟件還將助力AI在配備GPU的筆記本電腦上運行，而非僅限於雲端服務器。
HKdimsum
![[Image: mfile_1747714_1_L_20240406111510.jpg]](https://newsstatic.rthk.hk/images/mfile_1747714_1_L_20240406111510.jpg)
![[Image: 66188b12e4b01604b4a7a726.jpg]](https://dw-media.tkww.hk/dams/dwproduct/image/202404/12/66188b12e4b01604b4a7a726.jpg)
![[Image: 66188b21e4b01604b4a7a7351.jpg]](https://dw-media.tkww.hk/dams/dwproduct/image/202404/12/66188b21e4b01604b4a7a7351.jpg)