VMware（NYSE：VMW）和NVIDIA（NASDAQ：NVDA）于今日宣布擴展雙方的戰略合作伙伴關系，幫助數十萬家使用VMware云基礎架構的企業做好準備，迎接AI時代的到來。

VMware Private AI Foundation with NVIDIA將使企業能夠自定義模型并運行各種生成式AI應用，如智能聊天機器人、助手、搜索和摘要等。該平臺將作為全集成式解決方案，采用NVIDIA提供的生成式AI軟件和加速計算，基于VMware Cloud Foundation構建，并針對AI進行了優化。

VMware首席執行官Raghu Raghuram表示：“生成式AI與多云可謂珠聯璧合。客戶的數據無處不在，遍布其數據中心、邊緣、云等多處。我們將與NVIDIA一同助力企業放心地在數據附近運行生成式AI工作負載，并解決其在企業數據隱私、安全和控制方面的問題。”

NVIDIA創始人兼首席執行官黃仁勛表示：“世界各地的企業都在競相將生成式AI整合到自身業務中。通過與VMware擴大合作，我們將能夠為金融服務、醫療、制造等領域的數十萬家客戶提供其所需的全棧式軟件和計算，使其能夠使用基于自身數據定制的應用，充分挖掘生成式AI的潛力。”

全棧式計算大幅提升生成式AI的性能

為更快實現業務效益，企業希望簡化并提高生成式AI應用的開發、測試和部署效率。根據麥肯錫的預測，生成式AI每年可為全球經濟帶來多達4.4萬億美元的增長(1)。

VMware Private AI Foundation with NVIDIA將助力企業充分利用這一能力，以定制大語言模型，創建供內部使用的更加安全的私有模型，將生成式AI作為一項服務提供給用戶，并更加安全地大規模運行推理工作負載。

該平臺計劃提供的各種集成式AI工具，將幫助企業經濟高效地運行使用其私有數據訓練而成的成熟模型。這一建立在VMware Cloud Foundation和NVIDIA AI Enterprise軟件上的平臺預計能夠提供以下方面的優勢：

● 隱私：將通過能夠保護數據隱私并確保訪問安全的架構，使客戶能夠在任何數據所在地輕松運行AI服務。

● 選擇：從NVIDIA NeMo?到Llama 2等，企業在構建和運行其模型的位置上，將擁有廣泛的選擇空間，包括領先的OEM硬件配置以及未來的公有云和服務提供商解決方案。

● 性能：近期的行業基準測試表明，某些用例在NVIDIA加速基礎設施上運行的性能與裸機性能相當，甚至超過了裸機性能。

● 數據中心規模：虛擬化環境中的GPU擴展優化使AI工作負載能夠在單個虛擬機和多個節點上擴展到最多16顆vGPU/GPU，從而加快生成式AI模型的微調和部署速度。

● 更低的成本：將最大程度地利用GPU、DPU和CPU的所有計算資源以降低總體成本，并創建可在各個團隊間高效共享的池化資源環境。

● 加速存儲：VMware vSAN Express Storage Architecture提供性能經過優化的NVMe存儲，并支持通過RDMA實現GPUDirect?存儲，從而無需CPU即可實現從存儲到GPU的直接I/O傳輸。

● 加速網絡：vSphere與NVIDIA NVSwitch?技術之間的深度集成將進一步確保多GPU模型的執行不會出現GPU間瓶頸問題。

● 快速部署和價值實現時間：vSphere Deep Learning VM鏡像和鏡像庫將提供穩定的統包解決方案鏡像，該鏡像預先安裝了各種框架和性能經過優化的庫，可實現快速原型開發。

該平臺將采用的NVIDIA NeMo是NVIDIA AI Enterprise（NVIDIA AI平臺的操作系統）中包含的端到端云原生框架，可助力企業在幾乎任何地點構建、自定義和部署生成式AI模型。NeMo集自定義框架、護欄工具包、數據整理工具和預訓練模型于一身，使企業能夠以一種簡單、經濟且快速的方式來采用生成式AI。

為將生成式AI部署到生產中，NeMo使用TensorRT for Large Language Models（TRT-LLM），以加速并優化NVIDIA GPU上最新LLM的推理性能。通過NeMo，VMware Private AI Foundation with NVIDIA將使企業能夠導入自己的數據，并在VMware混合云基礎架構上構建和運行自定義生成式AI模型。

在VMware Explore 2023大會上，NVIDIA與VMware重點介紹了企業內部的開發人員如何使用全新NVIDIA AI Workbench提取社區模型（例如Hugging Face上提供的Llama 2），對這些模型進行遠程自定義并在VMware環境中部署生產級生成式AI。

生態圈對VMware Private AI Foundation With NVIDIA的廣泛支持

VMware Private AI Foundation with NVIDIA將得到戴爾、慧與和聯想的支持。這三家企業將率先提供搭載NVIDIA L40S GPU、NVIDIA BlueField?-3 DPU和NVIDIA ConnectX?-7智能網卡的系統，這些系統將加速企業LLM定制和推理工作負載。

相較于NVIDIA A100 Tensor Core GPU，NVIDIA L40S GPU可將生成式AI的推理性能和訓練性能分別提高1.2倍和1.7倍。

NVIDIA BlueField-3 DPU可加速、卸載和隔離GPU或CPU上的巨大計算工作負載，其中包含虛擬化、網絡、存儲、安全，以及其他云原生AI服務。

NVIDIA ConnectX-7智能網卡可為數據中心基礎設施提供智能、加速網絡，以承載全球一些要求嚴苛的AI工作負載。

VMware Private AI Foundation with NVIDIA建立在兩家公司長達十年的合作基礎之上。雙方的聯合研發成果優化了VMware的云基礎架構，使其能夠以媲美裸機的性能運行NVIDIA AI Enterprise。VMware Cloud Foundation所提供的資源及基礎架構管理與靈活性將進一步惠及雙方共同的客戶。