NVIDIA NIM 是一套加速推理微服務，專為在任何地方的 NVIDIA GPU 上執行 AI 模型而設計。這些預先構建的容器支持廣泛的生成式 AI 模型，從開源社區模型到 NVIDIA AI Foundation 和定制模型。本報告詳細介紹了當前可用的 NVIDIA NIM 集合，包括其功能、用例和訪問方式。

NVIDIA NIM 概述

NVIDIA NIM 微服務能與 AWS 等雲服務緊密整合，使開發者能夠大規模部署生成式 AI 模型。NIM 提供標準化 API，只需幾行代碼即可輕鬆集成到生成式 AI 應用程序中。這些微服務經過精心工程設計，可確保生成式 AI 應用程序能夠在任何地方部署，同時保持高性能和可靠性。

NIM 不僅提供了出色的性能優化（例如，NVIDIA Llama 3.1 8B Instruct NIM 與最佳開源替代品相比，實現了 2.5 倍的吞吐量改進，4 倍更快的「首個詞元時間」和 2.2 倍更快的「詞元間延遲」），還提供了企業級安全性和控制功能。

NVIDIA NIM 模型集合

以下是當前可用的 NVIDIA NIM 模型集合，這些模型可通過 build.nvidia.com/models 訪問：

NVIDIA NIM 部署選項

NVIDIA NIM 微服務可通過多種方式部署和使用。開發者可以選擇在雲端、數據中心、RTX AI PC 和工作站上部署這些服務。值得注意的是，每個新帳戶可獲得高達 5,000 個免費積分，讓開發者無需 GPU 即可免費使用 Llama3.2 Vision、Nemotron、Mistral 和 VILA 等最先進的生成式 AI 模型。

對於希望開始使用 NIM 的開發者，NVIDIA 提供了三種主要途徑：

1. 嘗試：通過 NVIDIA 托管的 NIM API 開始構建 AI 應用程序
2. 構建：利用基於 NIM 和合作夥伴微服務構建的示例應用程序加速開發
3. 部署：通過 NVIDIA 開發者計劃進行大規模測試和開發，或通過 NVIDIA AI Enterprise 從試點過渡到生產

NVIDIA Metropolis 生成式 AI 工作流

NVIDIA 還提供了 Metropolis 生成式 AI 工作流集合，這是一套用於使用 NVIDIA NIM 微服務構建視覺 AI 代理的訓練材料、參考應用程序和工作流程。這些工作流包括：

1. VLM 警報工作流：學習使用 VLM 自動監控視頻流中的自定義事件
2. NV-CLIP 語義搜索工作流：學習使用自然語言搜索圖像
3. 結構化文本提取工作流：學習結合 VLM、LLM 和 CV 模型構建強大的文本提取管道
4. NVDINOv2 少樣本分類工作流：學習使用嵌入和 Milvus VectorDB 構建少樣本分類模型

結論

NVIDIA NIM 微服務代表了生成式 AI 部署技術的重大進步，為開發者提供了一種簡單而強大的方式來利用 NVIDIA GPU 的能力部署 AI 模型。從語言模型和視覺理解到語音識別和天氣預測，NIM 集合涵蓋了廣泛的用例，使其成為希望在任何地方部署高性能 AI 應用程序的組織的理想選擇。

隨著 NVIDIA 繼續擴展其 NIM 產品，並通過其開發者計劃和合作夥伴關係提供更多資源，我們可以預期看到更多創新的 AI 應用程序出現。無論您是想要嘗試最新的生成式 AI 模型，還是構建和部署企業級 AI 解決方案，NVIDIA NIM 都提供了必要的工具和資源來實現您的目標。

NVIDIA NIM 使用案例全面指南

NVIDIA NIM（NVIDIA Inference Microservices）是一套優化的推理微服務，專為在各種環境中部署 AI 模型而設計。這些預先構建的容器支持在雲端、數據中心和 GPU 加速工作站上部署生成式 AI 模型，提供標準化 API 以簡化 AI 能力的集成。以下是 NVIDIA NIM 的主要使用案例。

語言處理與對話模型

NVIDIA NIM 提供強大的支持，用於部署和優化大型語言模型（LLM）。這些 LLM 驅動的應用程序可以處理複雜的語言任務，生成文本，並與用戶進行自然對話。NIM 通過優化的容器簡化了 LLM 的部署過程，實現高性能推理。

NVIDIA 的 NIM 微服務可以用於構建各種對話式 AI 應用，包括智能聊天機器人、共同駕駛和虛擬助手。這些應用程序可以集成到企業工作流程中，提供即時信息訪問、客戶支持和自動化任務處理。透過標準 API，開發人員可以輕鬆地將這些功能集成到現有系統中。

讓 AI 成為客戶服務的核心部分是 NIM 的另一個重要使用案例。例如，NVIDIA NIM Agent Blueprints 包含用於客戶服務的數字人工作流，可以創建高度互動和響應迅速的客戶服務頭像。這些數字助手可以處理查詢、提供產品信息並引導用戶完成各種流程。

視覺和多模態應用

NVIDIA NIM 支持視覺語言模型（VLM）的部署，使 AI 系統能夠理解和處理圖像和視頻。這些模型可以用於各種應用，如圖像識別、物體檢測和場景理解。例如，開發人員可以使用 NIM 為自動監控系統或視覺檢查工具提供支持。

在創意領域，NIM 微服務使創作者能夠使用 3D 對象和文本提示來指導 AI 圖像生成。這種能力特別有用於概念藝術家和設計師，他們可以布置 3D 資產，然後使用圖像生成 NIM（如 Flux）創建符合 3D 場景的視覺效果。用戶可以添加或移動對象、更改相機角度或用新提示重新構想整個場景。

NIM 還支持多模態 PDF 數據分析，這對於需要從 PDF 文檔提取和理解信息的企業非常有價值。這種能力可以自動化文檔處理工作流程，提取關鍵信息，並使分析大量文檔變得更加高效。

行業特定應用

NVIDIA NIM 在半導體設計、汽車和機器人領域推動創新。例如，Cadence 將 NVIDIA NeMo 和 NIM 微服務集成到其所有生成式 AI 應用程序中，優化軟件和硬件，減少 AI 數據中心的碳足跡。

在生物學和藥物發現方面，NIM 提供了用於預測蛋白質 3D 結構的專門服務。這對於藥物設計和生物技術研究非常重要，可以加速新藥物的發現和開發。NVIDIA NIM Agent Blueprints 還包括藥物發現虛擬篩選工具，進一步擴展了這一領域的能力。

NIM 還可以應用於金融、零售和製造等其他行業，為特定用例提供定制 AI 解決方案。通過在自己的數據上微調模型，企業可以提高 AI 應用程序的準確性和相關性。

基於知識的檢索和增強生成

檢索增強生成（RAG）是 NVIDIA NIM 的關鍵使用案例之一。RAG 工作流程結合了 AI 模型和外部知識庫，使模型能夠生成更準確、更有根據的回應。例如，Cadence 使用 NeMo Retriever 和 NIM 微服務進行 RAG，使模型能夠從外部資源獲取事實，提供權威響應並引用來源。

這種方法對於企業應用特別有價值，因為它可以確保 AI 生成的內容準確且值得信賴。RAG 還有助於模型澄清用戶查詢中的歧義，減少錯誤假設的可能性。而且，它可以用幾行代碼實現，使其成為比重新訓練模型更快、成本更低的解決方案。

NVIDIA 與 LlamaIndex 的集成使開發人員能夠構建代理增強的 AI 查詢引擎。例如，開發人員可以使用 NIM 和 LlamaIndex 建立查詢路由器，用於回答與舊金山市預算數據相關的問題。這種集成使得創建更智能、更靈活的 AI 系統成為可能。

代理和工作流應用

NVIDIA NIM 支持代理，這些代理使用經過訓練的模型進行代理行為。代理是使用 LLM 能力執行一組操作或使用工具的實體，能夠在系統狀態內實現期望的結果。它們通常涉及推理、規劃、執行和響應環境變化。

NVIDIA NIM Agent Blueprints 提供了預訓練的、可定制的 AI 工作流程，用於各種用例。這些藍圖是使用 NVIDIA NeMo、NVIDIA NIM 和合作夥伴微服務構建的樣本應用程序。它們包括參考代碼、自定義文檔和用於部署的 Helm 圖表，使企業能夠使用自己的業務數據修改樣本應用程序。

基礎設施和部署優化

NVIDIA NIM 簡化了 AI 模型部署和管理。它支持將模型部署在各種基礎設施上，包括雲、數據中心和 RTX AI PC。這種靈活性使企業能夠在任何地方運行 AI 模型，同時保持對應用程序和數據的安全和控制。

對於希望大規模部署 AI 的企業，NVIDIA NIM 提供了詳細的可觀察性指標用於監控，以及用於在 Kubernetes 上擴展 NIM 的 Helm 圖表和指南。這些功能使企業能夠更輕鬆地管理和擴展其 AI 部署。

Cloudera AI Inference 服務嵌入了 NVIDIA NIM 微服務，使企業能夠將生成式 AI 從試點階段推進到全面生產。該服務使用 NVIDIA 加速計算和 NVIDIA NIM 微服務將 LLM 性能速度提高了 36 倍，為企業提供增強的性能、強大的安全性和可擴展的靈活性。

結論

NVIDIA NIM 微服務提供了一套全面的工具，用於在各種環境和用例中部署和優化 AI 模型。從語言處理和視覺理解到行業特定應用和基礎設施優化，NIM 支持廣泛的使用案例，使企業能夠充分利用生成式 AI 的力量。隨著 NVIDIA 繼續擴展其 NIM 產品和藍圖，我們可以預期看到更多創新的 AI 應用在各個行業出現。對於尋求將 AI 集成到其業務運營中的企業，NVIDIA NIM 提供了一個強大而靈活的解決方案。

NVIDIA NIM 支援的 AI 模型類型全面概述

NVIDIA NIM 是一套優化的推理微服務，專為在各種環境中部署 AI 模型而設計。這些預先構建的容器支持多種類型的 AI 模型，提供標準化 API 以簡化 AI 能力的集成。以下是 NVIDIA NIM 當前支持的主要 AI 模型類型及其詳細信息。

支持的模型類型

NVIDIA NIM 支持廣泛的 AI 模型類型，從大型語言模型到專業領域模型，使開發者能夠在各種應用場景中利用 AI 的力量。這些模型類型經過優化，可在 NVIDIA GPU 上高效運行，並通過標準化的 API 提供，使集成變得簡單高效。

大型語言模型

大型語言模型是 NVIDIA NIM 的核心組件之一，提供多種功能包括文本生成、推理和對話能力。NIM 支持多種來源的 LLM，從開源社區到 NVIDIA 自己的模型，為開發者提供了豐富的選擇。

這些 LLM 可以處理從簡單的文本生成到複雜推理任務的各種應用。例如，NVIDIA Nemotron-4 模型系列提供了從 43B 參數到 8B 參數的不同大小模型，可以根據應用需求和可用計算資源進行選擇。這些模型經過優化，可以在各種硬件配置上高效運行，從雲服務器到本地工作站。

NVIDIA NIM 還提供了針對特定語言和領域的 LLM，如 Nemotron-4-mini-hindi-4b-instruct，這是一個雙語印地語-英語小型語言模型，專為印地語內容定制。這種專業化使開發者能夠為特定市場和用戶群體創建更相關和高效的 AI 應用。

視覺語言模型

視覺語言模型結合了圖像理解和語言處理能力，使 AI 能夠解釋和描述視覺內容。NVIDIA NIM 支持多種視覺語言模型，這些模型可以處理從圖像描述到視覺問答的任務。

這些模型特別適用於需要圖像理解的應用，如內容審核、可訪問性工具和視覺搜索引擎。例如，開發者可以使用 NVIDIA VILA 模型創建能夠理解和生成與圖像相關的文本的應用程序。這些模型在理解圖像內容、答復基於圖像的問題以及生成圖像描述方面表現出色。

視覺語言模型的一個關鍵應用是多模態搜索，其中用戶可以使用文本查詢來搜索與特定描述相匹配的圖像。NVIDIA NIM 使開發者能夠輕鬆實現這種功能，提供標準化 API 來簡化集成過程。

多模態模型

多模態模型能夠處理和理解多種形式的數據，包括文本、圖像、音頻和其他形式的輸入。NVIDIA NIM 支持各種多模態模型，使開發者能夠創建更全面和靈活的 AI 應用。

這些模型特別適用於需要處理和整合不同類型數據的複雜應用。例如，NVIDIA NIM 提供的多模態模型可以用於創建能夠理解文檔（包括文本和圖像）的應用程序，分析視頻內容，或處理音頻和文本輸入的組合。

多模態模型在諸如虛擬助手、內容分析和媒體處理等應用中特別有用。通過整合多種形式的數據，這些模型能夠提供更全面和準確的理解和響應。

計算機視覺模型

計算機視覺模型專注於圖像和視頻分析，能夠執行物體檢測、圖像分割和視覺識別等任務。NVIDIA NIM 提供了多種計算機視覺模型，支持從基本圖像分析到高級視覺理解的各種用例。

這些模型特別適用於需要自動化視覺分析的應用，如安全監控、工業檢測和醫學成像。例如，NVIDIA nv-yolox-page-elements-v1 是一個物體檢測模型，經過微調以檢測文檔中的圖表、表格和標題，對於文檔理解應用非常有用。

計算機視覺模型還可以用於創建互動式 AR/VR 體驗、自動駕駛系統和機器人視覺系統。NVIDIA NIM 簡化了這些模型的部署和集成，使開發者能夠更輕鬆地將視覺智能添加到他們的應用中。

語音和音頻模型

語音和音頻模型專注於處理和理解語音和其他形式的音頻輸入。NVIDIA NIM 提供多種語音和音頻模型，支持從語音識別到音頻合成的各種任務。

這些模型適用於需要語音交互或音頻分析的應用。例如，NVIDIA conformer-ctc-asr 是一個自動語音識別模型，能夠以高準確度和性能轉錄英語語音。這對於語音轉文本應用、會議記錄和可訪問性工具特別有用。

NVIDIA audio2face-3d 模型展示了語音和音頻模型的另一個創新應用，它將流式音頻轉換為面部混合形狀，用於實時口型同步和面部表演。這種能力對於動畫、虛擬現實和數字人應用特別有價值。

嵌入模型

嵌入模型專注於將高維數據（如文本或圖像）轉換為密集的數值向量，保留原始數據的語義信息。NVIDIA NIM 提供多種嵌入模型，支持從文本嵌入到多模態嵌入的各種任務。

這些模型特別適用於需要語義搜索、相似性比較或數據檢索的應用。例如，NVIDIA llama-3.2-nv-embedqa-1b 系列模型支持多語言和跨語言文本問答檢索，具有長上下文支持和優化的數據存儲效率。

嵌入模型是檢索增強生成（RAG）系統的關鍵組件，這些系統結合了 AI 模型和外部知識庫。NVIDIA NIM 嵌入模型與 NVIDIA Retriever 微服務一起提供強大的 RAG 功能，使開發者能夠創建更準確、更有根據的 AI 系統。

天氣和氣候模型

天氣和氣候模型專注於模擬和預測大氣動態和天氣模式。NVIDIA NIM 提供先進的天氣和氣候模型，支持從短期天氣預報到長期氣候模擬的各種任務。

這些模型特別適用於需要精確天氣預測或氣候分析的應用。例如，NVIDIA corrdiff 是一個生成式降尺度模型，用於生成高分辨率區域尺度天氣場，而 NVIDIA fourcastnet 預測各種天氣和氣候變量的全球大氣動力學。

天氣和氣候模型對於農業、航空、能源和災害管理等行業特別有價值。NVIDIA NIM 簡化了這些複雜模型的部署和使用，使更多組織能夠從先進的天氣和氣候預測中受益。

專業領域模型

專業領域模型針對特定行業或應用領域進行了優化。NVIDIA NIM 提供了多種專業領域模型，從法律和金融到醫療和製造，滿足特定行業的需求。

例如，NVIDIA usdcode 是一個回答 OpenUSD 知識查詢並生成 USD-Python 代碼的模型，專為 3D 創作和動畫工作流程設計。這類專業模型針對特定領域的知識和任務進行了優化，提供比通用模型更好的性能和準確性。

專業領域模型對於需要特定領域專業知識的應用特別有價值。NVIDIA NIM 的靈活性使開發者能夠部署這些專業模型，創建針對特定行業和用例優化的 AI 解決方案。

以下是 NVIDIA NIM 支持的主要 AI 模型類型的詳細表格：

結論

NVIDIA NIM 支持廣泛的 AI 模型類型，從大型語言模型到專業領域模型，為開發者提供了豐富的工具集來構建和部署 AI 應用。這些模型經過優化，可在 NVIDIA GPU 上高效運行，並通過標準化的 API 提供，使集成變得簡單高效。隨著 NVIDIA 繼續擴展其 NIM 產品，我們可以預期看到更多創新的 AI 模型類型被添加到這個不斷增長的生態系統中。

開發者可以根據他們的特定用例和需求選擇最合適的模型類型。無論是構建聊天機器人、視覺識別系統還是專業領域應用，NVIDIA NIM 都提供了必要的工具和資源來成功實現這些目標。通過使用這些預先優化的模型，開發者可以專注於創建創新的 AI 解決方案，而不必擔心底層的實現細節。

More about Nvidia NIM

• NIM - Tenten AI - 科技、AI 新聞｜解鎖人工智慧的未來
• NVIDIA NIM 資源大全
• Nvidia NIM 全面指南：您需要知道的一切
• NVIDIA NIM：引領 AI 時代的工作革命
• NVIDIA CES 2025：NIM 微服務與 AI 藍圖 (AI Blueprints) 引領本地 AI 新紀元！
• NVIDIA Nim：快速部署生成式 AI 的新選擇，從開發到上線只需五分鐘
• NVIDIA NIM：釋放 AI 模型潛力的微服務

I'm a Full Stack Developer with expertise in building modern web applications that fast, secure, and scalable. Crafting seamless user experiences with a passion for headless CMS, Vercel and Cloudflare

Loading...