LLM ReferenceLLM Reference
NVIDIA NIM

NVIDIA NIM Models — Pricing & Benchmarks

141 models available · NVIDIA

NVIDIA NIM hosts 141 AI models in this catalog. Per-token pricing is not listed for these NVIDIA NIM rows yet; compare context windows, benchmarks, and hosting options instead. LLM Reference lets you compare these models across all 63 providers without switching tabs.

Hosting moonshotai/kimi-k2.6? Browse Kimi K2.6 on NVIDIA NIM for GPU-hour pricing context or open the step-by-step NIM guide.

ModelInput (per 1M)Output (per 1M)Context
Arctic——4K
Baichuan 2 13B Chat———
Bielik 11B v2.6 Instruct——4K
Breeze 7B———
ChatGLM3 6B——8K
CodeGemma 1.1 7B———
CodeGemma 7B Instruct———
CodeLlama 70B——16K
Codestral 22B——32K
Codestral Mamba 7B——256K
Colosseum 355B Instruct——16K
DBRX Instruct——32K
DeepSeek Coder 6.7B——4K
DeepSeek R1——128K
DeepSeek R1 Distill Llama 8B——128K
DeepSeek R1 Distill Qwen-14B——128K
DeepSeek R1 Distill Qwen-32B——128K
DeepSeek R1 Distill Qwen-7B——128K
DeepSeek V3——64k
DeepSeek V3.1——64K
DeepSeek V3.1 Terminus——164K
DeepSeek V3.2——160K
DePlot———
Dracarys Llama 3.1 70B Instruct——8K
Falcon 3 7B Instruct——128K
Fuyu-8B———
Gemma 2 27B Instruct——8K
Gemma 2 2B Instruct———
Gemma 2 9B Instruct——8K
Gemma 2 9B SahabatAI Instruct——8K
Gemma 2B Instruct——2K
Gemma 3 1B Instruct——32K
Gemma 3 27B (free)——131K
Gemma 3n 2B (free)——8K
Gemma 3n 4B (free)——8K
Gemma 7B Instruct——8K
GLM-4.7———
GLM-5——200k
gpt-oss-120b——131K
gpt-oss-20b——131K
Granite 3.3 8B Instruct——128K
Granite 34B Code——8K
Granite 8B Code——8K
Granite Guardian 3.0 8B——8K
Italia 10B Instruct——16K
Jamba 1.5 Mini——256K
Kimi K2 Instruct———
Kimi K2 Instruct 0905——256K
Kimi K2 Thinking——256K
Kimi K2.5——256K
Kimi K2.6——262K
Kosmos 2———
Llama 2 70B Chat——4K
Llama 3 70B Instruct——8K
Llama 3 8B Instruct——8K
Llama 3 Swallow 70B Instruct——4K
Llama 3 Taiwan 70B Instruct——8K
Llama 3.1 405B Instruct——128K
Llama 3.1 70B Instruct——128K
Llama 3.1 8B Instruct——128K
Llama 3.1 NemoGuard 8B Content Safety——4K
Llama 3.1 NemoGuard 8B Topic Control——4K
Llama 3.1 Nemotron 70B Reward——4K
Llama 3.1 Nemotron Nano 4B v1.1——4K
Llama 3.1 Nemotron Nano 8B v1——4K
Llama 3.1 Nemotron Nano VL 8B v1——4K
Llama 3.1 Swallow 70B Instruct——4K
Llama 3.1 Swallow 8B Instruct——4K
Llama 3.2 11B Vision Instruct——128K
Llama 3.2 1B Instruct——128K
Llama 3.2 3B Instruct——128K
Llama 3.2 90B Vision Instruct——128K
Llama 3.2 NV EmbedQA 1B v1——512
Llama 3.2 NV EmbedQA 1B v2——4K
Llama 3.2 NV RerankQA 1B v2——4K
Llama 3.3 70B Instruct (free)——66K
Llama 3.3 Nemotron Super 49B v1——128K
Llama 4 Maverick 17B Instruct FP8——1M
Llama 4 Scout 17B-16E Instruct——328K
Llama Guard 4 12B——164K
LLaVA 1.6 Hermes Yi 34B——200K
LLaVA 1.6 Mistral 7B——32K
Magistral Small 2506——128K
Marin 7B Instruct——8K
Marin 8B Instruct——128K
MiniMax M2.5——197K
Mistral 7B Instruct v0.2——32K
Mistral 7B Instruct v0.3——32K
Mistral 7B v0.1——8K
Mistral Large——32k
Mistral Large 3 675B Instruct——128K
Mistral Medium 3 Instruct——128K
Mistral NeMo Instruct (2407)——128K
Mistral Nemotron———
Mistral Small 3.1 24B Instruct——128K
Mistral Small 4——256K
Mixtral 8x22B v0.1——64K
Mixtral 8x7B——32K
Nemotron 3 Nano——256K
Nemotron 3 Super-120B-A12B——1M
Nemotron 4 340B——4K
Nemotron Mini 4B Instruct——4K
Nemotron Mini Hindi 4B Instruct——4K
Nemotron-Nano-12B-v2-VL———
Nemotron-Nano-9B-v2———
NeVA 22B———
NV-EmbedCode 7B v1——4K
NVIDIA Llama 3 ChatQA 70B———
NVIDIA Llama 3 ChatQA 8B———
PaliGemma 3B 896——512
Phi 3.5 Mini Instruct——128K
Phi 4 Multimodal Instruct——128K
Phi-3 Medium 128K——128K
Phi-3 Medium 4K——4K
Phi-3 Mini 128K——128K
Phi-3 Mini 4k——4K
Phi-3 Small 128K——128K
Phi-3 Small 8K——8K
Phi-3 Vision——128K
Phi-4 Mini———
Phi-4 Mini Flash Reasoning——128K
Qwen2-7B——128K
Qwen2-7B-Instruct——128K
Qwen2.5-7B-Instruct——128K
Qwen2.5-Coder-32B-Instruct———
Qwen2.5-Coder-7B-Instruct———
Qwen3-Coder-480B-A35B-Instruct——256K
RakutenAI 7B Chat——4K
RakutenAI 7B Instruct——4K
RecurrentGemma 2B———
Sarvam-M Multilingual Hybrid——128K
SEA-LION 7B———
SeaLLM 7B V2.5———
Seed-OSS 36B Instruct——4K
ShieldGemma 9B——8K
SOLAR 10.7B———
StarCoder2 15B——8K
StarCoder2 7B——8K
Stockmark 2 100B Instruct——128K
Teuken 7B Instruct——4K
Yi Large——32K

About NVIDIA NIM

NIM packages inference runtimes and model profiles into containers that expose standard API surfaces such as chat completions, completions, model listing, tokenization, health, and management endpoints. The hosted API path is useful for prototyping and catalog discovery, while the NGC/container path is the self-hosted route for teams that want GPU-hour infrastructure control, private-network deployment, Kubernetes scaling, or NVIDIA AI Enterprise support. Per-token pricing is not a universal provider-level claim in the current seed data; pricing should stay attached to sourced model-provider rows or NVIDIA's current catalog terms.

Full provider profile →

Links

Dashboard Documentation Pricing