local.ailocal.aiEarly access
HardwareModelsEnergyWallReferralsContact
HardwareModelsEnergyWallReferralsContactClaim your nameAccount

Search

Find people, models, hardware, or pages

Account
Model

Qwen3.6 35B A3B

Intelligence rank
#19/238
71
Speed rank
#23/238
52s
Fastest hardware: NVIDIA RTX 6000 Ada 48GB.

Quick Start

Variations

Intelligence / Disk Size

Variations

Verified model-weight disk size. Higher intelligence and lower disk size are better.

best52617171.9GB41.0GB10.0GBDisk Size (lower →)Intelligence (higher →)iq1m · unsloth/Qwen3.6-35B-A3B-GGUF · 62% intelligence · 10.0GB disk sizeiq1m · unsloth/Qwen3.6-35B-A3B-GGUFiq2xxs · 61% intelligence · 10.8GB disk sizeiq2xxsUD-IQ2_M · 61% intelligence · 11.5GB disk sizeUD-IQ2_MUD-Q2_K_XL · 64% intelligence · 12.3GB disk sizeUD-Q2_K_XLiq3xxs · 66% intelligence · 13.2GB disk sizeiq3xxsUD-IQ3_S · 64% intelligence · 13.7GB disk sizeUD-IQ3_SUD-Q3_K_S · 67% intelligence · 15.4GB disk sizeUD-Q3_K_Sq3km · 66% intelligence · 16.6GB disk sizeq3kmUD-Q3_K_XL · 66% intelligence · 16.8GB disk sizeUD-Q3_K_XLiq4xs · 68% intelligence · 17.7GB disk sizeiq4xsUD-Q4_K_S · 69% intelligence · 20.9GB disk sizeUD-Q4_K_S4bit · unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit · 64% intelligence · 21.6GB disk size4bit · unsloth/Qwen3.6-35B-A3B-UD-MLX-4bitMXFP4_MOE · 67% intelligence · 21.7GB disk sizeMXFP4_MOEUD-Q4_K_M · 69% intelligence · 22.1GB disk sizeUD-Q4_K_Mq4kxl · 67% intelligence · 22.4GB disk sizeq4kxlnvfp4 · MTP · k=1 · nvidia/Qwen3.6-35B-A3B-NVFP4 · 70% intelligence · 23.4GB disk sizenvfp4 · MTP · k=1 · nvidia/Qwen3.6-35B-A3B-NVFP4nvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast · 59% intelligence · 23.6GB disk sizenvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fastnvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast · 52% intelligence · 23.6GB disk sizenvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fastawq-4bit · Qwen3 Next Mtp · k=4 · 65% intelligence · 25.0GB disk sizeawq-4bit · Qwen3 Next Mtp · k=4nvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4 · 60% intelligence · 26.5GB disk sizenvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4nvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4 · 54% intelligence · 26.5GB disk sizenvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4fp8 · MTP · k=1 · 68% intelligence · 37.5GB disk sizefp8 · MTP · k=1Default · MTP · k=1 · 71% intelligence · 71.9GB disk sizeDefault · MTP · k=1Default · Qwen/Qwen3.6-35B-A3B · 70% intelligence · 71.9GB disk sizeDefault · Qwen/Qwen3.6-35B-A3B
Intelligence Density

Intelligence ÷ Disk Size (GB).

  1. 6.19
    iq1m · unsloth/Qwen3.6-35B-A3B-GGUF
  2. 5.63
    iq2xxs
  3. 5.34
    UD-IQ2_M
  4. 5.24
    UD-Q2_K_XL
  5. 4.98
    iq3xxs
  6. 4.66
    UD-IQ3_S
  7. 4.36
    UD-Q3_K_S
  8. 4.00
    q3km
  9. 3.94
    UD-Q3_K_XL
  10. 3.85
    iq4xs
  11. 3.28
    UD-Q4_K_S
  12. 3.13
    UD-Q4_K_M
  13. 3.07
    MXFP4_MOE
  14. 2.98
    q4kxl
  15. 2.97
    nvfp4 · MTP · k=1 · nvidia/Qwen3.6-35B-A3B-NVFP4
  16. 2.97
    4bit · unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit
  17. 2.60
    awq-4bit · Qwen3 Next Mtp · k=4
  18. 2.48
    nvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast
  19. 2.25
    nvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4
  20. 2.19
    nvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast
  21. 2.04
    nvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4
  22. 1.81
    fp8 · MTP · k=1
  23. 0.99
    Default · MTP · k=1
  24. 0.98
    Default · Qwen/Qwen3.6-35B-A3B
Hardware

Cost / task speed

Hardware cost / task speed
24 of 24 variations

Model variations

·
5171
Any intelligence
best52s3m 04s10m 47s$15.5k$6.5k$2.7kHardware cost (lower →)Task time (faster →)nvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast (52) · NVIDIA DGX Spark 128GB · vllm · $4.7k · 2m 27sSparknvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast (52) · NVIDIA GeForce RTX 5090 32GB · vllm · $4.8k · 1m 05sRTX 5090nvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast (52) · NVIDIA RTX 6000 Ada 48GB · vllm · $8.2k · 52sRTX6k Adanvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast (52) · NVIDIA RTX PRO 6000 Blackwell 96GB · vllm · $15.5k · 57sRTXPro6knvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast (52)UD-Q3_K_XL (66) · NVIDIA DGX Spark 128GB · llama_cpp · $4.7k · 4m 18sSparkUD-Q3_K_XL (66) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 13sM3 Ultra (80C)UD-Q3_K_XL (66) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 3m 40sM3 Ultra (60C)UD-Q3_K_XL (66) · MacBook Pro M4 Max 36GB · 32-core GPU · llama_cpp · $3.2k · 4m 30sM4 Max (32C)UD-Q3_K_XL (66) · Mac mini M4 Pro 48GB · 20-core GPU · llamacpp · $2.7k · 6m 43sM4 Pro (20C)UD-Q3_K_XL (66) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 14sM5 Max (40C)UD-Q3_K_XL (66) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 5m 18sM5 Pro (20C)UD-Q3_K_XL (66) · NVIDIA GeForce RTX 5090 32GB · llama_cpp · $4.8k · 52sRTX 5090UD-Q3_K_XL (66) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 31sRTX6k AdaUD-Q3_K_XL (66) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 03sRTXPro6kUD-Q3_K_XL (66)q3km (66) · NVIDIA DGX Spark 128GB · llama_cpp · $4.7k · 4m 07sSparkq3km (66) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 12sM3 Ultra (80C)q3km (66) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 3m 40sM3 Ultra (60C)q3km (66) · MacBook Pro M4 Max 36GB · 32-core GPU · llama_cpp · $3.2k · 4m 31sM4 Max (32C)q3km (66) · Mac mini M4 Pro 48GB · 20-core GPU · llama_cpp · $2.7k · 6m 39sM4 Pro (20C)q3km (66) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 12sM5 Max (40C)q3km (66) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 5m 21sM5 Pro (20C)q3km (66) · NVIDIA GeForce RTX 5090 32GB · llama_cpp · $4.8k · 53sRTX 5090q3km (66) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 32sRTX6k Adaq3km (66) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 03sRTXPro6kq3km (66)nvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4 (54) · NVIDIA DGX Spark 128GB · vllm · $4.7k · 2m 35sSparknvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4 (54) · NVIDIA RTX 6000 Ada 48GB · vllm · $8.2k · 1m 05sRTX6k Adanvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4 (54) · NVIDIA RTX PRO 6000 Blackwell 96GB · vllm · $15.5k · 57sRTXPro6knvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4 (54) · NVIDIA GeForce RTX 5090 32GB · vllm · $4.8k · 2mRTX 5090nvfp4 · MTP · k=1 · unsloth/Qwen3.6-35B-A3B-NVFP4 (54)iq4xs (68) · NVIDIA DGX Spark 128GB · llamacpp · $4.7k · 5m 15sSparkiq4xs (68) · Mac Studio M3 Ultra 96GB · 80-core GPU · llamacpp · $6.8k · 4m 02sM3 Ultra (80C)iq4xs (68) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 4m 25sM3 Ultra (60C)iq4xs (68) · MacBook Pro M4 Max 36GB · 32-core GPU · llama_cpp · $3.2k · 5m 14sM4 Max (32C)iq4xs (68) · Mac mini M4 Pro 48GB · 20-core GPU · llama_cpp · $2.7k · 8m 18sM4 Pro (20C)iq4xs (68) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 54sM5 Max (40C)iq4xs (68) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 6m 31sM5 Pro (20C)iq4xs (68) · NVIDIA GeForce RTX 5090 32GB · llama_cpp · $4.8k · 58sRTX 5090iq4xs (68) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 55sRTX6k Adaiq4xs (68) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 20sRTXPro6kiq4xs (68)UD-Q3_K_S (67) · NVIDIA DGX Spark 128GB · llama_cpp · $4.7k · 4m 41sSparkUD-Q3_K_S (67) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 32sM3 Ultra (80C)UD-Q3_K_S (67) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 4mM3 Ultra (60C)UD-Q3_K_S (67) · MacBook Pro M4 Max 36GB · 32-core GPU · llama_cpp · $3.2k · 4m 54sM4 Max (32C)UD-Q3_K_S (67) · Mac mini M4 Pro 48GB · 20-core GPU · llama_cpp · $2.7k · 7m 09sM4 Pro (20C)UD-Q3_K_S (67) · MacBook Pro M5 Max 128GB · 40-core GPU · llamacpp · $6.7k · 3m 26sM5 Max (40C)UD-Q3_K_S (67) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 5m 40sM5 Pro (20C)UD-Q3_K_S (67) · NVIDIA GeForce RTX 5090 32GB · llama_cpp · $4.8k · 59sRTX 5090UD-Q3_K_S (67) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 41sRTX6k AdaUD-Q3_K_S (67) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 09sRTXPro6kUD-Q3_K_S (67)nvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4 (60) · NVIDIA DGX Spark 128GB · vllm · $4.7k · 4m 09sSparknvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4 (60) · NVIDIA GeForce RTX 5090 32GB · vllm · $4.8k · 1m 02sRTX 5090nvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4 (60) · NVIDIA RTX 6000 Ada 48GB · vllm · $8.2k · 1m 28sRTX6k Adanvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4 (60) · NVIDIA RTX PRO 6000 Blackwell 96GB · vllm · $15.5k · 1m 08sRTXPro6knvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4 (60)UD-Q4_K_M (69) · NVIDIA DGX Spark 128GB · llama_cpp · $4.7k · 4m 28sSparkUD-Q4_K_M (69) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 27sM3 Ultra (80C)UD-Q4_K_M (69) · Mac Studio M3 Ultra 96GB · 60-core GPU · llama_cpp · $5.3k · 3m 44sM3 Ultra (60C)UD-Q4_K_M (69) · Mac mini M4 Pro 48GB · 20-core GPU · llamacpp · $2.7k · 6m 54sM4 Pro (20C)UD-Q4_K_M (69) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 17sM5 Max (40C)UD-Q4_K_M (69) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 5m 30sM5 Pro (20C)UD-Q4_K_M (69) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 35sRTX6k AdaUD-Q4_K_M (69) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 03sRTXPro6kUD-Q4_K_M (69)q4kxl (67) · NVIDIA DGX Spark 128GB · llama_cpp · $4.7k · 4m 24sSparkq4kxl (67) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 11sM3 Ultra (80C)q4kxl (67) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 3m 36sM3 Ultra (60C)q4kxl (67) · Mac mini M4 Pro 48GB · 20-core GPU · llamacpp · $2.7k · 6m 39sM4 Pro (20C)q4kxl (67) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 10sM5 Max (40C)q4kxl (67) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 5m 18sM5 Pro (20C)q4kxl (67) · NVIDIA RTX 6000 Ada 48GB · llamacpp · $8.2k · 1m 35sRTX6k Adaq4kxl (67) · NVIDIA RTX PRO 6000 Blackwell 96GB · llamacpp · $15.5k · 1m 03sRTXPro6kq4kxl (67)UD-Q4_K_S (69) · NVIDIA DGX Spark 128GB · llama_cpp · $4.7k · 4m 21sSparkUD-Q4_K_S (69) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 17sM3 Ultra (80C)UD-Q4_K_S (69) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 3m 40sM3 Ultra (60C)UD-Q4_K_S (69) · Mac mini M4 Pro 48GB · 20-core GPU · llama_cpp · $2.7k · 6m 56sM4 Pro (20C)UD-Q4_K_S (69) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 13sM5 Max (40C)UD-Q4_K_S (69) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 5m 19sM5 Pro (20C)UD-Q4_K_S (69) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 38sRTX6k AdaUD-Q4_K_S (69) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 04sRTXPro6kUD-Q4_K_S (69)nvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast (59) · NVIDIA DGX Spark 128GB · vllm · $4.7k · 4m 07sSparknvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast (59) · NVIDIA GeForce RTX 5090 32GB · vllm · $4.8k · 1m 08sRTX 5090nvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast (59) · NVIDIA RTX 6000 Ada 48GB · vllm · $8.2k · 1m 34sRTX6k Adanvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast (59) · NVIDIA RTX PRO 6000 Blackwell 96GB · vllm · $15.5k · 1m 09sRTXPro6knvfp4 · unsloth/Qwen3.6-35B-A3B-NVFP4-Fast (59)UD-IQ2_M (61) · NVIDIA DGX Spark 128GB · llama_cpp · $4.7k · 4m 49sSparkUD-IQ2_M (61) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 50sM3 Ultra (80C)UD-IQ2_M (61) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 4m 32sM3 Ultra (60C)UD-IQ2_M (61) · MacBook Pro M4 Max 36GB · 32-core GPU · llamacpp · $3.2k · 5m 33sM4 Max (32C)UD-IQ2_M (61) · Mac mini M4 Pro 48GB · 20-core GPU · llama_cpp · $2.7k · 7m 56sM4 Pro (20C)UD-IQ2_M (61) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 43sM5 Max (40C)UD-IQ2_M (61) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 6m 03sM5 Pro (20C)UD-IQ2_M (61) · NVIDIA GeForce RTX 5090 32GB · llama_cpp · $4.8k · 1m 10sRTX 5090UD-IQ2_M (61) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 50sRTX6k AdaUD-IQ2_M (61) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 20sRTXPro6kUD-IQ2_M (61)iq2xxs (61) · NVIDIA DGX Spark 128GB · llamacpp · $4.7k · 4m 34sSparkiq2xxs (61) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 56sM3 Ultra (80C)iq2xxs (61) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 4m 26sM3 Ultra (60C)iq2xxs (61) · MacBook Pro M4 Max 36GB · 32-core GPU · llamacpp · $3.2k · 5m 29sM4 Max (32C)iq2xxs (61) · Mac mini M4 Pro 48GB · 20-core GPU · llama_cpp · $2.7k · 8m 13sM4 Pro (20C)iq2xxs (61) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 37sM5 Max (40C)iq2xxs (61) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 5m 57sM5 Pro (20C)iq2xxs (61) · NVIDIA GeForce RTX 5090 32GB · llamacpp · $4.8k · 1m 10sRTX 5090iq2xxs (61) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 44sRTX6k Adaiq2xxs (61) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 19sRTXPro6kiq2xxs (61)iq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · NVIDIA DGX Spark 128GB · llama_cpp · $4.7k · 4m 44sSparkiq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 50sM3 Ultra (80C)iq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · Mac Studio M3 Ultra 96GB · 60-core GPU · llama_cpp · $5.3k · 4m 36sM3 Ultra (60C)iq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · MacBook Pro M4 Max 36GB · 32-core GPU · llama_cpp · $3.2k · 5m 36sM4 Max (32C)iq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · Mac mini M4 Pro 48GB · 20-core GPU · llama_cpp · $2.7k · 8m 13sM4 Pro (20C)iq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 46sM5 Max (40C)iq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 6m 09sM5 Pro (20C)iq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · NVIDIA GeForce RTX 4090 24GB · llamacpp · $3.4k · 1m 14sRTX 4090iq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · NVIDIA GeForce RTX 5090 32GB · llama_cpp · $4.8k · 1m 11sRTX 5090iq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 45sRTX6k Adaiq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 20sRTXPro6kiq1m · unsloth/Qwen3.6-35B-A3B-GGUF (62)UD-IQ3_S (64) · NVIDIA DGX Spark 128GB · llamacpp · $4.7k · 4m 59sSparkUD-IQ3_S (64) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 43sM3 Ultra (80C)UD-IQ3_S (64) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 4m 20sM3 Ultra (60C)UD-IQ3_S (64) · MacBook Pro M4 Max 36GB · 32-core GPU · llama_cpp · $3.2k · 5m 18sM4 Max (32C)UD-IQ3_S (64) · Mac mini M4 Pro 48GB · 20-core GPU · llama_cpp · $2.7k · 7m 55sM4 Pro (20C)UD-IQ3_S (64) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 41sM5 Max (40C)UD-IQ3_S (64) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 6m 05sM5 Pro (20C)UD-IQ3_S (64) · NVIDIA GeForce RTX 5090 32GB · llama_cpp · $4.8k · 1m 11sRTX 5090UD-IQ3_S (64) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 47sRTX6k AdaUD-IQ3_S (64) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 23sRTXPro6kUD-IQ3_S (64)UD-Q2_K_XL (64) · NVIDIA DGX Spark 128GB · llama_cpp · $4.7k · 4m 49sSparkUD-Q2_K_XL (64) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 4mM3 Ultra (80C)UD-Q2_K_XL (64) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 4m 42sM3 Ultra (60C)UD-Q2_K_XL (64) · MacBook Pro M4 Max 36GB · 32-core GPU · llama_cpp · $3.2k · 5m 49sM4 Max (32C)UD-Q2_K_XL (64) · Mac mini M4 Pro 48GB · 20-core GPU · llamacpp · $2.7k · 8m 34sM4 Pro (20C)UD-Q2_K_XL (64) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 53sM5 Max (40C)UD-Q2_K_XL (64) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 6m 25sM5 Pro (20C)UD-Q2_K_XL (64) · NVIDIA GeForce RTX 5090 32GB · llama_cpp · $4.8k · 1m 12sRTX 5090UD-Q2_K_XL (64) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 47sRTX6k AdaUD-Q2_K_XL (64) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 16sRTXPro6kUD-Q2_K_XL (64)nvfp4 · MTP · k=1 · nvidia/Qwen3.6-35B-A3B-NVFP4 (70) · NVIDIA DGX Spark 128GB · vllm · $4.7k · 2m 33sSparknvfp4 · MTP · k=1 · nvidia/Qwen3.6-35B-A3B-NVFP4 (70) · NVIDIA GeForce RTX 5090 32GB · vllm · $4.8k · 1m 13sRTX 5090nvfp4 · MTP · k=1 · nvidia/Qwen3.6-35B-A3B-NVFP4 (70) · NVIDIA RTX 6000 Ada 48GB · vllm · $8.2k · 1m 19sRTX6k Adanvfp4 · MTP · k=1 · nvidia/Qwen3.6-35B-A3B-NVFP4 (70) · NVIDIA RTX PRO 6000 Blackwell 96GB · vllm · $15.5k · 1m 15sRTXPro6knvfp4 · MTP · k=1 · nvidia/Qwen3.6-35B-A3B-NVFP4 (70)MXFP4_MOE (67) · NVIDIA DGX Spark 128GB · llama_cpp · $4.7k · 4m 28sSparkMXFP4_MOE (67) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 3m 32sM3 Ultra (80C)MXFP4_MOE (67) · Mac Studio M3 Ultra 96GB · 60-core GPU · llama_cpp · $5.3k · 4mM3 Ultra (60C)MXFP4_MOE (67) · Mac mini M4 Pro 48GB · 20-core GPU · llama_cpp · $2.7k · 7m 13sM4 Pro (20C)MXFP4_MOE (67) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 3m 34sM5 Max (40C)MXFP4_MOE (67) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 6m 03sM5 Pro (20C)MXFP4_MOE (67) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 1m 48sRTX6k AdaMXFP4_MOE (67) · NVIDIA RTX PRO 6000 Blackwell 96GB · llama_cpp · $15.5k · 1m 14sRTXPro6kMXFP4_MOE (67)awq-4bit · Qwen3 Next Mtp · k=4 (65) · NVIDIA DGX Spark 128GB · vllm · $4.7k · 4m 32sSparkawq-4bit · Qwen3 Next Mtp · k=4 (65) · NVIDIA GeForce RTX 5090 32GB · vllm · $4.8k · 1m 17sRTX 5090awq-4bit · Qwen3 Next Mtp · k=4 (65) · NVIDIA RTX 6000 Ada 48GB · vllm · $8.2k · 1m 45sRTX6k Adaawq-4bit · Qwen3 Next Mtp · k=4 (65) · NVIDIA RTX PRO 6000 Blackwell 96GB · vllm · $15.5k · 1m 25sRTXPro6kawq-4bit · Qwen3 Next Mtp · k=4 (65)iq3xxs (66) · NVIDIA DGX Spark 128GB · llamacpp · $4.7k · 5m 37sSparkiq3xxs (66) · Mac Studio M3 Ultra 96GB · 80-core GPU · llama_cpp · $6.8k · 4m 24sM3 Ultra (80C)iq3xxs (66) · Mac Studio M3 Ultra 96GB · 60-core GPU · llamacpp · $5.3k · 4m 53sM3 Ultra (60C)iq3xxs (66) · MacBook Pro M4 Max 36GB · 32-core GPU · llama_cpp · $3.2k · 5m 59sM4 Max (32C)iq3xxs (66) · Mac mini M4 Pro 48GB · 20-core GPU · llama_cpp · $2.7k · 8m 40sM4 Pro (20C)iq3xxs (66) · MacBook Pro M5 Max 128GB · 40-core GPU · llama_cpp · $6.7k · 5m 18sM5 Max (40C)iq3xxs (66) · MacBook Pro M5 Pro 64GB · 20-core GPU · llama_cpp · $3.7k · 6m 49sM5 Pro (20C)iq3xxs (66) · NVIDIA GeForce RTX 5090 32GB · llama_cpp · $4.8k · 1m 17sRTX 5090iq3xxs (66) · NVIDIA RTX 6000 Ada 48GB · llama_cpp · $8.2k · 2m 05sRTX6k Adaiq3xxs (66) · NVIDIA RTX PRO 6000 Blackwell 96GB · llamacpp · $15.5k · 1m 27sRTXPro6kiq3xxs (66)fp8 · MTP · k=1 (68) · NVIDIA DGX Spark 128GB · vllm · $4.7k · 4m 48sSparkfp8 · MTP · k=1 (68) · NVIDIA RTX PRO 6000 Blackwell 96GB · vllm · $15.5k · 1m 23sRTXPro6kfp8 · MTP · k=1 (68)Default · Qwen/Qwen3.6-35B-A3B (70) · NVIDIA DGX Spark 128GB · vllm · $4.7k · 8m 11sSparkDefault · Qwen/Qwen3.6-35B-A3B (70) · NVIDIA RTX PRO 6000 Blackwell 96GB · vllm · $15.5k · 1m 27sRTXPro6kDefault · Qwen/Qwen3.6-35B-A3B (70)Default · MTP · k=1 (71) · NVIDIA DGX Spark 128GB · vllm · $4.7k · 6m 31sSparkDefault · MTP · k=1 (71) · NVIDIA RTX PRO 6000 Blackwell 96GB · vllm · $15.5k · 1m 33sRTXPro6kDefault · MTP · k=1 (71)4bit · unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit (64) · Mac Studio M3 Ultra 96GB · 80-core GPU · vllm · $6.8k · 6m 21sM3 Ultra (80C)4bit · unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit (64) · Mac Studio M3 Ultra 96GB · 60-core GPU · vllm · $5.3k · 6m 40sM3 Ultra (60C)4bit · unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit (64) · Mac mini M4 Pro 48GB · 20-core GPU · vllm · $2.7k · 10m 47sM4 Pro (20C)4bit · unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit (64) · MacBook Pro M5 Max 128GB · 40-core GPU · vllm · $6.7k · 5m 13sM5 Max (40C)4bit · unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit (64) · MacBook Pro M5 Pro 64GB · 20-core GPU · vllm · $3.7k · 8m 08sM5 Pro (20C)4bit · unsloth/Qwen3.6-35B-A3B-UD-MLX-4bit (64)

Each coloured line is that variation’s cost / task-speed Pareto frontier. Global is the frontier across every qualifying variation; every point is still one original measured configuration.

Frontier →the ranked leaderboardAll models →every measured modelHardware →every measured device
local.aiIndependent local-AI benchmarks
AboutReferralsAccountContact
Live benchmark data