NC Bench
Overview
About
Tests
Models
Data extraction
Extract key details from a given block of text.
What's the correct time?
0-shot
Utility
Logic
Model
Run 1
Run 2
Run 3
Run 4
Run 5
Run 6
Run 7
Run 8
Run 9
Run 10
Total
Phi-3 Mini 128k
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
Mistral Medium
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
GPT-4o Mini (temp=0)
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
Claude Sonnet 4
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
100%
Phi-3.5 Mini 128k
100%
100%
100%
100%
100%
100%
100%
100%
0%
0%
80%
Llama 3 Euryale 70B v2.1
100%
100%
100%
100%
100%
100%
100%
100%
0%
0%
80%
GPT-4o Mini (temp=1)
100%
100%
100%
100%
100%
100%
100%
100%
0%
0%
80%
Mistral Small Creative
100%
100%
100%
100%
100%
100%
100%
0%
0%
0%
70%
Toppy M 7B
100%
100%
100%
100%
100%
0%
0%
0%
0%
0%
50%
Rocinante 12B
100%
100%
100%
100%
100%
0%
0%
0%
0%
0%
50%
Claude Opus 4
100%
100%
100%
100%
100%
0%
0%
0%
0%
0%
50%
Z.AI GLM 4.6
100%
100%
100%
100%
100%
0%
0%
0%
0%
0%
50%
Llama 3 TenyxChat-DaybreakStorywriter 70B
100%
100%
100%
100%
0%
0%
0%
0%
0%
0%
40%
Gemini 2.5 Pro
100%
100%
100%
100%
0%
0%
0%
0%
0%
0%
40%
Hermes 2 Theta 8B
100%
100%
100%
0%
0%
0%
0%
0%
0%
0%
30%
Hermes 3 405B
100%
100%
100%
0%
0%
0%
0%
0%
0%
0%
30%
Goliath 120B
100%
100%
100%
0%
0%
0%
0%
0%
0%
0%
30%
Llama 3.2 11B (Vision)
100%
100%
100%
0%
0%
0%
0%
0%
0%
0%
30%
EVA Qwen 2.5 14B
100%
100%
100%
0%
0%
0%
0%
0%
0%
0%
30%
MN GRAND Gutenberg Lyra4 12B Madness
100%
100%
100%
0%
0%
0%
0%
0%
0%
0%
30%
Phi-3 Medium 128k
100%
100%
0%
0%
0%
0%
0%
0%
0%
0%
20%
Ministral 3B
100%
100%
0%
0%
0%
0%
0%
0%
0%
0%
20%
AI21 Jamba
100%
100%
0%
0%
0%
0%
0%
0%
0%
0%
20%
MythoMax 13B
100%
100%
0%
0%
0%
0%
0%
0%
0%
0%
20%
Claude 2.0
100%
100%
0%
0%
0%
0%
0%
0%
0%
0%
20%
Llama 3 70B
100%
100%
0%
0%
0%
0%
0%
0%
0%
0%
20%
Llama 3.1 405B
100%
100%
0%
0%
0%
0%
0%
0%
0%
0%
20%
Inflection 3 (Productivity)
100%
100%
0%
0%
0%
0%
0%
0%
0%
0%
20%
Inflection 3 (PI)
100%
100%
0%
0%
0%
0%
0%
0%
0%
0%
20%
MoonshotAI: Kimi K2.5
100%
100%
0%
0%
0%
0%
0%
0%
0%
0%
20%
Magnum 72B
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
Hermes 3 70B
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
WizardLM 2 8x22b
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
Cohere Command R+ (Aug. 2024)
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
Mistral Large
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
Ministral 8B
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
Fimbulvetr 11B v2
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
Llama 3.2 3B
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
Mistral Nemo 12B Celeste
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
AI21 Jamba 1.5 Large
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
Liquid: LFM 40B MoE
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
GPT-4.1
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
o4 Mini
100%
0%
0%
0%
0%
0%
0%
0%
0%
0%
10%
Claude 3.5 Sonnet
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Claude 3.7 Sonnet
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Claude 3 Haiku
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Gemini Flash 1.5
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Gemini Pro 1.5
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Gemma 2 9B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Gemma 2 27B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Cohere Command R+ (Apr. 2024)
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Mistral Large 2
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
GPT-4o, May 13th (temp=0)
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
GPT-4o, May 13th (temp=1)
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
GPT-4o, Aug. 6th (temp=0)
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
GPT-4o, Aug. 6th (temp=1)
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Llama 3.1 Euryale 70B v2.2
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Qwen 2 72B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Qwen 2.5 72B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Qwen 2 7B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
lzlv 70B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
MythoMist 7B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
DeepSeek-V2 Chat
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Claude 2.1
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Claude 3.0 Sonnet
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
GPT-4 Turbo
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Mistral NeMO
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Llama 3.1 8B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Llama 3.1 70B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Llama 3.2 1B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Llama 3.2 90B (Vision)
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
AI21 Jamba 1.5 Mini
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Lumimaid v0.2 8B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Magnum v2 72B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Llama 3.1 Nemotron 70B
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Sao10K L3.1 70B Hanami x1
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Claude 3.5 Sonnet (new)
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Claude 3.5 Haiku
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
GPT-4.1 Mini
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
GPT-4.1 Nano
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
o4 Mini High
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Gemini 2.5 Flash
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Gemini 2.5 Flash Lite
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Gemini 3 Pro (Preview)
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Gemini 3 Flash (Preview)
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Claude Haiku 4.5
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Claude Sonnet 4.5
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Claude Opus 4.5
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Claude Opus 4.6
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Z.AI GLM 4.5
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Z.AI GLM 4.7
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Z.AI GLM 4.7 Flash
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
Writer: Palmyra X5
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
0%
16.13%