Data extraction

Extract key details from a given block of text.

Model Total â–¼Who's the tallest?What's the color of the car?What instrument does Lucy play?Guess the petWhat's the correct time?Who's the sister?Contextual pronounIndirect birth yearFruits excluding citrusFuture event timeHighest-rated movieAll valid emails
GPT-4o Mini (temp=0)96%100%100%100%100%100%100%100%100%100%50%100%100%
Claude Sonnet 496%100%100%100%100%100%100%100%100%100%50%100%100%
Z.AI GLM 4.696%100%100%100%100%50%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)94%100%100%100%100%80%100%100%100%100%50%100%100%
Gemini 2.5 Pro94%100%100%100%100%40%100%100%100%90%100%100%100%
Mistral Small Creative93%100%100%100%100%70%100%100%100%100%50%100%100%
MoonshotAI: Kimi K2.593%100%100%100%100%20%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k93%100%100%100%100%80%100%100%80%100%50%100%100%
o4 Mini93%100%100%100%100%10%100%100%100%100%100%100%100%
o4 Mini High92%100%100%100%100%0%100%100%100%100%100%100%100%
Claude Opus 492%100%100%100%100%50%100%100%100%100%50%100%100%
Gemini 2.5 Flash Lite92%100%100%100%100%0%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)92%100%100%100%100%0%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)92%100%100%100%100%0%100%100%100%100%100%100%100%
Z.AI GLM 4.792%100%100%100%100%0%100%100%100%100%100%100%100%
1–15 of 93
Page 1 / 7

Who's the tallest?

0-shot UtilityLogic
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 27B100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Medium 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%100%100%
WizardLM 2 8x22b100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Ministral 3B100%100%100%100%100%100%100%100%100%100%100%
Mistral Medium100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 7B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 2.0100%100%100%100%100%100%100%100%100%100%100%
Claude 2.1100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Goliath 120B100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Fimbulvetr 11B v2100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Magnum v2 72B100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (PI)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%50%95%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%50%95%
Mistral Large100%100%100%100%100%100%100%100%100%50%95%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%100%100%50%95%
Rocinante 12B100%100%100%100%100%100%100%100%100%50%95%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%100%50%95%
Magnum 72B100%100%100%100%100%100%100%100%50%50%90%
Gemma 2 9B100%100%100%100%100%100%100%100%50%50%90%
Ministral 8B100%100%100%100%100%100%100%100%100%0%90%
lzlv 70B100%100%100%100%100%100%100%100%50%50%90%
MythoMist 7B100%100%100%100%100%100%100%100%50%50%90%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%50%50%90%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%100%100%50%50%50%85%
Lumimaid v0.2 8B100%100%100%100%100%100%100%100%50%0%85%
MythoMax 13B100%100%100%100%100%100%100%100%0%0%80%
Mistral NeMO100%100%100%100%100%100%100%100%0%0%80%
Mistral Nemo 12B Celeste100%100%100%100%100%100%100%50%50%0%80%
EVA Qwen 2.5 14B100%100%100%100%100%100%50%50%50%50%80%
Llama 3.2 3B100%100%100%100%100%100%0%0%0%0%60%
Liquid: LFM 40B MoE100%100%50%50%50%50%50%50%50%50%60%
MN GRAND Gutenberg Lyra4 12B Madness100%100%50%50%50%50%50%50%50%50%60%
Toppy M 7B50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Large50%50%50%50%50%50%50%50%0%0%40%
AI21 Jamba50%50%50%50%50%50%0%0%0%0%30%
AI21 Jamba 1.5 Mini50%50%50%50%50%0%0%0%0%0%25%
Llama 3.2 1B100%100%0%0%0%0%0%0%0%0%20%
92.96%

What's the color of the car?

0-shot UtilityLogic
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 9B100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Ministral 3B100%100%100%100%100%100%100%100%100%100%100%
Ministral 8B100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 2.0100%100%100%100%100%100%100%100%100%100%100%
Claude 2.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 1B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 3B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Lumimaid v0.2 8B100%100%100%100%100%100%100%100%100%100%100%
Magnum v2 72B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 27B100%100%100%100%100%100%100%100%100%50%95%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%50%95%
Qwen 2 72B100%100%100%100%100%100%100%100%100%50%95%
Goliath 120B100%100%100%100%100%100%100%100%100%50%95%
Llama 3 70B100%100%100%100%100%100%100%100%100%50%95%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%50%95%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%50%95%
Phi-3 Medium 128k100%100%100%100%100%100%100%100%100%0%90%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%0%90%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%100%100%50%50%50%85%
lzlv 70B100%100%100%100%100%100%100%50%50%50%85%
Rocinante 12B100%100%100%100%100%100%100%50%50%50%85%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%50%50%50%85%
Magnum 72B100%100%100%100%100%100%50%50%50%50%80%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%50%50%50%50%80%
Inflection 3 (Productivity)100%100%100%100%100%50%50%50%50%50%75%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%50%50%50%50%50%75%
WizardLM 2 8x22b100%100%100%100%50%50%50%50%50%50%70%
Llama 3 Euryale 70B v2.1100%100%100%100%100%50%50%50%50%0%70%
Mistral Nemo 12B Celeste100%100%100%100%50%50%50%50%50%50%70%
Inflection 3 (PI)100%100%100%100%50%50%50%50%50%50%70%
Mistral Large100%100%100%50%50%50%50%50%50%50%65%
Llama 3.1 405B100%100%100%50%50%50%50%50%50%50%65%
Liquid: LFM 40B MoE100%100%100%50%50%50%50%50%50%50%65%
Qwen 2 7B100%50%50%50%50%50%50%50%50%50%55%
EVA Qwen 2.5 14B100%100%50%50%50%50%50%50%50%0%55%
Mistral Medium50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Large50%50%50%50%50%50%50%50%50%50%50%
MN GRAND Gutenberg Lyra4 12B Madness50%50%50%50%50%50%50%50%50%50%50%
Toppy M 7B50%50%50%50%50%50%50%50%50%0%45%
MythoMax 13B50%50%50%50%50%50%50%50%0%0%40%
Fimbulvetr 11B v250%50%50%50%50%50%50%0%0%0%35%
AI21 Jamba 1.5 Mini50%50%50%50%50%50%0%0%0%0%30%
MythoMist 7B0%0%0%0%0%0%0%0%0%0%0%
88.49%

What instrument does Lucy play?

0-shot UtilityLogic
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 9B100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 27B100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Magnum v2 72B100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (PI)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Medium 128k100%100%100%100%100%100%100%100%100%50%95%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%50%95%
Mistral Medium100%100%100%100%100%100%100%100%100%50%95%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%50%95%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%50%95%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%100%50%95%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%50%95%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%50%95%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%0%90%
Magnum 72B100%100%100%100%100%100%100%50%50%50%85%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%50%50%50%85%
Lumimaid v0.2 8B100%100%100%100%100%100%100%100%50%0%85%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%50%50%50%50%80%
Goliath 120B100%100%100%100%100%100%50%50%50%50%80%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%50%50%50%50%50%75%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%50%50%50%50%50%75%
lzlv 70B100%100%100%100%50%50%50%50%50%50%70%
Claude 2.1100%100%100%100%100%100%100%0%0%0%70%
WizardLM 2 8x22b100%100%100%50%50%50%50%50%50%50%65%
Mistral Large100%100%100%50%50%50%50%50%50%50%65%
Rocinante 12B100%100%100%50%50%50%50%50%50%50%65%
Liquid: LFM 40B MoE100%100%50%50%50%50%50%50%50%50%60%
MN GRAND Gutenberg Lyra4 12B Madness100%50%50%50%50%50%50%50%50%50%55%
Ministral 8B100%100%100%100%100%0%0%0%0%0%50%
Qwen 2 7B100%50%50%50%50%50%50%50%50%0%50%
Toppy M 7B50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Large50%50%50%50%50%50%50%50%50%50%50%
EVA Qwen 2.5 14B100%50%50%50%50%50%50%50%50%0%50%
AI21 Jamba50%50%50%50%50%50%50%50%50%0%45%
MythoMax 13B50%50%50%50%50%50%50%50%50%0%45%
Mistral Nemo 12B Celeste100%100%50%50%50%50%50%0%0%0%45%
Fimbulvetr 11B v250%50%50%50%50%50%50%50%0%0%40%
AI21 Jamba 1.5 Mini50%50%50%50%50%50%50%50%0%0%40%
Ministral 3B100%50%0%0%0%0%0%0%0%0%15%
MythoMist 7B50%50%50%0%0%0%0%0%0%0%15%
Llama 3.2 3B100%0%0%0%0%0%0%0%0%0%10%
Claude 2.00%0%0%0%0%0%0%0%0%0%0%
Llama 3.2 1B0%0%0%0%0%0%0%0%0%0%0%
84.62%

Guess the pet

0-shot UtilityLogic
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 9B100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 27B100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Medium 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Ministral 3B100%100%100%100%100%100%100%100%100%100%100%
Ministral 8B100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 2.0100%100%100%100%100%100%100%100%100%100%100%
Claude 2.1100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 3B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Lumimaid v0.2 8B100%100%100%100%100%100%100%100%100%100%100%
Magnum v2 72B100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (PI)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%50%95%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%100%50%95%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%50%50%90%
Mistral Medium100%100%100%100%100%100%100%100%50%50%90%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%100%50%50%90%
Goliath 120B100%100%100%100%100%100%100%100%50%50%90%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%50%50%90%
Mistral Nemo 12B Celeste100%100%100%100%100%100%100%100%50%50%90%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%50%50%90%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%50%50%50%85%
Qwen 2 7B100%100%100%100%100%100%100%50%50%50%85%
Llama 3.1 405B100%100%100%100%100%100%50%50%50%50%80%
Rocinante 12B100%100%100%100%100%100%50%50%50%50%80%
Magnum 72B100%100%100%100%100%50%50%50%50%50%75%
WizardLM 2 8x22b100%100%100%50%50%50%50%50%50%50%65%
Cohere Command R+ (Aug. 2024)100%100%100%50%50%50%50%50%50%50%65%
Toppy M 7B100%50%50%50%50%50%50%50%50%50%55%
Llama 3.1 70B100%50%50%50%50%50%50%50%50%50%55%
Liquid: LFM 40B MoE100%50%50%50%50%50%50%50%50%50%55%
Mistral Large50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba50%50%50%50%50%50%50%50%50%50%50%
lzlv 70B50%50%50%50%50%50%50%50%50%50%50%
MythoMax 13B50%50%50%50%50%50%50%50%50%50%50%
MythoMist 7B50%50%50%50%50%50%50%50%50%50%50%
Fimbulvetr 11B v250%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Mini50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Large50%50%50%50%50%50%50%50%50%50%50%
EVA Qwen 2.5 14B50%50%50%50%50%50%50%50%50%50%50%
MN GRAND Gutenberg Lyra4 12B Madness50%50%50%50%50%50%50%50%50%50%50%
Llama 3.2 1B50%0%0%0%0%0%0%0%0%0%5%
89.52%

What's the correct time?

0-shot UtilityLogic
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Mistral Medium100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%0%0%80%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%100%0%0%80%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%0%0%80%
Mistral Small Creative100%100%100%100%100%100%100%0%0%0%70%
Toppy M 7B100%100%100%100%100%0%0%0%0%0%50%
Rocinante 12B100%100%100%100%100%0%0%0%0%0%50%
Claude Opus 4100%100%100%100%100%0%0%0%0%0%50%
Z.AI GLM 4.6100%100%100%100%100%0%0%0%0%0%50%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%0%0%0%0%0%0%40%
Gemini 2.5 Pro100%100%100%100%0%0%0%0%0%0%40%
Hermes 2 Theta 8B100%100%100%0%0%0%0%0%0%0%30%
Hermes 3 405B100%100%100%0%0%0%0%0%0%0%30%
Goliath 120B100%100%100%0%0%0%0%0%0%0%30%
Llama 3.2 11B (Vision)100%100%100%0%0%0%0%0%0%0%30%
EVA Qwen 2.5 14B100%100%100%0%0%0%0%0%0%0%30%
MN GRAND Gutenberg Lyra4 12B Madness100%100%100%0%0%0%0%0%0%0%30%
Phi-3 Medium 128k100%100%0%0%0%0%0%0%0%0%20%
Ministral 3B100%100%0%0%0%0%0%0%0%0%20%
AI21 Jamba100%100%0%0%0%0%0%0%0%0%20%
MythoMax 13B100%100%0%0%0%0%0%0%0%0%20%
Claude 2.0100%100%0%0%0%0%0%0%0%0%20%
Llama 3 70B100%100%0%0%0%0%0%0%0%0%20%
Llama 3.1 405B100%100%0%0%0%0%0%0%0%0%20%
Inflection 3 (Productivity)100%100%0%0%0%0%0%0%0%0%20%
Inflection 3 (PI)100%100%0%0%0%0%0%0%0%0%20%
MoonshotAI: Kimi K2.5100%100%0%0%0%0%0%0%0%0%20%
Magnum 72B100%0%0%0%0%0%0%0%0%0%10%
Hermes 3 70B100%0%0%0%0%0%0%0%0%0%10%
WizardLM 2 8x22b100%0%0%0%0%0%0%0%0%0%10%
Cohere Command R+ (Aug. 2024)100%0%0%0%0%0%0%0%0%0%10%
Mistral Large100%0%0%0%0%0%0%0%0%0%10%
Ministral 8B100%0%0%0%0%0%0%0%0%0%10%
Fimbulvetr 11B v2100%0%0%0%0%0%0%0%0%0%10%
Llama 3.2 3B100%0%0%0%0%0%0%0%0%0%10%
Mistral Nemo 12B Celeste100%0%0%0%0%0%0%0%0%0%10%
AI21 Jamba 1.5 Large100%0%0%0%0%0%0%0%0%0%10%
Liquid: LFM 40B MoE100%0%0%0%0%0%0%0%0%0%10%
GPT-4.1100%0%0%0%0%0%0%0%0%0%10%
o4 Mini100%0%0%0%0%0%0%0%0%0%10%
Claude 3.5 Sonnet0%0%0%0%0%0%0%0%0%0%0%
Claude 3.7 Sonnet0%0%0%0%0%0%0%0%0%0%0%
Claude 3 Haiku0%0%0%0%0%0%0%0%0%0%0%
Gemini Flash 1.50%0%0%0%0%0%0%0%0%0%0%
Gemini Pro 1.50%0%0%0%0%0%0%0%0%0%0%
Gemma 2 9B0%0%0%0%0%0%0%0%0%0%0%
Gemma 2 27B0%0%0%0%0%0%0%0%0%0%0%
Cohere Command R+ (Apr. 2024)0%0%0%0%0%0%0%0%0%0%0%
Mistral Large 20%0%0%0%0%0%0%0%0%0%0%
GPT-4o, May 13th (temp=0)0%0%0%0%0%0%0%0%0%0%0%
GPT-4o, May 13th (temp=1)0%0%0%0%0%0%0%0%0%0%0%
GPT-4o, Aug. 6th (temp=0)0%0%0%0%0%0%0%0%0%0%0%
GPT-4o, Aug. 6th (temp=1)0%0%0%0%0%0%0%0%0%0%0%
Llama 3.1 Euryale 70B v2.20%0%0%0%0%0%0%0%0%0%0%
Qwen 2 72B0%0%0%0%0%0%0%0%0%0%0%
Qwen 2.5 72B0%0%0%0%0%0%0%0%0%0%0%
Qwen 2 7B0%0%0%0%0%0%0%0%0%0%0%
lzlv 70B0%0%0%0%0%0%0%0%0%0%0%
MythoMist 7B0%0%0%0%0%0%0%0%0%0%0%
DeepSeek-V2 Chat0%0%0%0%0%0%0%0%0%0%0%
Claude 2.10%0%0%0%0%0%0%0%0%0%0%
Claude 3.0 Sonnet0%0%0%0%0%0%0%0%0%0%0%
GPT-4 Turbo0%0%0%0%0%0%0%0%0%0%0%
Mistral NeMO0%0%0%0%0%0%0%0%0%0%0%
Llama 3.1 8B0%0%0%0%0%0%0%0%0%0%0%
Llama 3.1 70B0%0%0%0%0%0%0%0%0%0%0%
Llama 3.2 1B0%0%0%0%0%0%0%0%0%0%0%
Llama 3.2 90B (Vision)0%0%0%0%0%0%0%0%0%0%0%
AI21 Jamba 1.5 Mini0%0%0%0%0%0%0%0%0%0%0%
Lumimaid v0.2 8B0%0%0%0%0%0%0%0%0%0%0%
Magnum v2 72B0%0%0%0%0%0%0%0%0%0%0%
Llama 3.1 Nemotron 70B0%0%0%0%0%0%0%0%0%0%0%
Sao10K L3.1 70B Hanami x10%0%0%0%0%0%0%0%0%0%0%
Claude 3.5 Sonnet (new)0%0%0%0%0%0%0%0%0%0%0%
Claude 3.5 Haiku0%0%0%0%0%0%0%0%0%0%0%
GPT-4.1 Mini0%0%0%0%0%0%0%0%0%0%0%
GPT-4.1 Nano0%0%0%0%0%0%0%0%0%0%0%
o4 Mini High0%0%0%0%0%0%0%0%0%0%0%
Gemini 2.5 Flash0%0%0%0%0%0%0%0%0%0%0%
Gemini 2.5 Flash Lite0%0%0%0%0%0%0%0%0%0%0%
Gemini 3 Pro (Preview)0%0%0%0%0%0%0%0%0%0%0%
Gemini 3 Flash (Preview)0%0%0%0%0%0%0%0%0%0%0%
Claude Haiku 4.50%0%0%0%0%0%0%0%0%0%0%
Claude Sonnet 4.50%0%0%0%0%0%0%0%0%0%0%
Claude Opus 4.50%0%0%0%0%0%0%0%0%0%0%
Claude Opus 4.60%0%0%0%0%0%0%0%0%0%0%
Z.AI GLM 4.50%0%0%0%0%0%0%0%0%0%0%
Z.AI GLM 4.70%0%0%0%0%0%0%0%0%0%0%
Z.AI GLM 4.7 Flash0%0%0%0%0%0%0%0%0%0%0%
Writer: Palmyra X50%0%0%0%0%0%0%0%0%0%0%
16.13%

Who's the sister?

0-shot UtilityLogic
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Magnum 72B100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 27B100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Medium 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%100%100%
Mistral Large100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Ministral 3B100%100%100%100%100%100%100%100%100%100%100%
Ministral 8B100%100%100%100%100%100%100%100%100%100%100%
Mistral Medium100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 7B100%100%100%100%100%100%100%100%100%100%100%
lzlv 70B100%100%100%100%100%100%100%100%100%100%100%
MythoMist 7B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 2.0100%100%100%100%100%100%100%100%100%100%100%
Claude 2.1100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Goliath 120B100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Lumimaid v0.2 8B100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (PI)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
WizardLM 2 8x22b100%100%100%100%100%100%100%100%100%50%95%
Fimbulvetr 11B v2100%100%100%100%100%100%100%100%100%50%95%
Llama 3.2 3B100%100%100%100%100%100%100%100%100%50%95%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%50%95%
Mistral Nemo 12B Celeste100%100%100%100%100%100%100%100%100%50%95%
Magnum v2 72B100%100%100%100%100%100%100%100%100%50%95%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%100%50%50%90%
MythoMax 13B100%100%100%100%100%100%100%100%50%50%90%
Rocinante 12B100%100%100%100%100%100%100%100%50%50%90%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%50%50%0%80%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%50%50%50%50%50%75%
Liquid: LFM 40B MoE100%100%100%100%100%50%50%50%50%50%75%
EVA Qwen 2.5 14B100%100%100%100%50%50%50%50%50%50%70%
Gemma 2 9B100%100%100%50%50%50%50%50%50%50%65%
Toppy M 7B100%50%50%50%50%50%50%50%50%50%55%
MN GRAND Gutenberg Lyra4 12B Madness100%50%50%50%50%50%50%50%50%50%55%
AI21 Jamba50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Mini50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Large50%50%50%50%50%50%50%50%50%50%50%
Llama 3.2 1B100%100%0%0%0%0%0%0%0%0%20%
94.46%

Contextual pronoun

0-shot Utility
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Medium 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%100%100%
WizardLM 2 8x22b100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 7B100%100%100%100%100%100%100%100%100%100%100%
lzlv 70B100%100%100%100%100%100%100%100%100%100%100%
MythoMist 7B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 2.1100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Magnum 72B100%100%100%100%100%100%100%100%100%50%95%
Mistral Medium100%100%100%100%100%100%100%100%100%50%95%
Goliath 120B100%100%100%100%100%100%100%100%100%50%95%
Llama 3 70B100%100%100%100%100%100%100%100%100%50%95%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%50%95%
Magnum v2 72B100%100%100%100%100%100%100%100%100%50%95%
Inflection 3 (PI)100%100%100%100%100%100%100%100%100%50%95%
Gemma 2 27B100%100%100%100%100%100%100%100%100%0%90%
Ministral 8B100%100%100%100%100%100%100%100%100%0%90%
MythoMax 13B100%100%100%100%100%100%100%100%50%50%90%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%0%90%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%50%50%90%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%0%90%
Rocinante 12B100%100%100%100%100%100%100%50%50%50%85%
Ministral 3B100%100%100%100%100%100%100%100%0%0%80%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%50%50%0%80%
Llama 3.1 405B100%100%100%100%100%100%50%50%50%50%80%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%50%50%50%50%80%
Mistral Large100%100%100%100%100%50%50%50%50%50%75%
Mistral Nemo 12B Celeste100%100%100%100%100%50%50%50%50%50%75%
Fimbulvetr 11B v2100%100%100%100%100%50%50%50%50%0%70%
Llama 3.2 3B100%100%100%100%100%100%50%0%0%0%65%
Lumimaid v0.2 8B100%100%100%100%100%100%50%0%0%0%65%
Cohere Command R+ (Aug. 2024)100%100%50%50%50%50%50%50%50%50%60%
EVA Qwen 2.5 14B100%100%50%50%50%50%50%50%50%50%60%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%50%50%50%50%50%50%50%50%60%
Gemma 2 9B100%50%50%50%50%50%50%50%50%50%55%
Liquid: LFM 40B MoE100%100%100%100%50%50%50%0%0%0%55%
Phi-3 Mini 128k100%100%100%100%100%0%0%0%0%0%50%
AI21 Jamba50%50%50%50%50%50%50%50%50%50%50%
Toppy M 7B50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Large50%50%50%50%50%50%50%50%50%50%50%
MN GRAND Gutenberg Lyra4 12B Madness50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Mini50%50%50%50%50%50%50%50%50%0%45%
Llama 3.2 1B100%100%50%50%50%0%0%0%0%0%35%
Claude 2.00%0%0%0%0%0%0%0%0%0%0%
89.03%

Indirect birth year

0-shot UtilityMathematicsLogic
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Magnum v2 72B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%100%100%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%50%95%
Gemma 2 27B100%100%100%100%100%100%100%100%100%50%95%
Qwen 2 7B100%100%100%100%100%100%100%100%100%50%95%
Mistral NeMO100%100%100%100%100%100%100%100%100%50%95%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%50%95%
Magnum 72B100%100%100%100%100%100%100%50%50%50%85%
Phi-3 Mini 128k100%100%100%100%100%100%100%50%50%50%85%
Mistral Large 2100%100%100%100%100%100%100%50%50%50%85%
Phi-3.5 Mini 128k100%100%100%100%100%100%50%50%50%50%80%
Hermes 3 405B100%100%100%100%100%100%100%100%0%0%80%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%50%50%0%80%
Liquid: LFM 40B MoE100%100%100%100%100%100%50%50%50%50%80%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%50%0%0%75%
lzlv 70B100%100%100%100%50%50%50%50%50%50%70%
MythoMist 7B100%100%100%100%50%50%50%50%50%50%70%
Rocinante 12B100%100%100%100%100%50%50%50%50%0%70%
EVA Qwen 2.5 14B100%50%50%50%50%50%50%50%50%50%55%
Phi-3 Medium 128k50%50%50%50%50%50%50%50%50%50%50%
WizardLM 2 8x22b50%50%50%50%50%50%50%50%50%50%50%
Mistral Large50%50%50%50%50%50%50%50%50%50%50%
Mistral Medium50%50%50%50%50%50%50%50%50%50%50%
MythoMax 13B50%50%50%50%50%50%50%50%50%50%50%
Toppy M 7B50%50%50%50%50%50%50%50%50%50%50%
Goliath 120B100%50%50%50%50%50%50%50%50%0%50%
Fimbulvetr 11B v250%50%50%50%50%50%50%50%50%50%50%
Mistral Nemo 12B Celeste100%50%50%50%50%50%50%50%50%0%50%
AI21 Jamba 1.5 Mini50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Large50%50%50%50%50%50%50%50%50%50%50%
MN GRAND Gutenberg Lyra4 12B Madness50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba50%50%50%50%50%50%50%50%50%0%45%
Inflection 3 (Productivity)50%50%50%50%50%50%50%50%50%0%45%
Ministral 3B100%50%50%50%50%50%50%0%0%0%40%
Ministral 8B50%50%50%50%50%50%50%50%0%0%40%
Lumimaid v0.2 8B100%100%100%100%0%0%0%0%0%0%40%
Cohere Command R+ (Apr. 2024)50%50%50%50%50%50%0%0%0%0%30%
Gemma 2 9B50%50%50%50%50%0%0%0%0%0%25%
Llama 3.2 3B50%50%0%0%0%0%0%0%0%0%10%
Inflection 3 (PI)50%50%0%0%0%0%0%0%0%0%10%
Llama 3.2 1B50%0%0%0%0%0%0%0%0%0%5%
Cohere Command R+ (Aug. 2024)0%0%0%0%0%0%0%0%0%0%0%
Claude 2.00%0%0%0%0%0%0%0%0%0%0%
Claude 2.10%0%0%0%0%0%0%0%0%0%0%
79.35%

Fruits excluding citrus

0-shot Utility
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
WizardLM 2 8x22b100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%100%100%
Mistral Large100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Mistral Medium100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
lzlv 70B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Goliath 120B100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (PI)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%100%100%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%100%100%
MN GRAND Gutenberg Lyra4 12B Madness100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Magnum 72B100%100%100%100%100%100%100%100%100%0%90%
Gemma 2 9B100%100%100%100%100%100%100%100%100%0%90%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%0%90%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%0%90%
Ministral 3B100%100%100%100%100%100%100%100%100%0%90%
Ministral 8B100%100%100%100%100%100%100%100%100%0%90%
MythoMax 13B100%100%100%100%100%100%100%100%100%0%90%
Fimbulvetr 11B v2100%100%100%100%100%100%100%100%100%0%90%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%0%90%
AI21 Jamba 1.5 Large100%100%100%100%100%100%100%100%100%0%90%
Rocinante 12B100%100%100%100%100%100%100%100%100%0%90%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%0%90%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%0%90%
Hermes 3 405B100%100%100%100%100%100%100%100%0%0%80%
Qwen 2 7B100%100%100%100%100%100%100%100%0%0%80%
MythoMist 7B100%100%100%100%100%100%100%100%0%0%80%
Magnum v2 72B100%100%100%100%100%100%100%100%0%0%80%
Phi-3 Medium 128k100%100%100%100%100%100%100%0%0%0%70%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%0%0%0%70%
AI21 Jamba100%100%100%100%100%100%100%0%0%0%70%
Claude 2.0100%100%100%100%100%100%100%0%0%0%70%
AI21 Jamba 1.5 Mini100%100%100%100%100%100%100%0%0%0%70%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%0%0%0%0%60%
Llama 3.2 3B100%100%100%100%100%100%0%0%0%0%60%
Lumimaid v0.2 8B100%100%100%100%100%100%0%0%0%0%60%
Toppy M 7B100%100%100%100%100%0%0%0%0%0%50%
Liquid: LFM 40B MoE100%100%100%100%100%0%0%0%0%0%50%
Cohere Command R+ (Aug. 2024)100%100%100%100%0%0%0%0%0%0%40%
Mistral Nemo 12B Celeste100%100%100%100%0%0%0%0%0%0%40%
Llama 3.2 1B100%100%0%0%0%0%0%0%0%0%20%
EVA Qwen 2.5 14B100%100%0%0%0%0%0%0%0%0%20%
Claude 2.1100%0%0%0%0%0%0%0%0%0%10%
Gemma 2 27B0%0%0%0%0%0%0%0%0%0%0%
GPT-4.1 Nano0%0%0%0%0%0%0%0%0%0%0%
Gemini 2.5 Flash0%0%0%0%0%0%0%0%0%0%0%
86.56%

Future event time

0-shot UtilityLogic
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%50%95%
Gemini Flash 1.5100%100%100%100%100%100%100%50%50%50%85%
Lumimaid v0.2 8B100%100%100%100%100%100%100%50%50%0%80%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%50%50%50%50%80%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%50%50%50%50%50%75%
Z.AI GLM 4.5100%100%100%100%100%50%50%50%50%50%75%
Phi-3 Mini 128k100%100%100%100%50%50%50%50%50%50%70%
Llama 3.1 70B100%100%50%50%50%50%50%50%50%50%60%
Gemma 2 27B100%50%50%50%50%50%50%50%50%50%55%
Llama 3.1 Euryale 70B v2.2100%50%50%50%50%50%50%50%50%50%55%
Mistral NeMO100%50%50%50%50%50%50%50%50%50%55%
Llama 3.1 405B100%50%50%50%50%50%50%50%50%50%55%
Llama 3.2 90B (Vision)100%50%50%50%50%50%50%50%50%50%55%
Rocinante 12B100%50%50%50%50%50%50%50%50%50%55%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%50%50%50%50%50%50%50%50%50%55%
Claude 3.5 Sonnet50%50%50%50%50%50%50%50%50%50%50%
Claude 3.7 Sonnet50%50%50%50%50%50%50%50%50%50%50%
Claude 3 Haiku50%50%50%50%50%50%50%50%50%50%50%
Magnum 72B50%50%50%50%50%50%50%50%50%50%50%
Gemma 2 9B50%50%50%50%50%50%50%50%50%50%50%
Phi-3 Medium 128k50%50%50%50%50%50%50%50%50%50%50%
Phi-3.5 Mini 128k50%50%50%50%50%50%50%50%50%50%50%
Hermes 2 Theta 8B50%50%50%50%50%50%50%50%50%50%50%
Hermes 3 70B50%50%50%50%50%50%50%50%50%50%50%
Hermes 3 405B50%50%50%50%50%50%50%50%50%50%50%
WizardLM 2 8x22b50%50%50%50%50%50%50%50%50%50%50%
Cohere Command R+ (Apr. 2024)50%50%50%50%50%50%50%50%50%50%50%
Mistral Large50%50%50%50%50%50%50%50%50%50%50%
Mistral Large 250%50%50%50%50%50%50%50%50%50%50%
Ministral 3B50%50%50%50%50%50%50%50%50%50%50%
Ministral 8B50%50%50%50%50%50%50%50%50%50%50%
Mistral Medium50%50%50%50%50%50%50%50%50%50%50%
GPT-4o, May 13th (temp=0)50%50%50%50%50%50%50%50%50%50%50%
GPT-4o, May 13th (temp=1)50%50%50%50%50%50%50%50%50%50%50%
GPT-4o, Aug. 6th (temp=0)50%50%50%50%50%50%50%50%50%50%50%
GPT-4o, Aug. 6th (temp=1)50%50%50%50%50%50%50%50%50%50%50%
Llama 3 Euryale 70B v2.150%50%50%50%50%50%50%50%50%50%50%
Qwen 2 72B50%50%50%50%50%50%50%50%50%50%50%
Qwen 2.5 72B50%50%50%50%50%50%50%50%50%50%50%
Qwen 2 7B50%50%50%50%50%50%50%50%50%50%50%
lzlv 70B50%50%50%50%50%50%50%50%50%50%50%
MythoMist 7B50%50%50%50%50%50%50%50%50%50%50%
DeepSeek-V2 Chat50%50%50%50%50%50%50%50%50%50%50%
Claude 2.150%50%50%50%50%50%50%50%50%50%50%
Claude 3.0 Sonnet50%50%50%50%50%50%50%50%50%50%50%
Goliath 120B50%50%50%50%50%50%50%50%50%50%50%
GPT-4 Turbo50%50%50%50%50%50%50%50%50%50%50%
GPT-4o Mini (temp=0)50%50%50%50%50%50%50%50%50%50%50%
GPT-4o Mini (temp=1)50%50%50%50%50%50%50%50%50%50%50%
Llama 3 70B50%50%50%50%50%50%50%50%50%50%50%
Fimbulvetr 11B v250%50%50%50%50%50%50%50%50%50%50%
Llama 3.1 8B50%50%50%50%50%50%50%50%50%50%50%
Llama 3.2 3B50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Mini50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Large50%50%50%50%50%50%50%50%50%50%50%
EVA Qwen 2.5 14B100%50%50%50%50%50%50%50%50%0%50%
Magnum v2 72B50%50%50%50%50%50%50%50%50%50%50%
Inflection 3 (Productivity)50%50%50%50%50%50%50%50%50%50%50%
Inflection 3 (PI)50%50%50%50%50%50%50%50%50%50%50%
Llama 3.1 Nemotron 70B50%50%50%50%50%50%50%50%50%50%50%
Sao10K L3.1 70B Hanami x150%50%50%50%50%50%50%50%50%50%50%
MN GRAND Gutenberg Lyra4 12B Madness50%50%50%50%50%50%50%50%50%50%50%
GPT-4.150%50%50%50%50%50%50%50%50%50%50%
GPT-4.1 Mini50%50%50%50%50%50%50%50%50%50%50%
Claude Sonnet 450%50%50%50%50%50%50%50%50%50%50%
Claude Opus 450%50%50%50%50%50%50%50%50%50%50%
Claude Haiku 4.550%50%50%50%50%50%50%50%50%50%50%
Claude Sonnet 4.550%50%50%50%50%50%50%50%50%50%50%
Claude Opus 4.550%50%50%50%50%50%50%50%50%50%50%
Claude Opus 4.650%50%50%50%50%50%50%50%50%50%50%
Mistral Small Creative50%50%50%50%50%50%50%50%50%50%50%
Writer: Palmyra X550%50%50%50%50%50%50%50%50%50%50%
Gemini Pro 1.550%50%50%50%50%50%50%50%50%0%45%
AI21 Jamba50%50%50%50%50%50%50%50%50%0%45%
MythoMax 13B50%50%50%50%50%50%50%50%50%0%45%
Mistral Nemo 12B Celeste50%50%50%50%50%50%50%50%50%0%45%
Toppy M 7B50%50%50%50%50%50%50%50%0%0%40%
Llama 3.2 1B50%50%50%50%50%50%50%50%0%0%40%
Llama 3.2 11B (Vision)50%50%50%50%50%50%50%0%0%0%35%
Liquid: LFM 40B MoE50%50%50%50%50%50%50%0%0%0%35%
Claude 2.00%0%0%0%0%0%0%0%0%0%0%
57.90%

Highest-rated movie

0-shot Utility
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 9B100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Ministral 3B100%100%100%100%100%100%100%100%100%100%100%
Ministral 8B100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 2.0100%100%100%100%100%100%100%100%100%100%100%
Claude 2.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 3B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%100%100%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%50%95%
Mistral Medium100%100%100%100%100%100%100%100%100%50%95%
MythoMist 7B100%100%100%100%100%100%100%100%100%50%95%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%50%95%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%100%100%100%50%50%90%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%0%90%
Lumimaid v0.2 8B100%100%100%100%100%100%100%100%100%0%90%
EVA Qwen 2.5 14B100%100%100%100%100%100%100%100%50%50%90%
Mistral Large100%100%100%100%100%100%100%50%50%50%85%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%50%50%50%85%
Goliath 120B100%100%100%100%100%100%100%50%50%50%85%
Inflection 3 (PI)100%100%100%100%100%100%100%50%50%50%85%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%50%50%50%50%80%
lzlv 70B100%100%100%100%100%100%50%50%50%50%80%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%0%0%80%
Magnum v2 72B100%100%100%100%100%100%50%50%50%50%80%
WizardLM 2 8x22b100%100%100%100%100%50%50%50%50%50%75%
Magnum 72B100%100%100%100%50%50%50%50%50%50%70%
Phi-3 Medium 128k100%100%100%100%100%50%50%50%50%0%70%
Rocinante 12B100%100%100%100%100%100%50%50%0%0%70%
Gemma 2 27B100%100%50%50%50%50%50%50%50%50%60%
Qwen 2 7B100%100%50%50%50%50%50%50%50%50%60%
Toppy M 7B100%50%50%50%50%50%50%50%50%50%55%
Mistral Nemo 12B Celeste100%50%50%50%50%50%50%50%50%50%55%
Hermes 2 Theta 8B50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba50%50%50%50%50%50%50%50%50%50%50%
MythoMax 13B50%50%50%50%50%50%50%50%50%50%50%
Fimbulvetr 11B v250%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Large50%50%50%50%50%50%50%50%50%50%50%
MN GRAND Gutenberg Lyra4 12B Madness50%50%50%50%50%50%50%50%50%50%50%
AI21 Jamba 1.5 Mini50%50%50%50%50%50%50%50%0%0%40%
Liquid: LFM 40B MoE100%50%50%50%50%50%50%0%0%0%40%
Llama 3.2 1B50%0%0%0%0%0%0%0%0%0%5%
89.25%

All valid emails

0-shot Utility
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Magnum 72B100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 9B100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Medium 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%100%100%
WizardLM 2 8x22b100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%100%100%100%100%100%100%
Mistral Large100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Mistral Medium100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
lzlv 70B100%100%100%100%100%100%100%100%100%100%100%
MythoMax 13B100%100%100%100%100%100%100%100%100%100%100%
MythoMist 7B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Toppy M 7B100%100%100%100%100%100%100%100%100%100%100%
Claude 2.0100%100%100%100%100%100%100%100%100%100%100%
Claude 2.1100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Goliath 120B100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Fimbulvetr 11B v2100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba 1.5 Mini100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba 1.5 Large100%100%100%100%100%100%100%100%100%100%100%
Rocinante 12B100%100%100%100%100%100%100%100%100%100%100%
EVA Qwen 2.5 14B100%100%100%100%100%100%100%100%100%100%100%
Magnum v2 72B100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (PI)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%100%100%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%100%100%
MN GRAND Gutenberg Lyra4 12B Madness100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%0%90%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%0%90%
Ministral 3B100%100%100%100%100%100%100%100%0%0%80%
Ministral 8B100%100%100%100%100%100%100%100%0%0%80%
Mistral Nemo 12B Celeste100%100%100%100%100%100%100%100%0%0%80%
Llama 3.2 1B100%100%100%100%100%100%100%0%0%0%70%
Llama 3.2 3B100%100%100%100%100%100%100%0%0%0%70%
Lumimaid v0.2 8B100%100%100%100%100%100%100%0%0%0%70%
Liquid: LFM 40B MoE100%100%100%100%100%100%100%0%0%0%70%
Gemma 2 27B100%100%100%0%0%0%0%0%0%0%30%
Qwen 2 7B100%0%0%0%0%0%0%0%0%0%10%
96.13%