Write N of X

Write exactly N words/sentences/paragraphs...

Model Total â–¼10 word summary20 word summary50 word summary100 word summary200 word summary1 sentence summary3 sentence summary10 sentence summary20 sentence summary50 sentence summary1 paragraph summary3 paragraph summary5 paragraph summary
Z.AI GLM 4.7100%100%100%100%100%98%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%99%95%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)99%100%100%99%98%91%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.598%100%100%100%99%82%100%100%100%100%100%100%100%100%
o4 Mini High98%100%100%100%98%79%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash98%100%100%100%96%78%100%100%100%100%100%100%100%100%
o4 Mini97%100%100%97%95%73%100%100%100%100%92%100%100%100%
Gemini 2.5 Pro96%100%100%99%97%61%100%100%100%100%97%100%100%100%
Claude Opus 4.691%100%91%97%88%8%100%100%100%100%100%100%100%100%
Claude Opus 4.591%99%94%98%96%10%100%100%100%100%79%100%100%100%
GPT-4o Mini (temp=1)90%100%100%98%100%73%100%100%100%98%0%100%100%100%
Z.AI GLM 4.690%100%99%95%85%0%100%100%100%99%90%100%100%100%
GPT-4.189%100%100%84%95%51%100%100%100%90%40%100%100%100%
Claude Sonnet 4.587%100%87%78%65%43%100%100%99%97%64%100%100%100%
GPT-4o, Aug. 6th (temp=0)87%100%98%99%98%61%100%100%100%70%0%100%100%100%
1–15 of 93
Page 1 / 7

10 word summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%98%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%98%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%98%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%98%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%98%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%98%98%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%98%98%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%98%98%98%99%
DeepSeek-V2 Chat100%100%100%100%100%100%100%98%98%98%99%
Z.AI GLM 4.5100%100%100%100%100%100%100%98%98%98%99%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%98%98%98%99%
Gemma 2 27B100%100%100%100%100%100%98%98%98%98%99%
Claude Opus 4.5100%100%100%100%100%100%98%98%98%98%99%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%92%99%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%100%100%100%98%92%99%
Llama 3.1 8B100%100%100%100%100%100%100%98%98%92%99%
Cohere Command R+ (Apr. 2024)100%100%100%100%98%98%98%98%92%92%98%
Llama 3.2 3B100%100%100%100%100%100%100%100%98%77%98%
Llama 3.1 Nemotron 70B100%100%100%98%98%98%98%92%92%77%96%
Claude 3 Haiku100%100%100%98%98%98%98%92%92%77%96%
Mistral Medium100%100%98%98%98%98%98%92%92%77%95%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%98%98%77%77%95%
Gemini 2.5 Flash100%100%100%100%98%98%92%92%92%77%95%
Sao10K L3.1 70B Hanami x1100%100%98%98%98%92%92%92%77%77%93%
Hermes 3 405B100%100%100%100%100%100%100%100%98%27%93%
Writer: Palmyra X5100%100%100%100%100%100%100%98%92%27%92%
Gemma 2 9B100%100%100%100%100%100%98%98%92%9%90%
Qwen 2.5 72B100%98%98%98%98%98%92%92%77%27%88%
Llama 3.1 70B98%98%98%92%92%92%92%77%77%54%87%
Inflection 3 (PI)100%100%100%100%100%98%98%98%54%0%85%
Llama 3.2 90B (Vision)100%92%92%92%92%77%77%77%77%54%83%
Llama 3.2 1B100%98%92%92%92%92%92%54%54%0%77%
Phi-3.5 Mini 128k100%100%100%100%100%98%77%77%0%0%75%
Llama 3 Euryale 70B v2.1100%100%100%98%98%77%54%54%54%0%73%
AI21 Jamba 1.5 Large100%100%100%100%92%92%92%0%0%0%68%
AI21 Jamba 1.5 Mini98%98%98%98%92%77%77%0%0%0%64%
WizardLM 2 8x22b100%100%100%98%98%77%27%0%0%0%60%
Inflection 3 (Productivity)100%98%98%92%77%77%9%2%0%0%55%
Hermes 3 70B100%100%98%92%92%0%0%0%0%0%48%
Mistral NeMO100%92%92%77%77%27%9%0%0%0%48%
Mistral Large100%100%100%77%77%9%2%0%0%0%47%
Lumimaid v0.2 8B100%92%92%77%54%27%9%0%0%0%45%
EVA Qwen 2.5 14B100%100%92%77%54%9%0%0%0%0%43%
Magnum 72B100%100%98%77%0%0%0%0%0%0%38%
Phi-3 Medium 128k100%92%77%77%27%0%0%0%0%0%37%
Ministral 8B100%98%77%54%9%0%0%0%0%0%34%
Ministral 3B98%98%92%27%9%2%0%0%0%0%33%
Mistral Nemo 12B Celeste100%100%9%0%0%0%0%0%0%0%21%
Magnum v2 72B100%98%0%0%0%0%0%0%0%0%20%
Mistral Large 298%92%0%0%0%0%0%0%0%0%19%
Qwen 2 72B98%92%0%0%0%0%0%0%0%0%19%
Rocinante 12B92%77%0%0%0%0%0%0%0%0%17%
Phi-3 Mini 128k100%54%9%0%0%0%0%0%0%0%16%
Hermes 2 Theta 8B100%9%0%0%0%0%0%0%0%0%11%
Claude 2.192%2%0%0%0%0%0%0%0%0%9%
Qwen 2 7B9%0%0%0%0%0%0%0%0%0%1%
Claude 2.00%0%0%0%0%0%0%0%0%0%0%
lzlv 70B0%0%0%0%0%0%0%0%0%0%0%
Goliath 120B0%0%0%0%0%0%0%0%0%0%0%
MythoMist 7B0%0%0%0%0%0%0%0%0%0%0%
MN GRAND Gutenberg Lyra4 12B Madness0%0%0%0%0%0%0%0%0%0%0%
Liquid: LFM 40B MoE0%0%0%0%0%0%0%0%0%0%0%
Fimbulvetr 11B v20%0%0%0%0%0%0%0%0%0%0%
AI21 Jamba0%0%0%0%0%0%0%0%0%0%0%
MythoMax 13B0%0%0%0%0%0%0%0%0%0%0%
Toppy M 7B0%0%0%0%0%0%0%0%0%0%0%
71.52%

20 word summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%98%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%98%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%98%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%98%100%
GPT-4.1100%100%100%100%100%100%100%100%100%98%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%98%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%98%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%98%98%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%98%98%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%98%98%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%98%98%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%98%98%98%99%
GPT-4 Turbo100%100%100%100%100%100%100%98%98%98%99%
Llama 3 70B100%100%100%100%100%100%100%98%98%98%99%
Z.AI GLM 4.6100%100%100%100%100%100%98%98%98%98%99%
Claude 3.5 Haiku100%100%100%100%100%98%98%98%98%98%99%
Claude Opus 4100%100%100%100%100%98%98%98%98%98%99%
GPT-4o, Aug. 6th (temp=0)98%98%98%98%98%98%98%98%98%98%98%
Claude Sonnet 4100%100%100%98%98%98%98%98%98%92%98%
Gemini 2.5 Flash Lite100%100%100%100%98%98%98%98%92%92%98%
Claude 3.5 Sonnet100%100%100%100%100%100%98%98%98%77%97%
Gemini Pro 1.5100%100%100%100%100%98%98%98%98%77%97%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%92%77%97%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%98%92%77%97%
Qwen 2.5 72B100%100%100%100%100%100%100%100%92%54%95%
Claude Opus 4.5100%100%100%100%98%98%98%98%92%54%94%
Cohere Command R+ (Aug. 2024)100%100%98%98%98%98%92%77%77%77%92%
Claude Opus 4.698%98%98%98%92%92%92%92%92%54%91%
Llama 3.1 8B100%100%98%98%98%92%77%77%77%77%90%
Hermes 3 405B100%100%100%100%100%100%98%98%92%0%89%
Claude Sonnet 4.5100%98%98%92%92%92%92%77%77%54%87%
Mistral Small Creative98%98%92%92%92%92%92%77%77%54%87%
Gemma 2 27B100%100%100%100%100%98%92%54%54%54%85%
Gemma 2 9B100%100%100%100%100%100%92%54%54%27%83%
Llama 3.2 3B100%100%100%100%98%98%92%77%27%0%79%
AI21 Jamba 1.5 Large100%100%100%98%92%77%77%54%9%0%71%
Phi-3.5 Mini 128k100%100%100%92%92%92%54%54%9%0%69%
Llama 3.1 Nemotron 70B100%100%100%100%98%77%54%54%9%0%69%
Claude 3 Haiku100%100%100%100%98%54%54%54%27%2%69%
Claude Haiku 4.5100%100%100%98%77%54%54%27%9%9%63%
AI21 Jamba 1.5 Mini100%100%100%100%98%92%0%0%0%0%59%
Inflection 3 (Productivity)100%100%92%92%92%54%0%0%0%0%53%
Claude 2.198%92%92%77%77%27%27%27%2%0%52%
Gemini 2.5 Flash98%92%92%54%54%54%54%9%9%2%52%
Llama 3.2 1B100%100%92%77%54%54%27%0%0%0%50%
Phi-3 Mini 128k100%100%98%77%54%54%0%0%0%0%48%
Gemini Flash 1.5100%100%98%77%27%27%27%0%0%0%46%
Llama 3.1 Euryale 70B v2.2100%98%92%92%27%9%2%0%0%0%42%
Qwen 2 72B100%100%98%92%0%0%0%0%0%0%39%
Llama 3 Euryale 70B v2.1100%100%92%9%2%0%0%0%0%0%30%
Claude 3.0 Sonnet98%77%77%27%9%2%0%0%0%0%29%
WizardLM 2 8x22b98%92%92%0%0%0%0%0%0%0%28%
Inflection 3 (PI)100%92%27%27%27%2%0%0%0%0%28%
Ministral 3B92%77%54%0%0%0%0%0%0%0%22%
EVA Qwen 2.5 14B92%92%2%0%0%0%0%0%0%0%19%
AI21 Jamba98%77%2%0%0%0%0%0%0%0%18%
Writer: Palmyra X554%54%27%27%9%2%0%0%0%0%17%
Llama 3.2 90B (Vision)54%54%27%27%9%2%0%0%0%0%17%
Mistral Medium54%54%9%9%9%2%2%0%0%0%14%
Lumimaid v0.2 8B92%27%2%0%0%0%0%0%0%0%12%
Hermes 3 70B54%54%0%0%0%0%0%0%0%0%11%
Sao10K L3.1 70B Hanami x198%2%0%0%0%0%0%0%0%0%10%
Ministral 8B100%0%0%0%0%0%0%0%0%0%10%
Phi-3 Medium 128k100%0%0%0%0%0%0%0%0%0%10%
Claude 2.0100%0%0%0%0%0%0%0%0%0%10%
Mistral NeMO92%0%0%0%0%0%0%0%0%0%9%
Rocinante 12B92%0%0%0%0%0%0%0%0%0%9%
Magnum v2 72B92%0%0%0%0%0%0%0%0%0%9%
Llama 3.1 70B77%2%2%0%0%0%0%0%0%0%8%
Magnum 72B77%0%0%0%0%0%0%0%0%0%8%
Cohere Command R+ (Apr. 2024)54%9%2%2%2%2%2%2%2%2%8%
Mistral Large27%9%9%0%0%0%0%0%0%0%5%
Liquid: LFM 40B MoE27%9%0%0%0%0%0%0%0%0%4%
MythoMist 7B2%0%0%0%0%0%0%0%0%0%0%
MN GRAND Gutenberg Lyra4 12B Madness2%0%0%0%0%0%0%0%0%0%0%
Mistral Nemo 12B Celeste0%0%0%0%0%0%0%0%0%0%0%
Goliath 120B0%0%0%0%0%0%0%0%0%0%0%
lzlv 70B0%0%0%0%0%0%0%0%0%0%0%
Mistral Large 20%0%0%0%0%0%0%0%0%0%0%
Qwen 2 7B0%0%0%0%0%0%0%0%0%0%0%
Hermes 2 Theta 8B0%0%0%0%0%0%0%0%0%0%0%
MythoMax 13B0%0%0%0%0%0%0%0%0%0%0%
Toppy M 7B0%0%0%0%0%0%0%0%0%0%0%
Fimbulvetr 11B v20%0%0%0%0%0%0%0%0%0%0%
57.77%

50 word summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%98%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%98%98%98%99%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%98%98%98%99%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%98%98%98%99%
Llama 3.1 405B100%100%100%100%100%100%100%98%98%92%99%
GPT-4o, May 13th (temp=0)98%98%98%98%98%98%98%98%98%98%98%
Claude Opus 4.5100%100%100%100%100%100%100%98%92%92%98%
Claude Opus 4100%100%100%100%100%100%98%98%92%92%98%
GPT-4o Mini (temp=1)100%100%100%100%100%98%98%98%92%92%98%
GPT-4o, May 13th (temp=1)100%100%100%100%100%98%98%98%98%77%97%
o4 Mini100%100%100%100%100%100%100%98%92%77%97%
Claude Opus 4.6100%100%98%98%98%98%98%98%98%77%97%
Llama 3 70B100%100%100%100%100%98%98%92%92%77%96%
GPT-4.1 Mini100%100%100%100%100%98%98%92%92%77%96%
Z.AI GLM 4.6100%100%100%100%100%100%98%98%77%77%95%
Llama 3.1 Nemotron 70B100%100%100%100%100%98%98%98%98%54%95%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%98%98%98%92%54%94%
Llama 3.1 70B100%100%100%100%100%92%77%77%77%54%88%
GPT-4.1 Nano100%100%100%98%98%98%98%92%54%27%87%
Gemini 2.5 Flash Lite100%100%100%98%98%92%92%92%77%2%85%
GPT-4.1100%100%100%98%98%92%92%77%54%27%84%
Claude Sonnet 4.5100%100%100%100%100%98%77%77%27%0%78%
Claude 3.7 Sonnet100%98%98%98%98%92%77%54%27%27%77%
AI21 Jamba 1.5 Large100%100%100%100%100%98%92%77%0%0%77%
Llama 3.2 3B100%100%100%100%98%92%92%54%27%0%76%
Sao10K L3.1 70B Hanami x1100%98%98%98%92%92%92%54%0%0%73%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%98%98%92%92%77%77%54%9%2%70%
Claude 3.5 Sonnet100%100%100%98%77%54%54%54%54%9%70%
Llama 3.2 90B (Vision)100%100%100%100%98%98%54%27%9%0%69%
Cohere Command R+ (Apr. 2024)100%100%100%98%92%92%77%9%9%2%68%
Claude 3.5 Sonnet (new)92%92%77%77%77%77%54%54%54%9%66%
Llama 3.2 11B (Vision)100%100%98%98%98%77%54%0%0%0%63%
Hermes 3 405B100%100%100%98%92%92%27%9%2%0%62%
Claude Haiku 4.5100%100%100%92%77%54%54%27%9%0%61%
GPT-4 Turbo100%100%98%92%54%54%54%27%27%0%61%
Z.AI GLM 4.5100%100%98%92%92%27%27%27%9%2%58%
Llama 3.1 8B100%98%98%92%77%54%54%0%0%0%57%
Claude 2.1100%100%92%77%77%54%27%2%0%0%53%
Claude Sonnet 498%92%92%77%54%54%27%9%0%0%50%
Gemini Pro 1.5100%100%92%77%54%9%9%2%0%0%44%
Llama 3.2 1B100%100%100%77%27%27%9%0%0%0%44%
Qwen 2.5 72B100%98%77%77%54%27%2%0%0%0%44%
Mistral Large 298%92%77%54%54%27%0%0%0%0%40%
Phi-3.5 Mini 128k100%100%100%92%0%0%0%0%0%0%39%
Ministral 8B100%92%92%77%9%9%0%0%0%0%38%
Claude 3.0 Sonnet92%92%92%54%27%9%9%0%0%0%38%
Mistral NeMO98%92%92%54%27%2%0%0%0%0%37%
Inflection 3 (Productivity)100%98%98%27%27%9%2%0%0%0%36%
Inflection 3 (PI)100%77%54%54%54%2%0%0%0%0%34%
AI21 Jamba 1.5 Mini100%92%54%27%27%9%9%0%0%0%32%
Gemma 2 9B100%77%77%54%2%0%0%0%0%0%31%
Phi-3 Mini 128k100%98%98%9%0%0%0%0%0%0%31%
AI21 Jamba100%100%54%9%0%0%0%0%0%0%26%
lzlv 70B100%92%9%0%0%0%0%0%0%0%20%
Liquid: LFM 40B MoE100%54%0%0%0%0%0%0%0%0%15%
Gemma 2 27B98%54%0%0%0%0%0%0%0%0%15%
DeepSeek-V2 Chat54%27%27%9%9%9%0%0%0%0%14%
EVA Qwen 2.5 14B98%27%9%0%0%0%0%0%0%0%13%
Goliath 120B100%27%0%0%0%0%0%0%0%0%13%
Lumimaid v0.2 8B100%2%2%0%0%0%0%0%0%0%10%
Gemini Flash 1.5100%2%0%0%0%0%0%0%0%0%10%
Mistral Medium98%2%0%0%0%0%0%0%0%0%10%
Llama 3 Euryale 70B v2.198%0%0%0%0%0%0%0%0%0%10%
Phi-3 Medium 128k77%2%0%0%0%0%0%0%0%0%8%
Claude 2.054%0%0%0%0%0%0%0%0%0%5%
Llama 3.1 Euryale 70B v2.254%0%0%0%0%0%0%0%0%0%5%
MythoMist 7B54%0%0%0%0%0%0%0%0%0%5%
Ministral 3B27%2%2%2%0%0%0%0%0%0%3%
Claude 3.5 Haiku27%2%0%0%0%0%0%0%0%0%3%
Magnum v2 72B27%0%0%0%0%0%0%0%0%0%3%
Mistral Large9%0%0%0%0%0%0%0%0%0%1%
Writer: Palmyra X50%0%0%0%0%0%0%0%0%0%0%
Gemini 2.5 Flash0%0%0%0%0%0%0%0%0%0%0%
Qwen 2 7B0%0%0%0%0%0%0%0%0%0%0%
Rocinante 12B0%0%0%0%0%0%0%0%0%0%0%
Cohere Command R+ (Aug. 2024)0%0%0%0%0%0%0%0%0%0%0%
Hermes 3 70B0%0%0%0%0%0%0%0%0%0%0%
Claude 3 Haiku0%0%0%0%0%0%0%0%0%0%0%
Magnum 72B0%0%0%0%0%0%0%0%0%0%0%
Mistral Small Creative0%0%0%0%0%0%0%0%0%0%0%
MN GRAND Gutenberg Lyra4 12B Madness0%0%0%0%0%0%0%0%0%0%0%
Hermes 2 Theta 8B0%0%0%0%0%0%0%0%0%0%0%
MythoMax 13B0%0%0%0%0%0%0%0%0%0%0%
Fimbulvetr 11B v20%0%0%0%0%0%0%0%0%0%0%
WizardLM 2 8x22b0%0%0%0%0%0%0%0%0%0%0%
Qwen 2 72B0%0%0%0%0%0%0%0%0%0%0%
Toppy M 7B0%0%0%0%0%0%0%0%0%0%0%
Mistral Nemo 12B Celeste0%0%0%0%0%0%0%0%0%0%0%
46.94%

100 word summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%98%98%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%98%98%92%99%
MoonshotAI: Kimi K2.5100%100%100%100%100%98%98%98%98%92%99%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%98%98%98%98%98%92%98%
Gemini 3 Flash (Preview)100%100%100%100%98%98%98%98%98%92%98%
o4 Mini High100%100%100%98%98%98%98%98%92%92%98%
Gemini 2.5 Pro100%100%98%98%98%98%98%92%92%92%97%
Z.AI GLM 4.7 Flash100%100%100%98%98%98%92%92%92%92%96%
Claude Opus 4.5100%100%100%100%100%98%98%92%92%77%96%
o4 Mini100%100%100%100%100%98%92%92%92%77%95%
GPT-4.1100%100%100%100%100%100%98%98%77%77%95%
GPT-4o Mini (temp=0)100%92%92%92%92%92%92%92%92%92%93%
GPT-4o, May 13th (temp=0)100%100%100%100%100%98%98%92%77%27%89%
Claude Opus 4.6100%100%100%100%100%98%98%77%54%54%88%
GPT-4.1 Mini100%100%98%98%98%92%92%92%54%54%88%
Z.AI GLM 4.6100%100%100%98%98%92%92%92%54%27%85%
Claude 3.7 Sonnet100%100%100%100%98%98%98%77%54%27%85%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%98%92%92%54%54%54%84%
Llama 3.1 405B100%100%100%100%100%100%92%92%27%0%81%
Llama 3.1 70B100%100%98%98%98%92%77%77%54%2%80%
GPT-4o, May 13th (temp=1)100%100%100%98%98%92%92%77%27%9%79%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%98%98%77%77%77%54%9%79%
Claude Sonnet 498%98%98%98%77%77%77%77%9%0%71%
Claude 3.5 Sonnet100%98%98%92%92%77%77%54%2%0%69%
Gemini 2.5 Flash Lite100%100%98%92%92%92%54%54%9%0%69%
Claude Sonnet 4.5100%100%98%92%92%77%54%27%9%0%65%
Llama 3.2 90B (Vision)100%100%98%98%98%98%27%9%9%2%64%
Claude Opus 4100%98%98%92%77%54%54%27%27%0%63%
Llama 3 70B100%100%100%98%92%92%27%9%2%0%62%
Hermes 3 405B100%100%98%98%92%92%27%2%0%0%61%
Mistral Large 2100%100%100%92%77%77%0%0%0%0%55%
Z.AI GLM 4.5100%100%98%77%54%27%27%27%0%0%51%
Llama 3.1 Nemotron 70B100%98%92%92%54%54%9%9%2%0%51%
Claude 2.1100%100%100%98%27%27%27%0%0%0%48%
Llama 3.1 8B100%98%92%92%77%9%0%0%0%0%47%
GPT-4.1 Nano100%98%77%77%54%54%2%2%0%0%46%
AI21 Jamba 1.5 Large92%92%77%77%54%27%9%2%0%0%43%
Claude 3.0 Sonnet100%100%100%92%0%0%0%0%0%0%39%
Mistral Large100%100%100%54%27%9%0%0%0%0%39%
Mistral Medium100%98%98%27%27%27%0%0%0%0%38%
Llama 3.2 3B100%92%77%54%27%9%0%0%0%0%36%
Llama 3.2 1B100%92%92%27%27%9%0%0%0%0%35%
Claude 3.5 Sonnet (new)100%92%54%54%27%9%2%0%0%0%34%
Gemini 2.5 Flash100%100%77%27%0%0%0%0%0%0%30%
Qwen 2.5 72B100%100%92%9%2%0%0%0%0%0%30%
Gemini Pro 1.5100%92%54%27%0%0%0%0%0%0%27%
Llama 3.2 11B (Vision)92%77%77%9%0%0%0%0%0%0%26%
Magnum v2 72B100%98%27%9%0%0%0%0%0%0%23%
Sao10K L3.1 70B Hanami x1100%54%54%27%0%0%0%0%0%0%23%
DeepSeek-V2 Chat98%92%27%2%2%0%0%0%0%0%22%
Hermes 3 70B98%92%9%2%0%0%0%0%0%0%20%
EVA Qwen 2.5 14B100%54%27%9%0%0%0%0%0%0%19%
Phi-3 Medium 128k77%77%27%0%0%0%0%0%0%0%18%
Gemini Flash 1.598%54%27%2%0%0%0%0%0%0%18%
Hermes 2 Theta 8B98%77%0%0%0%0%0%0%0%0%18%
Cohere Command R+ (Apr. 2024)77%77%0%0%0%0%0%0%0%0%15%
Claude Haiku 4.5100%54%0%0%0%0%0%0%0%0%15%
Phi-3.5 Mini 128k92%54%0%0%0%0%0%0%0%0%15%
AI21 Jamba77%54%2%0%0%0%0%0%0%0%13%
Qwen 2 72B77%54%0%0%0%0%0%0%0%0%13%
Gemma 2 9B98%9%0%0%0%0%0%0%0%0%11%
GPT-4 Turbo98%9%0%0%0%0%0%0%0%0%11%
AI21 Jamba 1.5 Mini100%2%0%0%0%0%0%0%0%0%10%
Ministral 3B100%0%0%0%0%0%0%0%0%0%10%
Gemma 2 27B100%0%0%0%0%0%0%0%0%0%10%
Qwen 2 7B100%0%0%0%0%0%0%0%0%0%10%
Mistral Nemo 12B Celeste100%0%0%0%0%0%0%0%0%0%10%
Ministral 8B98%0%0%0%0%0%0%0%0%0%10%
Claude 2.092%2%0%0%0%0%0%0%0%0%9%
Cohere Command R+ (Aug. 2024)54%27%9%2%0%0%0%0%0%0%9%
Claude 3.5 Haiku77%9%0%0%0%0%0%0%0%0%9%
Mistral Small Creative54%0%0%0%0%0%0%0%0%0%5%
Llama 3.1 Euryale 70B v2.254%0%0%0%0%0%0%0%0%0%5%
Fimbulvetr 11B v227%2%0%0%0%0%0%0%0%0%3%
Toppy M 7B27%0%0%0%0%0%0%0%0%0%3%
Writer: Palmyra X59%9%0%0%0%0%0%0%0%0%2%
Inflection 3 (Productivity)9%2%0%0%0%0%0%0%0%0%1%
Lumimaid v0.2 8B2%0%0%0%0%0%0%0%0%0%0%
Llama 3 Euryale 70B v2.12%0%0%0%0%0%0%0%0%0%0%
Magnum 72B2%0%0%0%0%0%0%0%0%0%0%
MythoMax 13B2%0%0%0%0%0%0%0%0%0%0%
Goliath 120B0%0%0%0%0%0%0%0%0%0%0%
Inflection 3 (PI)0%0%0%0%0%0%0%0%0%0%0%
Phi-3 Mini 128k0%0%0%0%0%0%0%0%0%0%0%
lzlv 70B0%0%0%0%0%0%0%0%0%0%0%
Liquid: LFM 40B MoE0%0%0%0%0%0%0%0%0%0%0%
Mistral NeMO0%0%0%0%0%0%0%0%0%0%0%
MythoMist 7B0%0%0%0%0%0%0%0%0%0%0%
Rocinante 12B0%0%0%0%0%0%0%0%0%0%0%
Claude 3 Haiku0%0%0%0%0%0%0%0%0%0%0%
WizardLM 2 8x22b0%0%0%0%0%0%0%0%0%0%0%
MN GRAND Gutenberg Lyra4 12B Madness0%0%0%0%0%0%0%0%0%0%0%
39.42%

200 word summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Z.AI GLM 4.7100%100%98%98%98%98%98%98%98%92%98%
Gemini 3 Pro (Preview)100%100%100%100%98%98%92%92%92%77%95%
Gemini 3 Flash (Preview)100%100%100%100%98%92%92%77%77%77%91%
MoonshotAI: Kimi K2.598%98%98%98%98%92%77%77%54%27%82%
o4 Mini High100%100%100%98%98%98%77%54%54%9%79%
Z.AI GLM 4.7 Flash98%98%98%98%98%92%92%54%54%0%78%
o4 Mini100%100%100%100%98%92%54%54%27%9%73%
GPT-4o Mini (temp=1)100%100%100%100%92%77%77%54%27%2%73%
GPT-4o, Aug. 6th (temp=1)100%100%98%92%92%77%54%27%9%2%65%
Gemini 2.5 Pro100%100%98%77%77%77%54%27%0%0%61%
GPT-4o, Aug. 6th (temp=0)98%98%92%54%54%54%54%54%27%27%61%
GPT-4.1100%100%92%77%54%54%27%2%2%0%51%
GPT-4o, May 13th (temp=1)100%98%92%92%77%9%0%0%0%0%47%
Claude Sonnet 4.5100%98%77%77%54%27%0%0%0%0%43%
GPT-4o Mini (temp=0)98%98%92%9%9%9%9%9%9%9%35%
GPT-4.1 Nano100%92%27%27%9%0%0%0%0%0%26%
Magnum 72B100%92%0%0%0%0%0%0%0%0%19%
Writer: Palmyra X5100%77%2%2%0%0%0%0%0%0%18%
Claude Opus 492%77%0%0%0%0%0%0%0%0%17%
Cohere Command R+ (Aug. 2024)77%77%2%0%0%0%0%0%0%0%16%
Llama 3.1 Euryale 70B v2.292%54%0%0%0%0%0%0%0%0%15%
Claude Haiku 4.5100%27%0%0%0%0%0%0%0%0%13%
DeepSeek-V2 Chat98%27%0%0%0%0%0%0%0%0%13%
GPT-4o, May 13th (temp=0)54%27%27%0%0%0%0%0%0%0%11%
Llama 3.2 1B77%27%0%0%0%0%0%0%0%0%10%
Claude Opus 4.598%2%0%0%0%0%0%0%0%0%10%
Claude 2.1100%0%0%0%0%0%0%0%0%0%10%
Toppy M 7B100%0%0%0%0%0%0%0%0%0%10%
Phi-3 Mini 128k100%0%0%0%0%0%0%0%0%0%10%
MythoMist 7B100%0%0%0%0%0%0%0%0%0%10%
Sao10K L3.1 70B Hanami x192%0%0%0%0%0%0%0%0%0%9%
Claude Opus 4.677%0%0%0%0%0%0%0%0%0%8%
Mistral Small Creative77%0%0%0%0%0%0%0%0%0%8%
Qwen 2 72B77%0%0%0%0%0%0%0%0%0%8%
Claude Sonnet 477%0%0%0%0%0%0%0%0%0%8%
GPT-4 Turbo77%0%0%0%0%0%0%0%0%0%8%
MythoMax 13B54%0%0%0%0%0%0%0%0%0%5%
Llama 3.1 405B27%9%9%2%2%0%0%0%0%0%5%
Gemini 2.5 Flash Lite27%9%0%0%0%0%0%0%0%0%4%
Claude 3.7 Sonnet9%9%0%0%0%0%0%0%0%0%2%
Gemini 2.5 Flash9%2%2%0%0%0%0%0%0%0%1%
Magnum v2 72B9%0%0%0%0%0%0%0%0%0%1%
GPT-4.1 Mini0%0%0%0%0%0%0%0%0%0%0%
Claude 3.5 Sonnet (new)0%0%0%0%0%0%0%0%0%0%0%
Z.AI GLM 4.60%0%0%0%0%0%0%0%0%0%0%
Gemma 2 9B0%0%0%0%0%0%0%0%0%0%0%
Phi-3.5 Mini 128k0%0%0%0%0%0%0%0%0%0%0%
Llama 3.2 90B (Vision)0%0%0%0%0%0%0%0%0%0%0%
Claude 2.00%0%0%0%0%0%0%0%0%0%0%
Claude 3.5 Haiku0%0%0%0%0%0%0%0%0%0%0%
Lumimaid v0.2 8B0%0%0%0%0%0%0%0%0%0%0%
MN GRAND Gutenberg Lyra4 12B Madness0%0%0%0%0%0%0%0%0%0%0%
Hermes 2 Theta 8B0%0%0%0%0%0%0%0%0%0%0%
Llama 3 Euryale 70B v2.10%0%0%0%0%0%0%0%0%0%0%
AI21 Jamba0%0%0%0%0%0%0%0%0%0%0%
Phi-3 Medium 128k0%0%0%0%0%0%0%0%0%0%0%
Llama 3.2 3B0%0%0%0%0%0%0%0%0%0%0%
Qwen 2.5 72B0%0%0%0%0%0%0%0%0%0%0%
Claude 3 Haiku0%0%0%0%0%0%0%0%0%0%0%
AI21 Jamba 1.5 Mini0%0%0%0%0%0%0%0%0%0%0%
Rocinante 12B0%0%0%0%0%0%0%0%0%0%0%
Llama 3 70B0%0%0%0%0%0%0%0%0%0%0%
EVA Qwen 2.5 14B0%0%0%0%0%0%0%0%0%0%0%
Qwen 2 7B0%0%0%0%0%0%0%0%0%0%0%
Llama 3 TenyxChat-DaybreakStorywriter 70B0%0%0%0%0%0%0%0%0%0%0%
Claude 3.5 Sonnet0%0%0%0%0%0%0%0%0%0%0%
Gemini Flash 1.50%0%0%0%0%0%0%0%0%0%0%
Gemini Pro 1.50%0%0%0%0%0%0%0%0%0%0%
Gemma 2 27B0%0%0%0%0%0%0%0%0%0%0%
Hermes 3 70B0%0%0%0%0%0%0%0%0%0%0%
Hermes 3 405B0%0%0%0%0%0%0%0%0%0%0%
WizardLM 2 8x22b0%0%0%0%0%0%0%0%0%0%0%
Cohere Command R+ (Apr. 2024)0%0%0%0%0%0%0%0%0%0%0%
Mistral Large0%0%0%0%0%0%0%0%0%0%0%
Mistral Large 20%0%0%0%0%0%0%0%0%0%0%
Ministral 3B0%0%0%0%0%0%0%0%0%0%0%
Ministral 8B0%0%0%0%0%0%0%0%0%0%0%
Mistral Medium0%0%0%0%0%0%0%0%0%0%0%
lzlv 70B0%0%0%0%0%0%0%0%0%0%0%
Claude 3.0 Sonnet0%0%0%0%0%0%0%0%0%0%0%
Goliath 120B0%0%0%0%0%0%0%0%0%0%0%
Mistral NeMO0%0%0%0%0%0%0%0%0%0%0%
Fimbulvetr 11B v20%0%0%0%0%0%0%0%0%0%0%
Llama 3.1 8B0%0%0%0%0%0%0%0%0%0%0%
Llama 3.1 70B0%0%0%0%0%0%0%0%0%0%0%
Llama 3.2 11B (Vision)0%0%0%0%0%0%0%0%0%0%0%
Mistral Nemo 12B Celeste0%0%0%0%0%0%0%0%0%0%0%
AI21 Jamba 1.5 Large0%0%0%0%0%0%0%0%0%0%0%
Liquid: LFM 40B MoE0%0%0%0%0%0%0%0%0%0%0%
Inflection 3 (Productivity)0%0%0%0%0%0%0%0%0%0%0%
Inflection 3 (PI)0%0%0%0%0%0%0%0%0%0%0%
Llama 3.1 Nemotron 70B0%0%0%0%0%0%0%0%0%0%0%
Z.AI GLM 4.50%0%0%0%0%0%0%0%0%0%0%
14.05%

1 sentence summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 9B100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 27B100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%100%100%
WizardLM 2 8x22b100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%100%100%100%100%100%100%
Mistral Large100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Mistral Medium100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 2.0100%100%100%100%100%100%100%100%100%100%100%
Claude 2.1100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Goliath 120B100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 3B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba 1.5 Mini100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba 1.5 Large100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (PI)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%100%100%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Magnum 72B100%100%100%100%100%100%100%100%100%100%100%
Ministral 3B100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 7B100%100%100%100%100%100%100%100%100%100%100%
lzlv 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 1B100%100%100%100%100%100%100%100%100%100%100%
Fimbulvetr 11B v2100%100%100%100%100%100%100%100%100%98%100%
Lumimaid v0.2 8B100%100%100%100%100%100%100%100%100%98%100%
MythoMist 7B100%100%100%100%100%100%100%100%100%98%100%
Magnum v2 72B100%100%100%100%100%100%100%100%98%98%100%
Phi-3 Medium 128k100%100%100%100%100%100%100%100%98%92%99%
Liquid: LFM 40B MoE100%100%100%100%100%100%100%92%77%77%95%
Ministral 8B100%100%100%100%100%100%100%100%100%0%90%
EVA Qwen 2.5 14B100%100%100%100%100%100%100%100%92%0%89%
Mistral Nemo 12B Celeste100%100%100%100%98%98%98%98%92%0%89%
MythoMax 13B100%98%98%92%92%92%77%77%77%54%86%
Toppy M 7B100%100%100%100%100%98%92%77%54%0%82%
Rocinante 12B100%100%100%100%100%98%98%92%0%0%79%
MN GRAND Gutenberg Lyra4 12B Madness100%100%98%77%77%9%2%0%0%0%46%
98.43%

3 sentence summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 9B100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Medium 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%100%100%100%100%100%100%
Mistral Large100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Mistral Medium100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 3B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba 1.5 Large100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (PI)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%100%100%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba 1.5 Mini100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
lzlv 70B100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Goliath 120B100%100%100%100%100%100%100%100%100%100%100%
WizardLM 2 8x22b100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%98%100%
Ministral 3B100%100%100%100%100%100%100%100%100%98%100%
Llama 3.2 1B100%100%100%100%100%100%100%100%100%98%100%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%98%100%
MythoMist 7B100%100%100%100%100%100%100%100%100%98%100%
Claude 2.1100%100%100%100%100%100%100%100%98%98%100%
Ministral 8B100%100%100%100%100%100%100%100%98%98%100%
Lumimaid v0.2 8B100%100%100%100%100%100%100%100%98%98%100%
Claude 2.0100%100%100%100%98%98%98%98%98%98%99%
Hermes 2 Theta 8B100%100%100%100%100%98%98%98%98%92%99%
Gemma 2 27B100%100%100%100%100%100%100%100%100%77%98%
Liquid: LFM 40B MoE100%100%100%100%100%100%100%100%98%77%98%
Magnum v2 72B100%100%100%100%100%100%100%100%98%54%95%
Qwen 2 7B100%100%100%100%100%100%98%98%98%9%90%
Magnum 72B100%100%100%100%100%100%100%100%54%27%88%
Fimbulvetr 11B v292%92%92%92%92%92%92%77%77%77%88%
Rocinante 12B100%100%100%100%100%100%98%98%77%2%88%
MythoMax 13B100%100%100%100%98%92%92%92%77%0%85%
Mistral Nemo 12B Celeste100%100%100%100%100%98%92%92%27%0%81%
EVA Qwen 2.5 14B100%100%100%100%100%100%98%98%0%0%80%
Toppy M 7B98%98%92%92%92%92%77%54%27%9%73%
MN GRAND Gutenberg Lyra4 12B Madness100%54%2%0%0%0%0%0%0%0%16%
97.57%

10 sentence summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%98%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%98%100%
o4 Mini100%100%100%100%100%100%100%100%100%98%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%98%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%98%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%98%100%
Gemma 2 9B100%100%100%100%100%100%100%98%98%98%100%
GPT-4 Turbo100%100%100%100%100%100%100%98%98%98%100%
Fimbulvetr 11B v2100%100%100%100%100%100%100%98%98%98%99%
DeepSeek-V2 Chat100%100%100%100%100%100%98%98%98%98%99%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%92%99%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%92%99%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%98%98%92%99%
Gemini Pro 1.5100%100%100%100%100%100%100%98%98%92%99%
Llama 3.1 8B100%100%100%100%100%100%100%100%92%92%98%
Qwen 2.5 72B100%98%98%98%98%98%98%92%92%92%97%
AI21 Jamba 1.5 Large100%100%100%100%100%98%92%92%92%77%95%
Cohere Command R+ (Aug. 2024)100%98%98%98%98%98%92%92%77%77%93%
Mistral Large 2100%100%98%98%98%92%92%92%77%77%93%
Llama 3.2 3B100%100%100%100%100%100%100%100%98%27%93%
Phi-3 Medium 128k100%100%100%98%98%98%77%77%77%77%90%
Mistral Large100%98%98%92%92%92%92%77%77%77%90%
Phi-3.5 Mini 128k100%100%100%100%98%92%92%77%77%54%89%
WizardLM 2 8x22b100%100%100%98%98%98%98%98%77%9%88%
Cohere Command R+ (Apr. 2024)98%92%92%92%92%92%77%77%77%77%87%
Gemini Flash 1.5100%100%100%98%98%98%98%92%54%27%87%
Gemma 2 27B100%100%100%100%100%100%100%77%77%0%85%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%98%92%92%54%9%85%
Gemini 2.5 Flash Lite100%100%100%100%100%98%92%92%54%0%84%
Llama 3.1 Euryale 70B v2.2100%100%100%98%98%92%77%77%77%0%82%
Llama 3.2 1B100%100%100%100%100%100%98%54%54%9%81%
Phi-3 Mini 128k100%100%98%92%92%92%77%54%54%54%81%
EVA Qwen 2.5 14B100%100%100%100%98%92%77%77%54%2%80%
Hermes 3 405B98%98%92%92%92%92%77%77%77%2%80%
Hermes 3 70B100%100%100%100%92%92%77%54%54%27%80%
Claude 3 Haiku100%100%100%100%77%77%77%54%54%27%77%
Llama 3 Euryale 70B v2.1100%98%98%98%92%92%77%77%9%2%75%
Hermes 2 Theta 8B98%98%92%77%77%77%77%54%54%27%73%
Claude 3.7 Sonnet98%92%92%92%77%77%54%54%54%27%72%
Mistral Medium100%100%100%100%92%92%77%54%0%0%72%
Qwen 2 7B100%98%98%98%92%77%77%54%9%9%71%
Inflection 3 (PI)100%100%100%100%100%92%92%9%9%9%71%
Magnum v2 72B100%98%98%92%77%77%77%77%2%0%70%
AI21 Jamba 1.5 Mini98%98%92%92%92%77%77%54%9%0%69%
Ministral 3B100%100%98%98%92%77%77%27%0%0%67%
MythoMist 7B98%92%77%77%77%54%54%54%27%27%64%
Magnum 72B100%100%100%98%92%77%54%0%0%0%62%
MythoMax 13B100%100%92%77%77%54%54%54%9%0%62%
Inflection 3 (Productivity)100%100%100%100%100%27%27%27%9%9%60%
Toppy M 7B100%100%77%77%77%54%54%27%27%0%59%
MN GRAND Gutenberg Lyra4 12B Madness100%100%100%100%77%54%54%0%0%0%58%
Qwen 2 72B100%98%92%77%77%54%27%27%27%2%58%
Liquid: LFM 40B MoE92%92%92%92%77%54%27%27%9%9%57%
Lumimaid v0.2 8B100%100%92%77%54%54%54%27%9%0%57%
Claude 2.177%77%77%54%54%54%54%54%27%27%55%
Rocinante 12B100%100%92%92%77%27%2%0%0%0%49%
Claude 2.077%54%54%54%54%54%54%27%27%27%48%
AI21 Jamba92%77%54%54%54%54%27%27%9%9%46%
Ministral 8B92%77%77%77%54%27%27%9%0%0%44%
Mistral Nemo 12B Celeste100%98%54%54%27%27%27%27%0%0%41%
Goliath 120B77%54%54%54%54%27%27%27%27%9%41%
Gemini 2.5 Flash98%92%77%54%27%27%9%2%2%0%39%
Mistral NeMO77%77%54%54%54%27%9%9%9%9%38%
lzlv 70B54%54%27%27%27%27%27%9%9%9%27%
84.01%

20 sentence summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%98%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%98%98%100%
Llama 3 70B100%100%100%100%100%100%100%98%98%98%99%
Z.AI GLM 4.6100%100%100%100%100%100%98%98%98%92%99%
GPT-4o Mini (temp=1)100%100%100%100%100%100%98%98%92%92%98%
GPT-4o Mini (temp=0)100%100%98%98%98%98%98%98%92%92%97%
Claude Sonnet 4.5100%100%98%98%98%98%98%92%92%92%97%
Claude 3.5 Sonnet (new)100%100%100%100%100%98%98%98%92%77%96%
Llama 3.1 405B100%100%100%100%100%100%98%98%98%54%95%
Claude Opus 4100%100%100%100%100%100%98%92%77%77%95%
GPT-4.1100%100%100%100%100%100%98%98%98%9%90%
Claude Sonnet 4100%100%100%100%100%98%98%98%98%9%90%
Llama 3.1 8B100%100%100%100%100%98%98%98%77%27%90%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%98%98%98%92%54%54%89%
Mistral Small Creative100%100%100%98%98%98%92%92%54%9%84%
Claude 3.5 Haiku100%100%100%100%98%92%92%77%54%27%84%
Writer: Palmyra X5100%100%100%100%100%100%100%100%0%0%80%
GPT-4 Turbo100%100%98%98%92%92%77%77%54%9%80%
Llama 3.2 11B (Vision)100%100%100%98%98%92%92%77%27%2%79%
Claude 3.5 Sonnet100%100%100%100%100%100%100%27%27%9%76%
Llama 3.1 70B100%100%98%92%92%92%77%54%27%2%73%
Gemini Flash 1.5100%100%98%92%92%77%54%54%27%27%72%
GPT-4o, Aug. 6th (temp=1)100%100%98%92%77%77%77%54%27%9%71%
GPT-4o, May 13th (temp=1)100%100%100%98%92%77%54%54%27%2%70%
GPT-4o, Aug. 6th (temp=0)100%98%98%98%92%77%54%27%27%27%70%
Claude 3.0 Sonnet100%100%100%100%100%100%100%0%0%0%70%
Hermes 3 405B100%100%100%100%100%100%100%0%0%0%70%
WizardLM 2 8x22b100%100%98%98%92%92%77%27%9%2%70%
Gemma 2 27B100%100%100%100%98%98%92%0%0%0%69%
GPT-4.1 Mini100%100%92%92%92%77%54%27%27%0%66%
Z.AI GLM 4.5100%100%100%100%98%77%77%9%0%0%66%
Llama 3.2 3B100%100%100%100%92%54%54%27%27%0%65%
Sao10K L3.1 70B Hanami x1100%100%100%98%98%92%54%0%0%0%64%
Llama 3.2 90B (Vision)100%98%98%92%92%92%27%9%0%0%61%
GPT-4o, May 13th (temp=0)98%92%92%92%54%54%27%27%27%27%59%
Claude Haiku 4.598%92%77%77%77%27%27%27%9%0%51%
Qwen 2 72B100%100%92%92%77%27%9%2%0%0%50%
Fimbulvetr 11B v2100%98%92%77%77%9%0%0%0%0%45%
Llama 3.1 Euryale 70B v2.2100%100%100%98%54%0%0%0%0%0%45%
Qwen 2 7B100%98%92%92%54%0%0%0%0%0%44%
Gemini 2.5 Flash92%92%54%54%54%27%27%9%9%0%42%
Magnum v2 72B100%100%98%98%9%2%0%0%0%0%41%
Llama 3.2 1B100%98%92%77%27%9%2%0%0%0%41%
Rocinante 12B100%100%92%54%54%0%0%0%0%0%40%
Gemini Pro 1.598%92%77%54%27%27%9%9%2%0%40%
Mistral Medium100%100%98%27%27%9%9%2%0%0%37%
Qwen 2.5 72B98%98%54%54%27%27%9%0%0%0%37%
Gemma 2 9B100%92%92%77%2%2%0%0%0%0%37%
Ministral 3B100%98%77%27%27%9%0%0%0%0%34%
Inflection 3 (Productivity)100%100%98%9%0%0%0%0%0%0%31%
AI21 Jamba 1.5 Large100%92%77%27%9%0%0%0%0%0%31%
Mistral Nemo 12B Celeste100%98%98%9%0%0%0%0%0%0%31%
GPT-4.1 Nano100%77%54%54%9%9%2%0%0%0%30%
Claude 3 Haiku100%100%100%0%0%0%0%0%0%0%30%
Mistral Large92%54%54%27%27%27%9%2%0%0%29%
Lumimaid v0.2 8B100%92%54%27%9%2%0%0%0%0%28%
Ministral 8B100%98%54%27%0%0%0%0%0%0%28%
Gemini 2.5 Flash Lite100%100%54%2%0%0%0%0%0%0%26%
Phi-3.5 Mini 128k100%100%27%0%0%0%0%0%0%0%23%
Phi-3 Mini 128k77%77%27%0%0%0%0%0%0%0%18%
Phi-3 Medium 128k77%54%2%2%0%0%0%0%0%0%13%
EVA Qwen 2.5 14B100%27%0%0%0%0%0%0%0%0%13%
Llama 3 Euryale 70B v2.192%27%2%0%0%0%0%0%0%0%12%
Hermes 3 70B100%9%2%0%0%0%0%0%0%0%11%
Magnum 72B54%54%0%0%0%0%0%0%0%0%11%
Inflection 3 (PI)100%0%0%0%0%0%0%0%0%0%10%
Toppy M 7B100%0%0%0%0%0%0%0%0%0%10%
MythoMax 13B92%2%0%0%0%0%0%0%0%0%9%
Cohere Command R+ (Aug. 2024)77%9%2%2%0%0%0%0%0%0%9%
lzlv 70B77%9%0%0%0%0%0%0%0%0%9%
Claude 2.154%9%0%0%0%0%0%0%0%0%6%
Mistral Large 29%2%2%0%0%0%0%0%0%0%1%
MN GRAND Gutenberg Lyra4 12B Madness9%2%0%0%0%0%0%0%0%0%1%
Liquid: LFM 40B MoE9%0%0%0%0%0%0%0%0%0%1%
AI21 Jamba 1.5 Mini2%0%0%0%0%0%0%0%0%0%0%
MythoMist 7B2%0%0%0%0%0%0%0%0%0%0%
Claude 3.7 Sonnet0%0%0%0%0%0%0%0%0%0%0%
Cohere Command R+ (Apr. 2024)0%0%0%0%0%0%0%0%0%0%0%
Hermes 2 Theta 8B0%0%0%0%0%0%0%0%0%0%0%
Claude 2.00%0%0%0%0%0%0%0%0%0%0%
AI21 Jamba0%0%0%0%0%0%0%0%0%0%0%
Mistral NeMO0%0%0%0%0%0%0%0%0%0%0%
Goliath 120B0%0%0%0%0%0%0%0%0%0%0%
52.06%

50 sentence summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%98%100%
o4 Mini High100%100%100%100%100%100%100%100%98%98%100%
Gemini 2.5 Pro100%100%100%100%100%100%98%98%98%77%97%
o4 Mini100%100%100%100%100%100%100%100%92%27%92%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%0%90%
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%0%90%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%98%0%90%
Claude Opus 4.5100%100%100%98%98%98%92%54%54%0%79%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%2%0%0%70%
Claude Sonnet 4.598%98%98%98%77%77%54%27%9%0%64%
Claude 3.7 Sonnet100%100%100%100%100%100%0%0%0%0%60%
Gemini 2.5 Flash Lite100%98%98%92%77%54%54%2%0%0%58%
Hermes 3 405B100%100%100%100%100%0%0%0%0%0%50%
GPT-4.1 Nano100%100%100%77%77%0%0%0%0%0%45%
Gemini 2.5 Flash100%100%98%98%27%9%0%0%0%0%43%
Llama 3.1 8B100%100%100%100%0%0%0%0%0%0%40%
Ministral 8B100%100%100%100%0%0%0%0%0%0%40%
GPT-4.1100%100%98%98%0%0%0%0%0%0%40%
Llama 3.2 90B (Vision)100%100%100%54%0%0%0%0%0%0%35%
Llama 3.2 3B100%100%100%27%0%0%0%0%0%0%33%
GPT-4.1 Mini100%100%54%27%27%0%0%0%0%0%31%
Claude Sonnet 4100%92%77%27%9%0%0%0%0%0%31%
Llama 3.1 70B100%100%100%0%0%0%0%0%0%0%30%
Llama 3.1 Euryale 70B v2.2100%100%100%0%0%0%0%0%0%0%30%
Mistral Nemo 12B Celeste100%92%92%0%0%0%0%0%0%0%28%
EVA Qwen 2.5 14B100%100%0%0%0%0%0%0%0%0%20%
Qwen 2 72B100%100%0%0%0%0%0%0%0%0%20%
Llama 3.2 1B100%100%0%0%0%0%0%0%0%0%20%
Writer: Palmyra X5100%98%0%0%0%0%0%0%0%0%20%
Lumimaid v0.2 8B100%92%0%0%0%0%0%0%0%0%19%
Qwen 2 7B100%77%9%0%0%0%0%0%0%0%19%
Llama 3.1 405B98%54%27%0%0%0%0%0%0%0%18%
Magnum 72B98%54%0%0%0%0%0%0%0%0%15%
Gemma 2 9B98%9%0%0%0%0%0%0%0%0%11%
Rocinante 12B92%9%0%0%0%0%0%0%0%0%10%
Llama 3 70B100%0%0%0%0%0%0%0%0%0%10%
Ministral 3B100%0%0%0%0%0%0%0%0%0%10%
Z.AI GLM 4.577%2%0%0%0%0%0%0%0%0%8%
Claude Opus 454%9%2%0%0%0%0%0%0%0%6%
MythoMax 13B54%0%0%0%0%0%0%0%0%0%5%
Magnum v2 72B54%0%0%0%0%0%0%0%0%0%5%
Claude 3 Haiku27%0%0%0%0%0%0%0%0%0%3%
Gemini Pro 1.59%0%0%0%0%0%0%0%0%0%1%
Gemma 2 27B9%0%0%0%0%0%0%0%0%0%1%
Claude 3.5 Haiku2%0%0%0%0%0%0%0%0%0%0%
Llama 3 TenyxChat-DaybreakStorywriter 70B0%0%0%0%0%0%0%0%0%0%0%
Mistral Medium0%0%0%0%0%0%0%0%0%0%0%
GPT-4o Mini (temp=1)0%0%0%0%0%0%0%0%0%0%0%
Sao10K L3.1 70B Hanami x10%0%0%0%0%0%0%0%0%0%0%
GPT-4o Mini (temp=0)0%0%0%0%0%0%0%0%0%0%0%
Gemini Flash 1.50%0%0%0%0%0%0%0%0%0%0%
Claude Haiku 4.50%0%0%0%0%0%0%0%0%0%0%
Cohere Command R+ (Aug. 2024)0%0%0%0%0%0%0%0%0%0%0%
WizardLM 2 8x22b0%0%0%0%0%0%0%0%0%0%0%
Phi-3.5 Mini 128k0%0%0%0%0%0%0%0%0%0%0%
GPT-4o, May 13th (temp=1)0%0%0%0%0%0%0%0%0%0%0%
MN GRAND Gutenberg Lyra4 12B Madness0%0%0%0%0%0%0%0%0%0%0%
Phi-3 Mini 128k0%0%0%0%0%0%0%0%0%0%0%
Llama 3 Euryale 70B v2.10%0%0%0%0%0%0%0%0%0%0%
Fimbulvetr 11B v20%0%0%0%0%0%0%0%0%0%0%
Mistral NeMO0%0%0%0%0%0%0%0%0%0%0%
GPT-4o, May 13th (temp=0)0%0%0%0%0%0%0%0%0%0%0%
Mistral Large0%0%0%0%0%0%0%0%0%0%0%
AI21 Jamba 1.5 Large0%0%0%0%0%0%0%0%0%0%0%
Qwen 2.5 72B0%0%0%0%0%0%0%0%0%0%0%
Phi-3 Medium 128k0%0%0%0%0%0%0%0%0%0%0%
Hermes 2 Theta 8B0%0%0%0%0%0%0%0%0%0%0%
Hermes 3 70B0%0%0%0%0%0%0%0%0%0%0%
Cohere Command R+ (Apr. 2024)0%0%0%0%0%0%0%0%0%0%0%
Mistral Large 20%0%0%0%0%0%0%0%0%0%0%
GPT-4o, Aug. 6th (temp=0)0%0%0%0%0%0%0%0%0%0%0%
GPT-4o, Aug. 6th (temp=1)0%0%0%0%0%0%0%0%0%0%0%
AI21 Jamba0%0%0%0%0%0%0%0%0%0%0%
lzlv 70B0%0%0%0%0%0%0%0%0%0%0%
MythoMist 7B0%0%0%0%0%0%0%0%0%0%0%
Toppy M 7B0%0%0%0%0%0%0%0%0%0%0%
Claude 2.00%0%0%0%0%0%0%0%0%0%0%
Claude 2.10%0%0%0%0%0%0%0%0%0%0%
Claude 3.0 Sonnet0%0%0%0%0%0%0%0%0%0%0%
Goliath 120B0%0%0%0%0%0%0%0%0%0%0%
GPT-4 Turbo0%0%0%0%0%0%0%0%0%0%0%
AI21 Jamba 1.5 Mini0%0%0%0%0%0%0%0%0%0%0%
Liquid: LFM 40B MoE0%0%0%0%0%0%0%0%0%0%0%
Inflection 3 (Productivity)0%0%0%0%0%0%0%0%0%0%0%
Inflection 3 (PI)0%0%0%0%0%0%0%0%0%0%0%
26.74%

1 paragraph summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3.7 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Magnum 72B100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Medium 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%100%100%100%
Hermes 2 Theta 8B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 70B100%100%100%100%100%100%100%100%100%100%100%
Hermes 3 405B100%100%100%100%100%100%100%100%100%100%100%
WizardLM 2 8x22b100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%100%100%100%100%100%100%
Mistral Large100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Ministral 3B100%100%100%100%100%100%100%100%100%100%100%
Ministral 8B100%100%100%100%100%100%100%100%100%100%100%
Mistral Medium100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
Qwen 2 7B100%100%100%100%100%100%100%100%100%100%100%
lzlv 70B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Toppy M 7B100%100%100%100%100%100%100%100%100%100%100%
Claude 2.0100%100%100%100%100%100%100%100%100%100%100%
Claude 2.1100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Goliath 120B100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Mistral NeMO100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Fimbulvetr 11B v2100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 1B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 3B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba 1.5 Mini100%100%100%100%100%100%100%100%100%100%100%
AI21 Jamba 1.5 Large100%100%100%100%100%100%100%100%100%100%100%
Lumimaid v0.2 8B100%100%100%100%100%100%100%100%100%100%100%
Liquid: LFM 40B MoE100%100%100%100%100%100%100%100%100%100%100%
Magnum v2 72B100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%100%100%100%
Inflection 3 (PI)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%100%100%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 27B100%100%100%100%100%100%100%100%100%0%90%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%100%100%0%90%
MythoMist 7B100%100%100%100%100%100%100%100%100%0%90%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%0%90%
Gemma 2 9B100%100%100%100%100%100%100%100%0%0%80%
MythoMax 13B100%100%100%100%100%100%100%100%0%0%80%
EVA Qwen 2.5 14B100%100%100%100%100%100%100%100%0%0%80%
Mistral Nemo 12B Celeste100%100%100%100%100%100%100%0%0%0%70%
Rocinante 12B100%100%100%100%100%100%0%0%0%0%60%
MN GRAND Gutenberg Lyra4 12B Madness100%100%100%0%0%0%0%0%0%0%30%
97.42%

3 paragraph summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 9B100%100%100%100%100%100%100%100%100%100%100%
WizardLM 2 8x22b100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%100%100%
Mistral Large100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
Mistral Medium100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 3B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%100%100%100%100%100%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Haiku 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%0%90%
Hermes 3 405B100%100%100%100%100%100%100%100%100%0%90%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%100%100%100%100%0%90%
Llama 3.1 8B100%100%100%100%100%100%100%100%100%0%90%
AI21 Jamba 1.5 Large100%100%100%100%100%100%100%100%100%0%90%
Magnum 72B100%100%100%100%100%100%100%100%0%0%80%
Llama 3 Euryale 70B v2.1100%100%100%100%100%100%100%100%0%0%80%
Inflection 3 (PI)100%100%100%100%100%100%100%100%0%0%80%
Gemma 2 27B100%100%100%100%100%100%100%0%0%0%70%
Phi-3 Medium 128k100%100%100%100%100%100%100%0%0%0%70%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%0%0%0%70%
Hermes 3 70B100%100%100%100%100%100%100%0%0%0%70%
Llama 3.1 Euryale 70B v2.2100%100%100%100%100%100%100%0%0%0%70%
Qwen 2 72B100%100%100%100%100%100%100%0%0%0%70%
Magnum v2 72B100%100%100%100%100%100%100%0%0%0%70%
Inflection 3 (Productivity)100%100%100%100%100%100%100%0%0%0%70%
Claude 3.0 Sonnet100%100%100%100%100%100%0%0%0%0%60%
Llama 3.2 1B100%100%100%100%100%0%0%0%0%0%50%
AI21 Jamba 1.5 Mini100%100%100%100%100%0%0%0%0%0%50%
Qwen 2 7B100%100%100%100%0%0%0%0%0%0%40%
Claude 2.1100%100%100%100%0%0%0%0%0%0%40%
Phi-3 Mini 128k100%100%100%0%0%0%0%0%0%0%30%
Toppy M 7B100%100%100%0%0%0%0%0%0%0%30%
Fimbulvetr 11B v2100%100%100%0%0%0%0%0%0%0%30%
Rocinante 12B100%100%100%0%0%0%0%0%0%0%30%
EVA Qwen 2.5 14B100%100%100%0%0%0%0%0%0%0%30%
Hermes 2 Theta 8B100%100%0%0%0%0%0%0%0%0%20%
MythoMax 13B100%100%0%0%0%0%0%0%0%0%20%
AI21 Jamba100%0%0%0%0%0%0%0%0%0%10%
lzlv 70B100%0%0%0%0%0%0%0%0%0%10%
Claude 2.0100%0%0%0%0%0%0%0%0%0%10%
Mistral NeMO100%0%0%0%0%0%0%0%0%0%10%
Lumimaid v0.2 8B100%0%0%0%0%0%0%0%0%0%10%
Liquid: LFM 40B MoE100%0%0%0%0%0%0%0%0%0%10%
MN GRAND Gutenberg Lyra4 12B Madness100%0%0%0%0%0%0%0%0%0%10%
Claude 3.7 Sonnet0%0%0%0%0%0%0%0%0%0%0%
Ministral 3B0%0%0%0%0%0%0%0%0%0%0%
Ministral 8B0%0%0%0%0%0%0%0%0%0%0%
MythoMist 7B0%0%0%0%0%0%0%0%0%0%0%
Goliath 120B0%0%0%0%0%0%0%0%0%0%0%
Mistral Nemo 12B Celeste0%0%0%0%0%0%0%0%0%0%0%
74.73%

5 paragraph summary

0-shot Rule following
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
Claude 3.5 Sonnet100%100%100%100%100%100%100%100%100%100%100%
Claude 3 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini Flash 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemini Pro 1.5100%100%100%100%100%100%100%100%100%100%100%
Gemma 2 9B100%100%100%100%100%100%100%100%100%100%100%
Cohere Command R+ (Apr. 2024)100%100%100%100%100%100%100%100%100%100%100%
Mistral Large100%100%100%100%100%100%100%100%100%100%100%
Mistral Large 2100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Qwen 2.5 72B100%100%100%100%100%100%100%100%100%100%100%
DeepSeek-V2 Chat100%100%100%100%100%100%100%100%100%100%100%
Claude 2.0100%100%100%100%100%100%100%100%100%100%100%
Claude 3.0 Sonnet100%100%100%100%100%100%100%100%100%100%100%
GPT-4 Turbo100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=0)100%100%100%100%100%100%100%100%100%100%100%
GPT-4o Mini (temp=1)100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 70B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 405B100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 11B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.2 90B (Vision)100%100%100%100%100%100%100%100%100%100%100%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Mini100%100%100%100%100%100%100%100%100%100%100%
GPT-4.1 Nano100%100%100%100%100%100%100%100%100%100%100%
o4 Mini100%100%100%100%100%100%100%100%100%100%100%
o4 Mini High100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash100%100%100%100%100%100%100%100%100%100%100%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Flash (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Sonnet 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.5100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%100%100%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%100%100%100%100%
Mistral Small Creative100%100%100%100%100%100%100%100%100%100%100%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
Mistral Medium100%100%100%100%100%100%100%100%100%0%90%
Claude 2.1100%100%100%100%100%100%100%100%100%0%90%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%100%100%100%100%100%100%0%90%
Phi-3.5 Mini 128k100%100%100%100%100%100%100%100%0%0%80%
Cohere Command R+ (Aug. 2024)100%100%100%100%100%100%100%100%0%0%80%
Llama 3.1 8B100%100%100%100%100%100%100%100%0%0%80%
Inflection 3 (Productivity)100%100%100%100%100%100%100%100%0%0%80%
Hermes 3 405B100%100%100%100%100%100%100%0%0%0%70%
WizardLM 2 8x22b100%100%100%100%100%100%100%0%0%0%70%
Qwen 2 72B100%100%100%100%100%100%100%0%0%0%70%
Fimbulvetr 11B v2100%100%100%100%100%100%100%0%0%0%70%
Inflection 3 (PI)100%100%100%100%100%100%100%0%0%0%70%
Sao10K L3.1 70B Hanami x1100%100%100%100%100%100%0%0%0%0%60%
Phi-3 Medium 128k100%100%100%100%100%0%0%0%0%0%50%
Llama 3.2 1B100%100%100%100%100%0%0%0%0%0%50%
Phi-3 Mini 128k100%100%100%100%0%0%0%0%0%0%40%
Llama 3.1 Euryale 70B v2.2100%100%100%100%0%0%0%0%0%0%40%
Toppy M 7B100%100%100%100%0%0%0%0%0%0%40%
Llama 3.2 3B100%100%100%100%0%0%0%0%0%0%40%
AI21 Jamba 1.5 Mini100%100%100%100%0%0%0%0%0%0%40%
EVA Qwen 2.5 14B100%100%100%100%0%0%0%0%0%0%40%
Magnum v2 72B100%100%100%100%0%0%0%0%0%0%40%
Magnum 72B100%100%100%0%0%0%0%0%0%0%30%
Hermes 3 70B100%100%100%0%0%0%0%0%0%0%30%
Llama 3 Euryale 70B v2.1100%100%100%0%0%0%0%0%0%0%30%
Mistral Nemo 12B Celeste100%100%100%0%0%0%0%0%0%0%30%
Gemma 2 27B100%100%0%0%0%0%0%0%0%0%20%
Qwen 2 7B100%100%0%0%0%0%0%0%0%0%20%
MythoMax 13B100%100%0%0%0%0%0%0%0%0%20%
AI21 Jamba 1.5 Large100%100%0%0%0%0%0%0%0%0%20%
Rocinante 12B100%100%0%0%0%0%0%0%0%0%20%
Claude Haiku 4.5100%100%0%0%0%0%0%0%0%0%20%
Hermes 2 Theta 8B100%0%0%0%0%0%0%0%0%0%10%
Mistral NeMO100%0%0%0%0%0%0%0%0%0%10%
Lumimaid v0.2 8B100%0%0%0%0%0%0%0%0%0%10%
MN GRAND Gutenberg Lyra4 12B Madness100%0%0%0%0%0%0%0%0%0%10%
Claude 3.7 Sonnet0%0%0%0%0%0%0%0%0%0%0%
Ministral 3B0%0%0%0%0%0%0%0%0%0%0%
Ministral 8B0%0%0%0%0%0%0%0%0%0%0%
AI21 Jamba0%0%0%0%0%0%0%0%0%0%0%
lzlv 70B0%0%0%0%0%0%0%0%0%0%0%
MythoMist 7B0%0%0%0%0%0%0%0%0%0%0%
Goliath 120B0%0%0%0%0%0%0%0%0%0%0%
Liquid: LFM 40B MoE0%0%0%0%0%0%0%0%0%0%0%
Claude 3.5 Sonnet (new)0%0%0%0%0%0%0%0%0%0%0%
69.46%