Novel outline

Handle questions about the outline of a novel in various formats

Count point of views for Jack and Olivia (indented)

0-shot ToolingUtility
Model Run 1 Run 2 Run 3 Run 4 Run 5 Run 6 Run 7 Run 8 Run 9 Run 10 Total
GPT-4o, May 13th (temp=0)100%100%100%100%100%100%100%100%100%100%100%
Llama 3 70B100%100%100%100%100%100%100%100%100%100%100%
Claude 3.5 Haiku100%100%100%100%100%100%100%100%100%100%100%
Gemini 3 Pro (Preview)100%100%100%100%100%100%100%100%100%100%100%
Claude Opus 4.6100%100%100%100%100%100%100%100%100%100%100%
MoonshotAI: Kimi K2.5100%100%100%100%100%100%100%100%100%100%100%
GPT-4o, Aug. 6th (temp=0)100%100%100%100%100%100%100%100%100%50%95%
Llama 3.1 Nemotron 70B100%100%100%100%100%100%100%100%100%50%95%
Z.AI GLM 4.6100%100%100%100%100%100%100%100%100%50%95%
Writer: Palmyra X5100%100%100%100%100%100%100%100%100%50%95%
GPT-4o, May 13th (temp=1)100%100%100%100%100%100%100%100%50%50%90%
GPT-4o, Aug. 6th (temp=1)100%100%100%100%100%100%100%100%50%50%90%
Qwen 2 72B100%100%100%100%100%100%100%100%100%0%90%
Claude 3.5 Sonnet (new)100%100%100%100%100%100%100%100%50%50%90%
Gemini 2.5 Pro100%100%100%100%100%100%100%100%100%0%90%
Gemini 2.5 Flash Lite100%100%100%100%100%100%100%100%100%0%90%
Z.AI GLM 4.7100%100%100%100%100%100%100%100%100%0%90%
Claude 2.1100%100%100%100%100%100%50%50%50%50%80%
Claude Sonnet 4100%100%100%100%100%100%100%50%50%0%80%
Z.AI GLM 4.5100%100%100%100%100%100%100%100%0%0%80%
Mistral Small Creative100%100%100%100%100%100%50%50%50%50%80%
Qwen 2.5 72B100%100%100%100%100%50%50%50%50%50%75%
GPT-4.1100%100%100%100%100%100%100%50%0%0%75%
Claude Opus 4100%100%100%100%100%100%100%50%0%0%75%
Z.AI GLM 4.7 Flash100%100%100%100%100%100%100%50%0%0%75%
Claude Opus 4.5100%100%100%100%100%50%50%50%50%0%70%
WizardLM 2 8x22b100%100%100%100%50%50%50%50%50%0%65%
Llama 3.2 11B (Vision)100%100%100%100%100%50%50%50%0%0%65%
Magnum v2 72B100%100%100%100%100%100%50%0%0%0%65%
MN GRAND Gutenberg Lyra4 12B Madness100%100%100%100%100%50%50%50%0%0%65%
GPT-4.1 Nano100%100%100%50%50%50%50%50%50%50%65%
Claude 2.0100%100%100%100%100%100%0%0%0%0%60%
Llama 3.1 70B100%100%100%100%100%50%50%0%0%0%60%
Llama 3.1 405B100%100%100%100%50%50%50%50%0%0%60%
o4 Mini100%100%100%100%100%100%0%0%0%0%60%
o4 Mini High100%100%100%100%100%100%0%0%0%0%60%
DeepSeek-V2 Chat100%100%100%100%50%50%50%0%0%0%55%
GPT-4o Mini (temp=0)100%50%50%50%50%50%50%50%50%50%55%
GPT-4o Mini (temp=1)100%100%50%50%50%50%50%50%50%0%55%
Gemini 2.5 Flash100%100%100%100%50%50%50%0%0%0%55%
Gemini 3 Flash (Preview)100%50%50%50%50%50%50%50%50%50%55%
Hermes 3 70B100%100%100%50%50%50%50%0%0%0%50%
Cohere Command R+ (Aug. 2024)100%100%100%50%50%50%50%0%0%0%50%
Claude Haiku 4.5100%100%100%100%50%50%0%0%0%0%50%
Goliath 120B100%100%100%50%50%50%0%0%0%0%45%
Llama 3.2 90B (Vision)100%100%100%100%50%0%0%0%0%0%45%
EVA Qwen 2.5 14B100%100%100%50%50%50%0%0%0%0%45%
GPT-4.1 Mini100%100%100%100%50%0%0%0%0%0%45%
Hermes 3 405B100%100%50%50%50%50%0%0%0%0%40%
Mistral Large 2100%100%50%50%50%50%0%0%0%0%40%
Ministral 3B100%100%50%50%50%50%0%0%0%0%40%
Ministral 8B100%100%100%50%50%0%0%0%0%0%40%
Llama 3 TenyxChat-DaybreakStorywriter 70B100%100%100%50%50%0%0%0%0%0%40%
Llama 3.2 3B100%100%100%50%0%0%0%0%0%0%35%
Claude 3 Haiku100%50%50%50%50%0%0%0%0%0%30%
Gemini Flash 1.5100%100%100%0%0%0%0%0%0%0%30%
Claude 3.0 Sonnet100%100%100%0%0%0%0%0%0%0%30%
Mistral NeMO50%50%50%50%50%50%0%0%0%0%30%
Claude 3.7 Sonnet100%100%50%0%0%0%0%0%0%0%25%
lzlv 70B100%50%50%50%0%0%0%0%0%0%25%
Llama 3.1 8B100%50%50%50%0%0%0%0%0%0%25%
Sao10K L3.1 70B Hanami x1100%50%50%50%0%0%0%0%0%0%25%
Magnum 72B100%50%50%0%0%0%0%0%0%0%20%
Gemma 2 9B50%50%50%50%0%0%0%0%0%0%20%
Gemma 2 27B50%50%50%50%0%0%0%0%0%0%20%
Phi-3.5 Mini 128k100%50%50%0%0%0%0%0%0%0%20%
Hermes 2 Theta 8B100%50%50%0%0%0%0%0%0%0%20%
Qwen 2 7B100%50%50%0%0%0%0%0%0%0%20%
Mistral Nemo 12B Celeste100%50%50%0%0%0%0%0%0%0%20%
Claude 3.5 Sonnet50%50%50%0%0%0%0%0%0%0%15%
Mistral Medium50%50%50%0%0%0%0%0%0%0%15%
Fimbulvetr 11B v250%50%50%0%0%0%0%0%0%0%15%
AI21 Jamba 1.5 Large50%50%50%0%0%0%0%0%0%0%15%
Rocinante 12B100%50%0%0%0%0%0%0%0%0%15%
Phi-3 Medium 128k50%50%0%0%0%0%0%0%0%0%10%
Llama 3 Euryale 70B v2.150%50%0%0%0%0%0%0%0%0%10%
Llama 3.1 Euryale 70B v2.250%50%0%0%0%0%0%0%0%0%10%
MythoMax 13B50%50%0%0%0%0%0%0%0%0%10%
Toppy M 7B50%50%0%0%0%0%0%0%0%0%10%
GPT-4 Turbo100%0%0%0%0%0%0%0%0%0%10%
AI21 Jamba 1.5 Mini50%50%0%0%0%0%0%0%0%0%10%
Liquid: LFM 40B MoE50%50%0%0%0%0%0%0%0%0%10%
Claude Sonnet 4.550%50%0%0%0%0%0%0%0%0%10%
Phi-3 Mini 128k50%0%0%0%0%0%0%0%0%0%5%
AI21 Jamba50%0%0%0%0%0%0%0%0%0%5%
MythoMist 7B50%0%0%0%0%0%0%0%0%0%5%
Llama 3.2 1B50%0%0%0%0%0%0%0%0%0%5%
Lumimaid v0.2 8B50%0%0%0%0%0%0%0%0%0%5%
Inflection 3 (Productivity)50%0%0%0%0%0%0%0%0%0%5%
Gemini Pro 1.50%0%0%0%0%0%0%0%0%0%0%
Cohere Command R+ (Apr. 2024)0%0%0%0%0%0%0%0%0%0%0%
Mistral Large0%0%0%0%0%0%0%0%0%0%0%
Inflection 3 (PI)0%0%0%0%0%0%0%0%0%0%0%
46.45%