变化显著性追踪器
并非所有排名变化都有意义，有些只是随机噪音。此页面使用统计分析来判断哪些模型评分变动是真实趋势，哪些只是正常波动。
已分析模型
285
显著变化
19
噪音 (不显著)
266
双时间维度
18
这意味着什么
- 19 / 285 个模型的评分变化具有统计显著性--这些是真实的性能变化，不是随机噪音。
- 266 个模型的评分变化在正常波动范围内--不要过度解读这些模型的小幅排名变化。
- 18 个模型在每日和每周两个时间维度上都显示显著变化--这些是最强、最可靠的真实性能变化信号。
- 使用方法：当模型排名发生变化时，先查看此页面。如果未标记为显著，则变化很可能是暂时的噪音。如果确实显著，则模型正在真正地改善或下降。
最显著变化 (按|Z分数|)
真实性能变化
19 个模型的近期评分偏离其历史平均值足以被认为是真实变化（非噪音）。按变化极端程度排序。Z分数衡量变化的异常程度--超过±1.96表示有95%的概率该变化是真实的。
| 模型 | 当前 | Z分数 | 方向 |
|---|---|---|---|
| Claude Sonnet 5Anthropic | 85.2 | 4.24 | 提升 |
| Claude Opus 5Anthropic | 95.1 | 3.87 | 提升 |
| Grok 4.6xAI | 88.8 | 3.46 | 提升 |
| GLM 5.1Zhipu AI | 68.3 | -2.98 | 下降 |
| Gemma 4 31B (free)Google | 75.9 | -2.96 | 下降 |
| GPT-5 MiniOpenAI | 40.5 | -2.72 | 下降 |
| GPT-4o (2024-11-20)OpenAI | 71.2 | 2.52 | 提升 |
| GPT-5 NanoOpenAI | 76.8 | 2.48 | 提升 |
| Grok 4.7xAI | 88.8 | 2.45 | 提升 |
| Claude Opus 5.5Anthropic | 95.1 | 2.45 | 提升 |
| GPT-4.1 MiniOpenAI | 44.2 | -2.36 | 下降 |
| Claude Sonnet 5.5Anthropic | 85.2 | 2.24 | 提升 |
| GLM 5.2Zhipu AI | 68.9 | -2.20 | 下降 |
| Hy3Tencent | 40.0 | -2.13 | 下降 |
| Muse Spark 1.1meta | 40.0 | -2.08 | 下降 |
| Inklingthinkingmachines | 40.0 | -2.08 | 下降 |
| Kimi K2.6Moonshot AI | 47.5 | -2.01 | 下降 |
| Claude Haiku 5.5Anthropic | 69.9 | 2.00 | 提升 |
| Gemini 3.5 Flash LiteGoogle | 79.0 | 1.98 | 提升 |
短期变化 vs. 持续变化
24小时内的排名变化可能只是暂时的。但如果7天内也在变动，那就是真正的趋势。在两个时间维度上都被标记的模型最值得关注--它们代表已确认的持续性能变化。
在两个时间维度上均显著(最强信号)
| 模型 | 评分 | 24小时变化 | 7天变化 |
|---|---|---|---|
| Hy3Tencent | 40.0 | -6 | -16 |
| Muse Spark 1.1meta | 40.0 | -6 | -16 |
| Inklingthinkingmachines | 40.0 | -6 | -17 |
| Inkling Smallthinkingmachines | 40.0 | -5 | -18 |
| Gemini 3.6 FlashGoogle | 40.0 | -6 | -17 |
| Kimi K3Moonshot AI | 40.0 | -6 | -16 |
| Gemini 3.6 Flash (batch)Google | 40.0 | -6 | -17 |
| Muse Spark 1.2meta | 40.0 | -4 | -17 |
| DeepSeek V4 Flash Latest~deepseek | 40.0 | -4 | -17 |
| DeepSeek V4 Flash 0731DeepSeek | 40.0 | -4 | -17 |
| Qwen3.7 FlashAlibaba | 40.0 | -6 | -18 |
| Claude Opus 5 (batch)Anthropic | 40.0 | -6 | -17 |
| Ling 3.0 Flashinclusionai | 40.0 | -6 | -17 |
| LongCat 2.0Meituan | 40.0 | -6 | -17 |
| Kimi K3 (batch)Moonshot AI | 40.0 | -6 | -16 |
| Grok Latest~x-ai | 40.0 | -6 | -16 |
| Aion-3.0-Miniaion-labs | 40.0 | -6 | -16 |
| Aion-3.0aion-labs | 40.0 | -6 | -16 |
仅每日(可能是噪音)
没有仅在每日维度上显著的模型。
仅每周(正在形成趋势)
哪些模型嘈杂、哪些模型稳定?
有些模型天然评分稳定--即使小幅排名变化也有意义。其他模型评分波动较大--需要更大的变化才值得关注。CV%（变异系数）告诉你每个模型的波动程度。越高 = 越嘈杂。
最不稳定模型(最高CV% - 最宽显著性阈值)
| 模型 | 评分 | CV% |
|---|---|---|
| Claude Opus 5.5Anthropic | 95.1 | 40.3% |
| Gemma 2 27BGoogle | 77.4 | 37.5% |
| Claude Sonnet 5.5Anthropic | 85.2 | 35.4% |
| Phi 4Microsoft | 61.0 | 34.2% |
| Gemini 3.6 FlashGoogle | 40.0 | 33.3% |
| MiMo-V2.6-Pro-UltraSpeedXiaomi | 40.0 | 32.5% |
| MiMo-V2.6-ProXiaomi | 40.0 | 32.5% |
| Step 5 PreviewStepFun | 40.0 | 30.8% |
| Claude Opus 5Anthropic | 95.1 | 30.7% |
| MiMo-V2.6-FlashXiaomi | 40.0 | 30.6% |
| Kimi K3Moonshot AI | 40.0 | 28.8% |
| GPT-4OpenAI | 60.0 | 28.7% |
| Mixtral 8x22B InstructMistral AI | 63.4 | 28.3% |
| Llama 3.3 70B InstructMeta | 66.8 | 28.1% |
| Mistral LargeMistral AI | 65.9 | 28.0% |
| Llama 3.1 70B InstructMeta | 63.6 | 27.9% |
| DeepSeek V3DeepSeek | 69.5 | 26.9% |
| Command A+Cohere | 53.2 | 26.6% |
| Command ACohere | 51.6 | 26.6% |
| Mistral Large 2407Mistral AI | 65.9 | 26.2% |
最稳定模型(最低CV% - 最窄显著性阈值)
| 模型 | 评分 | CV% |
|---|---|---|
| GPT-5.2 Pro (batch)OpenAI | 90.5 | 0.0% |
| GPT-5.6 Luna Pro (batch)OpenAI | 89.0 | 0.0% |
| GPT-5.6 Luna (batch)OpenAI | 89.0 | 0.0% |
| GPT-5.6 Terra Pro (batch)OpenAI | 89.0 | 0.0% |
| GPT-5.6 Terra (batch)OpenAI | 89.0 | 0.0% |
| GPT-5.6 Sol Pro (batch)OpenAI | 89.0 | 0.0% |
| GPT-5.6 Sol (batch)OpenAI | 89.0 | 0.0% |
| Gemini 3 Flash Preview (batch)Google | 88.4 | 0.0% |
| Grok 4.20 Multi-AgentxAI | 87.9 | 0.0% |
| Gemini 3.5 Flash (batch)Google | 79.0 | 0.0% |
| GPT-4o (batch)OpenAI | 72.0 | 0.0% |
| GPT-4o-mini (batch)OpenAI | 62.5 | 0.0% |
| Claude Haiku 5.5 (batch)Anthropic | 58.0 | 0.0% |
| Kimi K3.1 ProMoonshot AI | 40.0 | 0.0% |
| Flint (free)recursive | 40.0 | 0.0% |
| MiniMax M3.1 FlashMiniMax | 40.0 | 0.0% |
| DeepSeek V4.1 Flash 1017DeepSeek | 40.0 | 0.0% |
| Glimpseelorian | 40.0 | 0.0% |
| Xing4.0 29B A4B (free)xingchen-agi | 40.0 | 0.0% |
| Beam 1.0 501B A23Breflection | 40.0 | 0.0% |
如何计算显著性
了解我们显著性分析背后的统计方法，帮助您区分真实的性能变化和随机波动。
统计显著性
我们使用95%置信度阈值(|z| > 1.96)的z分数。z分数衡量模型当前评分偏离其历史基准的标准差倍数。只有超过1.96个标准差的变化才被标记为统计显著。
基准评分
基准值是根据每个模型14天波动曲线数据的算术平均值计算的。该滚动平均值平滑了每日波动,提供了检测有意义偏差的稳定参考点。
置信区间
每个模型的95%置信区间计算公式为：基准值 +/- 1.96 x 标准差。落在此范围之外的评分表示统计上有意义的变化。"置信度"列显示 +/- 阈值。
多时间维度分析
每日(24小时)和每周(7天)排名变化分别分析。每日显著性要求排名移动超过3位,每周要求超过5位。在两个时间维度上都显著的模型代表最强、最可靠的信号。
噪音与信号
变异系数(CV%)衡量相对波动性。高CV模型天然评分嘈杂,需要更大的绝对变化才能达到显著性。低CV模型更可预测,因此即使小偏差也可能代表真实变化。
相关
Statistical significance indicates whether a model's rank change represents a real performance shift or is just random noise. We use z-scores with a 95% confidence threshold (|z| > 1.96), meaning a change is only flagged as significant if there is less than a 5% chance it occurred by random variation.
A z-score measures how many standard deviations a model's current score deviates from its historical baseline. It is calculated as (current score - baseline mean) / standard deviation. Values above +1.96 indicate significant improvement, while values below -1.96 indicate significant decline.
The CV% measures a model's relative score volatility. A high CV% means the model's performance fluctuates a lot, requiring larger changes to be statistically significant. A low CV% means the model is very consistent, so even small deviations may represent meaningful shifts. This helps distinguish inherently noisy models from truly changing ones.