如何通过一个简单的问题有效的检测 AI 的水平

一个需要特定汉字知识才能回答的问题：

一个汉字具有左右结构，左边是木，右边是乞。这个字是什么？

这个问题看似简单，但实际上需要模型：

1. 理解“左右结构”的概念。
2. 知道“木”和“乞”作为偏旁部首时的写法。
3. 在汉字库中检索符合条件的字。
4. （理想情况下）给出该字的读音。

测试对象及结果：

• 推理模型

  • DeepSeek Reasonenr 满血版：耗时最长，但最终给出了正确答案杚(gài或gǔ)。
  • O3-mini: 耗时33秒，给出错误答案桥

• 蒸馏模型

  • deepseek-r1-distill-llama-70b: 回答错误，给出了槁

• 非推理模型

  • DeepSeek V3：回答错误，给出了柯
  • Grok-2-latest: 回答错误，给出了杞
  • GPT-4o: 回答错误，给出了析
  • QWen2.5-MAX: 回答错误，给出了杆
  • Gemini 2.0 Flash Experimental: 回答错误，给出了কাঠ
  • Gemini 2.0 Pro Experimental： 花了点时间，给出了正确答案杚 (gài)

• 汉语优化模型（Chinese-Optimized Models）：

  • 混元: 能够秒答出杚，但给出了一个不常见的拼音mò。
  • 混元 (联网): 能够秒答出正确答案杚 (gài 或 gǔ)。
  • 通义千问: 回答错误，给出了桜。
  • KIMI (思考+联网): 能够给出杚，但没有提供拼音。
  • KIMI (仅思考): 回答错误，给出了椅。

结论与讨论： 从上面的结果可以看出, 汉语模型对中文支持的会比不是专门为汉语设计的模型强.

• 速度与准确性： 70B 模型在速度上有明显优势，但在准确性上有所欠缺。这可能是由于模型在蒸馏或量化过程中损失了一些知识或推理能力。
• 满血版的潜力： 满血版模型虽然速度慢，但在处理需要深层推理的问题时表现出更高的准确性。
• 联网的优势： 带有联网功能的模型（如混元联网版）通常能够给出更准确、更全面的答案，这表明外部知识库对于处理特定领域问题至关重要。

所以:

• 速度快的都不是满血
• 答错的都是"垃圾"
• 日常使用时, 对于知识类的问题用联网模型优势巨大