芥末堆芥末堆

大模型能答对几道高考数学题?国产九章大模型PK国际GPT-4o

作者:舒克 发布时间:

大模型能答对几道高考数学题?国产九章大模型PK国际GPT-4o

作者:舒克 发布时间:

摘要:又是一年高考时,除文作文题目,其他的题你还能看懂嘛?

又是一年高考时,除文作文题目,其他的题你还能看懂嘛?你也许不懂,但大模型可以!

今天的测试,让国产九章大模型(MathGPT)和GPT-4o一起做今年的数学题,以2024全国甲卷数学高考真题为例,让我们看看结果到底如何。

一、先说结论

【九章大模型(MathGPT)】

选择题12题,做对7题。

填空题4题,做对2题。

九章大模型总分 = 7 * 5分 + 2 * 5分  = 45分 (满分90分)

【GPT-4o】

选择题12题, 正确7题。

填空题4题, 正确1题。

GPT-4o总分 = 7 * 5分 + 1 * 5分  = 40分 (满分90分)

九章大模型作为以数学领域的解题和讲题算法为核心的大模型,在高考数学题目上更胜一筹,比GPT-4o得分更高。同时“点睛”分析也是九章大模型的特色,在解题的同时还拆解了题目的考点,更适合给学习者参考。

但从绝对值的分数来看,两个大模型的整体答题分数都不算太高。大模型做数学题仍是一个难度较大的挑战,短期的模型表现还达不到完美。

二、测试方法说明

1、测试题目:2024年高考全国甲卷数学真题

2、数学解答题的评分考核步骤过程,答题准确与否不易评判,所以只针对有明确答案的选择题和填空题来测试。

3、在测试中我们发现,文本输入格式的不同,会对测试结果造成比较明显的干扰。于是此次测试采用了上传图片文本识别的方式,让大模型识别题目并做题,更能保证结果的公平客观。同时,这种识图的方式也更类似“人类视觉读题”的情况,是对大模型能力的全面考验。

三、选择题,九章大模型、GPT-4o互有胜负

2024年高考全国甲卷数学题共12道选择题,九章大模型和GPT-4o都是有7道正确,但做对的题目不完全相同,互有胜负。

5.png

具体来看几道题:

第2题,九章大模型做对,GPT-4o做错:

原题:

6.png

九章大模型解答:

7.png

GPT-4o解答:

8.png

第9题,九章大模型做对,GPT-4o认为没有正确答案:

原题:

9.png

九章大模型解答:

10.png

GPT-4o解答:

11.png

第10题,九章大模型做错,GPT-4o做对:

原题:

12.png

九章大模型解答:

13.png

GPT-4o解答,答案选择正确,但其中解题对命题①的分析存在错误:

14.png

四、填空题,GPT-4o做对一道,九章做对两道

15.png

具体来看两道题:

第14题,九章大模型和GPT-4o都做对:

原题:

16.png

九章大模型解答:

17.png

GPT-4o解答:

18.png

第16题,九章大模型做对,GPT-4o做错:

原题:

19.png

九章大模型解答:

20.png

GPT-4o解答:

21.png

关于GPT-4o

2024年5月14日,OpenAI宣布推出GPT-4o,GPT-4o在处理速度上提升了高达200%,GPT-4o所有功能包括视觉、联网、记忆、执行代码以及GPT Store等,可以实时对音频、视觉和文本进行推理。

关于九章大模型

学而思九章大模型(MathGPT)是学而思自主研发的,面向全球数学爱好者和科研机构,以解题和讲题算法为核心的大模型。2023 年 11 月,九章大模型成为首批通过备案的教育大模型。

1、本文是 芥末堆网原创文章,转载可点击 芥末堆内容合作 了解详情,未经授权拒绝一切形式转载,违者必究;
2、芥末堆不接受通过公关费、车马费等任何形式发布失实文章,只呈现有价值的内容给读者;
3、如果你也从事教育,并希望被芥末堆报道,请您 填写信息告诉我们。
来源: 芥末堆
芥末堆商务合作:王老师 18710003484
  • 大模型能答对几道高考数学题?国产九章大模型PK国际GPT-4o分享二维码