https://broadcastchannel-6wd.pages.devhttps://broadcastchannel-6wd.pages.dev/posts/269https://broadcastchannel-6wd.pages.dev/posts/269Fri, 24 Jan 2025 20:02:39 GMT<div> <img src="/static/https://cdn5.telesco.pe/file/ha7FynM5rCkPn2MLdm0yNaF7CK-PAsnyOyBMWT-PDZR1LChnCU4V5OBllvbpTXIx1RgAaKGYX8iTrep_4Ph6Fpf_fn2WowikWvt4iQ49y3kLT_mtkpIW1GmcmlN2PhGbDI_-tPL4mMrSPjSFlORDhakwarGBltWkWyislKKZoW_3g_bWZmMw69igtChXCcYnhb-PYo7VO-pZQO4yPfvY4MDdTxqzOZgNKhd2KkJcl2VoIqIf8cZyhXCjxiPU1_qK-7ba9SQJVGUQ2P6p7l-QlEmqB8jdOLjfHjPtdGGP6kD71p54EX3q9fpj1m8Kt4anzfPX8gu-zlSkFvO39XumQg.jpg" alt="“人类终极考试”基准测试AI表现数据公布根据CAIS（人工智能安全中心）与Scale AI联合发布的测试数据，当前主流AI模型在“人类终极考试”中表现欠佳，准确率均低于10%" loading="lazy" /> </div><b>“人类终极考试”基准测试AI表现数据公布</b><br /><br />根据CAIS（人工智能安全中心）与Scale AI联合发布的测试数据，当前主流AI模型在“人类终极考试”中表现欠佳，准确率均低于10%。其中，<b>DeepSeek-R1以9.4%的准确率和81.8%的校准误差位列第一</b>。GPT-4o（准确率3.3%）、Grok-2（3.8%）、Claude 3.5 Sonnet（4.3%）和Gemini Thinking（6.2%）等多模态模型的综合能力均存在显著短板，校准误差普遍超过89%，表明<b>模型常以高置信度输出错误答案</b>。<br /><br />测试涵盖数学、人文和自然科学等跨学科复杂问题，需多模态信息处理能力。DeepSeek-R1因仅支持文本输入，其数据基于文本子集评估。开发者预测，随着技术迭代，2025年底模型的准确率或突破50%。<br /><br /><a href="/search/%23%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD">#人工智能</a> <a href="/search/%23AI%E6%B5%8B%E8%AF%95">#AI测试</a> <a href="/search/%23%E7%A7%91%E6%8A%80">#科技</a>