快讯 丨《麻省理工科技评论》中国发布大模型评测报告
2023-08-17 21:16:16
|
来源：网易科技报道
(资料图片)
8月16日，《麻省理工科技评论》中国发布中国大模型评测报告，从研发和商业化能力、外界态度以及发展趋势等维度全方位检测大模型的能力。
据悉，此次评测选取了讯飞星火、百度文心一言、商汤商量、阿里通义千问等中文大模型平台代表展开。
评测使用的测试集包含600道题目，覆盖了语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共8个一级大类，126个二级分类，290个三级标签，并针对问题的丰富性和多样性做了优化。
评测整体水平结果显示，前三位分别为：讯飞星火、百度文心一言以及商汤商量，得分率分别为81.5%、75.2%和68.3％，阿里通义千问则以得分率66.9%排名第四。
