工联院大模型测评:360 智脑位列国产第一梯队表现超 ChatGPT
时间 : 2023-07-05 14:45:27   来源 : 雷锋网


(资料图片仅供参考)

近日,中国工业互联网研究院(以下简称 " 工联院 ")针对人工智能大模型在中文工业领域的知识问答能力进行系统性评测。结果显示,360 集团 ( 601360.SH,下称 "360" ) 自研大模型 "360 智脑 " 在多项指标超过 GPT3.5,综合表现位于国产大模型前列。

工联院此次评测选取了工业领域典型的八大行业,集合五大院士,八大 IEEE Fellow 共 13 位顶级专家构成了专家委员会。每个行业抽取客观题和主观题,主观题主要考察基础能力、语句能力、概括能力和逻辑能力四大维度,最终八大行业共计超过 1100 道题,对大模型就行全方位评测。评测对象涵盖 GPT4、GPT3.5、360 智脑、文心一言等国内外具有代表性的头部大模型。

从评测结果可以看出,GPT4 表现最佳,国内大模型表现亮眼,360 智脑在多个行业均处于前列,其中装备制造业和纺织行业更是超过 GPT-3.5,表现优异。

虽然国内大模型在本次评测表现较好,以 360 智脑为代表的国产大模型甚至在部分行业赶超 GPT3.5,但工联院评测报告也指出,国内外通用大模型在工业知识问答领域探索仍处于初级阶段,也缺乏行业针对性训练。

其实,360 近期已经推出一个企业级的 AI 大模型解决方案,基于 360 智脑的能力,综合行业和企业的专业知识库,打造 " 行业化、企业化、垂直化、小型化、专有化 " 企业级大模型,目前已在智慧城市、智慧企服场景下落地应用实践,且双双入选 " 北京市通用人工智能大模型行业应用十大典型场景案例 "。

这不是 360 智脑第一次在第三方评测中表现出优异成绩,早在不久前中文通用大模型基准(SuperCLUE)评测中,360 智脑数次上榜,且多项能力蝉联国产大模型第一。

雷峰网

标签:

相关文章

X 关闭

X 关闭

行业动态