随着人工智能大模型技术在垂直领域的深度渗透,保险行业作为兼具严监管、强风险敏感与专业知识密集特性的领域,其大模型应用的科学评估成为行业迫切需求。
在此背景下,中央财经大学保险学院、中国精算研究院发布全球首个保险大模型专业评估体系——“CUFEInse”保险领域评测基准(CUFE Insurance Evaluation Suite),该基准开源开放,填补了行业空白,也为保险大模型的规范发展提供了权威工具。
作为全球首个保险大模型专业评估体系,CUFEInse的发布将为学术界提供研究基准,为产业界提供选型依据,推动保险大模型向安全、可靠、高效方向发展。
专业体系多维覆盖,全面评估模型真实能力
CUFEInse遵循“定量为主、专家驱动、多重校验”原则,经行业调研、专家命题、交叉复核、敏感性审查四步严谨流程构建而成,形成覆盖五大核心维度的评估体系:
①保险理论知识:涵盖保险产品、制度原理、精算、法律等学科体系化内容;
②保险行业理解:聚焦对保险市场运作、经营逻辑的实际认知;
③保险安全合规:评估模型对监管政策、职业道德与伦理底线的遵循能力;
④保险智能体应用:考察模型在实际业务场景中的应用适配性;
⑤保险严谨性:关注推理链条完整性、输出稳定性及抗“幻觉”能力。
该基准v1.0版本收录14430道高质量题目,题型包括选择、判断、简答、推理规划等,全面覆盖模型知识储备、推理能力与场景适应性。评分采用“维度等权、子类均衡”策略,一级维度权重均等,二级子类题目分布均匀,确保评估结果的全面性、可解释性与可对比性。
五大技术创新突破,引领行业规范发展
相较于现有金融领域评估工具,CUFEInse实现多维度创新,树立行业新标杆:
①系统化梳理保险学科知识:基于规范学科体系,覆盖保险精算、法律等核心领域,避免知识碎片化;
②优化分类与权重设计:贴合实际业务场景的知识分布与重要性,精准反映模型细分能力差异;
③强化合规与严谨性评估:针对性设置相关维度,契合保险行业严监管、强风险敏感特性;
④融入精算与专业认证内容:确保精算计算的专业性与准确性,评估模型专业人才级知识水平;
⑤适配多尺度模型需求:兼顾超大参数模型与轻量化模型的评估,支持计算效率检测,为产业选型提供参考。
政产学研协同发力,打造行业评估标杆
作为新中国高等院校中最早建立保险系科的学府,中央财经大学在保险与精算领域积淀深厚:拥有我国该学科唯一的教育部人文社科重点研究基地“中国精算研究院”,是全国保险专业学位研究生教育指导委员会秘书处所在单位,保险学、精算学专业多次位居全国评估前列。同时,学校获英国精算师协会全部核心课程及高级课程免试认证、北美精算师协会“卓越精算中心”认证等多项国际权威认可。
依托学科优势,中央财经大学积极推动“政产学研”融合:与行业龙头企业共建产学研基地、博士后联合实习基地,与政府监管部门及国内外高校保持紧密合作。在人才培养上,率先布局“人工智能+保险”领域,2024年与北京理工大学开设全国首个跨校跨专业联合学士学位项目,2025年增设保险专业硕士“人工智能+保险”方向,培养复合型保险科技人才。
此次“CUFEInse”评测基准的发布,正是中央财经大学发挥学科引领作用、联动行业资源的成果。
CUFEInse遵循Apache-2.0协议开源,数据集部分开源发布至GitHub(https://github.com/CUFEInse/CUFEInse)与HuggingFace(https://huggingface.co/datasets/CUFEInse/CUFEInse)。