建立以实践为标准的人工智能评价体系

  2025年8月,国务院印发《关于深入实施“人工智能+”行动的意见》,提出“建立健全模型能力评估体系,促进模型能力有效迭代提升”,为人工智能评价体系改革指明了方向、提供了遵循。当前,人工智能正在加快进入生产生活各领域,如何客观评价其真实能力,关系人类对智能的认识、国家的创新方向和人民群众的切身利益。实践是检验真理的唯一标准,人工智能究竟具备怎样的能力、能否创造实际价值,最终要由实践来检验。

  现阶段,人工智能竞争正由比拼单个模型能力转向比拼整个系统。与此同时,全球各类大模型评测榜单不断涌现。如何在标准化测试与实际使用之间建立更加客观、可靠的评价尺度,已经成为人工智能评价必须回答的问题。评价的价值,不在指标本身,而在于能否解决实际问题。无数实际问题的解决汇聚起来,就是生产力的提高和人民生活的改善。以实践检验人工智能,既要考察其在具体场景中能否完成任务、成本是否合理、风险是否可控,也要衡量其对生产效率和民生福祉的实际贡献,这正是科技评价坚持实效、贡献导向的具体体现。评价一旦脱离实践,产业发展和社会生活中的真实需求就会得不到充分回应。

  以实践为标准评价人工智能,不仅是技术问题,更关系到认识的深化、创新方向的选择和民生福祉的改善。从认识的规律看,实践检验是认识进步的根本途径。评价人工智能也不例外,其把几千年来人类积累的文字和经验压缩进模型。模型能否推动认识的进步,要看它在人类尚未解决的问题上能走多远。越向知识和技术前沿迈进,实践的检验作用就越突出。

  从国家发展的需要看,科技评价是引导创新方向的指挥棒,立足国情确立评价标准,是实现高水平科技自立自强的内在要求。从技术规律看,模型性能随参数、数据和算力投入的增加而提升,偏重能力高低的榜单评价与这一规律相互强化,推动全球人工智能形成重规模、重算力的发展模式。然而,扩大规模并非提升能力的唯一路径。近年来的研究和实践表明,同等能力所需的模型规模和算力成本在快速下降。衡量人工智能的发展水平,既要看能达到多高的能力,也要看为此付出多大的代价。把效率和成本纳入评价,引导人工智能从规模竞争转向效率竞争、价值竞争,才能把创新方向的选择权握在自己手里。

  从民生福祉的改善看,人工智能评价要把群众的获得感作为重要标尺。当人工智能应用于乡镇卫生院问诊、小微企业报税和农业病虫害识别时,能否准确理解方言表达、适用现行政策、辨识本地作物及其病害,直接关系人民群众切身利益,而这些具体能力往往难以由通用榜单充分反映。建立客观可信的评价,基层单位和公众才不必在使用中反复试错,进而规避相应的成本和风险,真正适用、可靠的产品才可以得到识别和推广。

  当前,对人工智能能否完成具体任务的检验已经普遍开展,但这些评价标准和方法尚不统一。人工智能为一个行业带来多少效率提升、对国家发展和人民生活改善作出多大贡献,则更缺少系统衡量。确立实践标准,需要从评价具体应用、评估行业成效、衡量整体贡献三个层面完善评价体系。

  评价具体应用,功夫要下在真实场景中,标准要定在实际成效上。模型投入使用后,往往与行业数据、业务规则、工具系统和人工复核共同构成完整系统,评价的对象应当是整个系统而不是单个模型,评价的过程应当贯穿采购、验证和运行全过程而不是一次测试或一场演示。高风险领域应当实行受控验证并作为准入条件,投产后应当依据实际运行数据持续监测,使产品选择和项目验收建立在真实效果而非榜单排名、厂商演示和纸面指标之上。

  评估行业成效,要算整体账、长远账,以生产和服务全面增效为准绳。不同行业的业务流程、质量要求和风险边界各不相同,应在相关部门指导下,由行业组织牵头、龙头企业和专业机构参与,建设本行业的真实任务库,脱敏入库、保密轮换,既评任务完成度也评单位成本。

  衡量整体贡献,应把人工智能对国家发展和民生福祉的贡献纳入统计核算,做到心中有数、引导有据。我国已经建立数字经济核心产业的统计核算,人工智能对劳动生产率、就业结构、公共服务影响的统计监测可以在此基础上起步。宏观层面的衡量,既要看能力提升带来的产出增长,也要看算力消耗、应用成本和普惠程度。

  上述三个层面相互贯通,检验结果向上汇聚为行业和国家的判断,再向下引导研发方向和资源配置,评价体系才能真正发挥指挥棒作用。


来源:光明网