04 模型的统筹与质量审核

模型上线前，需要经过一个独立的统筹与质量审核环节。这一环节的主要目的是保障模型“建得对、管得住、不失控”，避免“各自为政建模型、模型之间打架、模型质量参差不齐”等问题。

（一）统筹机制：模型清单与评审委员会

穿透式监管体系中的规则模型不是孤立的，它们共同构成一个模型库。

统筹管理的第一步是建立模型清单。这一步，在模型设计时也应考虑。

模型清单是对全企业所有在运行的规则模型进行登记，包括模型名称、监测风险、责任部门、上线时间、运行状态、预警频率等。

模型清单的作用是让管理层和相关部门掌握“我们有哪些模型在跑”。

在此基础上，建议设立模型评审委员会，由内控合规部门牵头，业务部门、信息化部门、内部审计部门派员参加。

评审委员会的主要职责包括：对新建模型进行立项评审、对模型设计说明书和测试报告进行质量审核、对模型变更和下线进行审批、对模型运行中的重大争议进行裁决。

评审委员会不是常设的行政机构，而是一种工作机制，通过定期会议或专题会议运行。

（二）模型质量审核的要点

质量审核是模型上线前的最后一道关口。审核内容，一般包括四个方面。

1. 合规性审核。模型规则是否符合监管规定和内部制度？是否存在违反法律法规或监管禁令的判定逻辑？例如，模型是否涉及对个人信息的过度采集和使用？是否可能产生歧视性判断？

2. 逻辑合理性审核。规则组合是否逻辑自洽？阈值设定是否合理？是否存在明显的逻辑漏洞或重复？例如，两个模型监测同一风险但规则冲突，一个认定异常、一个认定正常，就需要统筹协调。

3. 数据质量审核。模型依赖的数据源是否可靠？数据质量是否满足模型要求？数据权限是否合规？

4. 预警预期审核。模型上线后预计每天产生多少预警？业务部门是否有能力处理？如果预期预警量过大，可能需要调整阈值或增加复核资源，否则模型上线后就会因“预警疲劳”而失效。

质量审核一般由内控合规部门牵头组织，但应当充分听取业务部门和技术部门的意见。审计部门在模型上线前一般不应参与日常审核，以保持独立性，但可以对审核过程进行监督。

（三）管理标准

统筹与质量审核阶段的管理标准可概括为：模型入库有登记、上线有审批、质量有评审、责任有落实。

任何模型未经评审委员会批准不得上线运行。评审记录应当留存，作为日后效能评价和审计的依据。

举例来说，某央企在建设“违规担保识别模型”时，设计规则为“对外担保金额超过净资产10%即预警”。

在质量审核环节，内控合规部门指出，该规则忽略了担保对象为全资子公司的情形，而这类担保在内部制度中是允许的。

如果直接上线，将产生大量误报。经评审，模型增加了一个豁免条件：担保对象为全资子公司的，不触发预警。这一修改使模型更加精准。

05 模型的运行：线索全流程闭环管理

模型上线后，进入模型运行阶段。

这个阶段，对穿透式监管来说，与模型的设计是同等重要。其必须关注四有——“预警有人管、线索有人查、问题有人改、结果有人评”。

线索全流程闭环管理，也是穿透式监管区别于传统“建了系统没人用”的关键所在。

（一）预警触发与分级分类

模型运行产生预警后，首先要对预警进行分级分类。

分级可以依据风险严重程度、涉及金额、发生频率等维度，将预警分为高风险、中风险、低风险。不同等级的预警对应不同的处置流程和时限要求。

例如，高风险预警，如疑似融资性贸易金额超过5000万元，需要业务部门在24小时内启动核查，并上报管理层；中风险预警如合同异常但金额较小，需要业务部门在3个工作日内完成核查；低风险预警如数据录入异常，可由系统自动提醒或合并处理。

分级分类的目的是合理分配核查资源，避免“眉毛胡子一把抓”。

（二）派单、核查与反馈

预警产生后，系统应自动将任务派发给责任部门和责任人。

这里要明确第一道防线的主体责任：业务部门是预警核查的第一责任主体。

核查人员需要按照系统提示，调取相关业务资料，进行实质判断，并在系统中填写核查结论。

核查结论通常包括确认问题、排除风险、需要进一步核实、建议调整模型等。

核查过程必须留痕。系统应记录核查时间、核查人、核查意见、附件材料、最终结论等，形成完整的证据链。

这既是穿透式监管“可追溯”的要求，也是后续审计和效能评价的基础。

（三）问题整改与闭环

对于核查确认存在问题的预警线索，业务部门需要启动整改。

整改措施可能包括终止违规业务、追回资金、调整业务模式、完善内控制度、追究相关人员责任等。整改情况必须在系统中反馈，由内控合规部门跟踪督办。

闭环的标准是：预警触发、派单核查、确认问题、落实整改、验证整改效果、关闭预警。

任何一个环节缺失，都不能算作闭环。实务中容易出现的问题是“核查了但不整改”“整改了但不验证”，导致预警处置流于形式。

因此，闭环管理必须依靠系统强制留痕和时限控制，不能仅靠自觉。

（四）运行监控与异常处置

模型运行过程中，信息化部门需要监控模型运行的技术状态，例如数据调度是否正常、模型运算是否按时完成、预警派单是否成功等。

如果出现技术故障，需要及时修复。同时，内控合规部门要监控预警处置的及时率和闭环率，对超期未处理的预警进行催办和通报。

（五）管理标准

模型运行阶段的管理标准，也可概括为：预警有人管、核查有留痕、整改有闭环、超期有督办。

具体可设置量化考核指标，如预警处置及时率不低于95%、预警闭环率不低于90%、高风险预警按时响应率100%等。

如某央企“大额资金异常流动模型”上线后，一个月内产生了30条预警。

前两周，业务部门只处理了10条，其余20条长期挂起。内控合规部门通过系统监控发现这一情况后，发出督办通知，并约谈相关业务负责人。

经分析，部分预警未被处理是因为业务部门认为预警“不准确”，但没有在系统中反馈原因。

随后，该企业明确了规则：业务部门如认为预警不准确，也必须在系统中填写“排除风险”及理由，否则视为未处理。

这一机制倒逼业务部门认真对待每一条预警，模型运行效率明显提升。

06 模型的迭代改进与效能评价

规则模型不是一成不变的。随着业务变化、监管政策调整、风险手法翻新，模型需要持续迭代。同时，模型是否真正有效，需要定期进行独立评价。

迭代改进与效能评价，是规则模型生命周期的“反馈回路”，也是其持续保持活力的关键。

（一）效能评价的维度

模型效能评价主要回答几个问题：模型有没有发现风险？有没有漏掉风险？有没有误报太多？有没有产生预期价值？

1. 有效性方面，模型上线后是否发现了真实的风险问题？可以通过统计模型预警中确认问题的比例来评估。例如，如果虚假贸易模型预警了100条，经核查确认存在虚假贸易的有30条，那么模型预警准确率为30%。

准确率并非越高越好，因为过度调高阈值可能漏掉风险，需要结合漏报情况综合判断。

2. 漏报情况方面，可以通过事后审计、风险事件复盘等方式，检验模型是否有漏报。

例如，某笔虚假贸易最终被外部审计发现，但模型当时没有预警，说明模型存在漏报，需要分析原因并改进规则。

因此，从某种角度，漏报率这个指标，比准确率这个指标更重要。

3. 误报情况方面，误报率过高会导致业务部门疲于应付，甚至对模型失去信任。需要分析误报的原因，是阈值问题、数据问题还是规则设计问题。

4. 运行成本方面，模型产生的预警量和处理工作量是否在可承受范围内？是否需要增加资源或优化规则？

5. 价值贡献方面，模型发现的风险是否得到了有效整改？是否避免了损失或追回了资金？这些是衡量模型价值的重要维度。

（二）评价的组织与分工

效能评价应当由独立于模型运行和管理的部门来执行。在央企治理框架下，内部审计部门是执行模型效能评价的合适主体。

审计部门不参与模型建设、不负责预警处置，能够保持独立性。

审计部门可以定期（如每年一次）对重点模型进行效能评价，形成《模型效能评价报告》，指出模型存在的问题和改进建议。

评价结果应提交管理层和模型评审委员会，作为模型迭代、调整或下线的依据。

业务部门和内控合规部门也可以在运行过程中提出优化建议。例如，业务部门在核查中发现某条规则与实际业务严重不符，可以发起“模型优化申请”，经评审委员会批准后调整规则。这种日常优化与定期独立评价相结合，构成完整的反馈机制。

（三）迭代改进的流程

模型的迭代改进应当遵循变更管理流程，不能随意在生产环境中修改。一般流程为：提出变更申请、影响评估、评审审批、开发测试、上线发布、效果跟踪。

提出变更申请由业务部门、内控合规部门或审计部门提出，说明变更理由和期望效果。影响评估由信息化部门评估技术可行性，内控合规部门评估合规影响，业务部门评估业务影响。

评审审批提交模型评审委员会审批，重大变更报管理层批准。开发测试按照变更内容进行开发或配置，并进行充分测试。上线发布经测试通过后上线，并更新模型清单和文档。效果跟踪在变更上线后，跟踪运行效果，确认是否达到预期。

（四）管理标准

模型迭代与效能评价阶段的管理标准可以概括为：定期评估、独立评价、变更受控、持续改进。

具体标准至少包括：重点模型每年至少进行一次独立效能评价；模型变更必须走变更管理流程；对长期低效或失效的模型应当及时调整或下线。

如，某央企“招标采购围串标模型”上线初期效果良好，但运行一年后，审计部门在效能评价中发现模型预警数量大幅下降，而同期外部投诉和举报却有所增加。

经分析，原因是部分供应商开始采用更隐蔽的围串标手法，原有规则已无法识别。审计部门建议引入“投标文件机器码比对”“报价呈规律性差异”等新规则。

该建议经评审委员会批准后实施，模型预警能力明显恢复。这一案例说明，模型必须持续迭代，才能跟得上风险变化。

小结一下：规则模型的全生命周期管理，是穿透式监管体系建设和运行的一条主线。从选题、设计、开发、审核到运行和迭代，每一个环节都有其独特的任务、责任主体和管理标准。将这些环节串联起来，就形成了一条完整的价值链：从风险识别到规则设计，从技术实现到质量把关，从预警处置到问题整改，从效能评价到持续优化。

在这个过程中，三道防线的职责是动态地嵌入到生命周期的不同环节中。第一道防线是风险场景的提出者、预警线索的核查者和问题整改的执行者；第二道防线是规则模型的统筹者、质量审核者和运行督导者；第三道防线是模型效能和体系有效性的独立评价者。数据/科技部门则是全生命周期的技术使能者，为各环节提供平台、数据和工具支撑。

【全文完】

作者介绍：陶光辉，律师、高级经济师、法学院客座教授，中国管理科学学会理事、中国人工智能学会会员等。擅长领域：穿透式监管、风险管控数智化升级，治理风险与合规（GRC）、法治央企建设等。