银行业人工智能应用的风险与治理

---

魏思远 姚辉亚   本文原载于《中国银行业》杂志2021年第4期

当下，人工智能（AI）技术已经逐渐应用于整个银行前中后台业务流程中。一方面，银行业凭借较高的数字化水平和多维度应用场景给人工智能的发展应用提供了优良的“土壤”。另一方面，在银行业盈利模式受到利差收窄、不良率攀升等冲击的影响下，也正需要人工智能技术来助推银行业加速转型，消除其转型发展过程中面临的“痛点”。通过语音识别、图像识别、自然语言处理、机器学习与深度学习等一系列人工智能技术的广泛应用，银行业将在规模化快速分析、精准服务、风险管控等方面焕发出新的生机与活力。

图1：人工智能在银行业前中后业务中的应用举例 

然而，AI算法和技术的快速发展和应用，在为银行带来更高效的运作方式的同时，也带来了一些隐忧，如数据安全、算法风险、隐私保护、社会伦理等等问题。这些风险如果不能妥善处理，可能会带来系统性风险。此外，对AI风险的担忧也限制了银行业在人工智能领域更深层次的探索和创新。因此，银行业亟需深化AI治理，即构建AI的使用原则与共识，并制定一套标准化的AI系统的设计和使用规范，对设计和使用AI系统过程中涉及的相关概念和流程进行定义和指导，从而保障AI被合理规范地使用，更大程度地发挥AI的价值。

从概念上讲，银行业AI治理属于IT治理的一部分（AI技术属于信息技术（IT）的范畴），而银行IT治理并不是一个新鲜的话题。经过几十年的探索和实践，目前业界已经形成了较为完成的治理理论、体系和方法。国际上，美国信息系统审计与控制协会(ISACA)推出了IT管理与控制框架COBIT（Control Objectives for Information & related Technology）、英国政府商务办公室提出的IT服务质量评估体系ITIL（Information Technology Infrastructure Library）等。此外，《巴塞尔协议Ⅱ》（Basel Ⅱ）对银行信息科技风险（简称“IT 风险”，包括信息科技 IT 及信息通讯 ICT 等风险）提出了监管要求。在定义的七类操作风险中，“业务中断或系统错误”与 IT 直接相关，其他几类也与 IT 存在间接关系。《巴塞尔协议Ⅲ》（Basel Ⅲ）在第Ⅱ版基础上对操作风险提出了更高的监管要求。

而在国内，银监会发布的《商业银行公司治理指引》（银监发〔2013〕34号）的第74条明确指出，商业银行应当建立健全组织架构和技术成熟、运行安全稳定、应用丰富灵活、管理科学高效的信息科技体系，确保信息科技建设对商业银行经营和风险管控的有效支持。另外，《商业银行信息科技风险管理指引》（银监发〔2009〕19号）详细列举了商业银行涉及的各种信息科技风险，并对各领域的风险管控工作均提出了明确具体的要求。

然而，作为一种新兴的技术，相比于传统的IT技术，AI技术却有其独特之处。首先，一些AI算法的决策逻辑不像传统程序逻辑那样清晰可见。AI系统使用者只需将相关数据输入AI系统，AI系统就会输出相应的结果，然而其间AI算法是如何进行决策，为什么做特定的决策，即使AI系统的开发者有时也无法完全清晰解释。其次，AI具有智能性，能独立进行学习、归纳、推理、求解等活动。只需要提前设定好目标和规则，提供足够的数据，AI系统便可自行进行相关的智力活动。

正因为AI兼有不透明性和智能性两种特性，如果不对AI系统进行规范，AI便有可能做出违反道德伦常、公平正义，甚至危害社会的行为。因此，AI治理需要更加谨慎，考虑更多的因素。一般来说，这些风险按照是否和技术相关可以分为技术风险和非技术风险两大类。技术风险又可以分为数据风险和算法风险；非技术风险则包括隐私风险和伦理风险。(见下表1)

表1：AI系统涉及的相关风险

表格来源：作者整理

正是由于AI的特性以及可能导致的潜在风险，在运用AI开展银行业务的过程中，需要针对AI制定一套使用原则和使用规范。近年来，各国政府、国际组织、学术机构和企业界都积极参与相关标准的讨论和制定，并发布了多项相关的规范和指引。尽管这些文件出自不同国家的不同机构，其核心观点却非常一致：首先，AI技术的发展和应用要坚持以人为本的原则；其次，AI技术在研发和应用的过程中必须保证AI模型的公平性、透明度、可解释性等。然而，这些人工智能监管的规范和指导文件大部分是原则性、根本性的要求，并没有针对具体金融业务场景和实施流程的操作指导。（见表2）

表2：全球人工智能治理重要文件及内容表格来源：作者整理 

在银行业实际应用人工智能技术的过程中，除了需要依靠上述概括性的原则对人工智能相关活动进行约制，还需要更加细致和明确的操作指引和管理办法来规范人工智能技术的开发和应用。尽管目前相关银行业标准及强制法规尚未正式发布，但我们认为至少可以从以下几个方面采取必要措施，规范银行业人工智能的开发和应用。

第一，借鉴现有银行业风险管理的理念与方法，如可将银行业经典的“三道防线”风险管理理念与模型风险管理（Model Risk Management, MRM）的理论及方法进行有效结合，对AI系统的模型风险形成有效防控。在经典的银行风险体系中，“三道方向”理念要求金融机构建立顺序递进的内部控制三道防线，即一线岗位双人、双职、双责为基础的第一道防线；建立相关部门、相关岗位之间相互监督制约的工作程序作为第二道防线；建立以监督部门全面实施监督反馈的第三道防线，来规范日常经营活动和防控风险。另外，随着大数据和人工智能在风险建模和自动审批的流程中的大规模应用，模型风险从操作风险的一个分支，发展为一种单独的风险类别，模型风险管理（Model Risk Management, MRM）也逐渐形成一套完整理论体系。2011年，美联储在编号SR11-7的同名监管信中发布了关于MRM的监管指南，其中对模型的范围进行了定义和详细解释，并且开始关注人工智能技术带来的准确性、公平性、偏见、歧视、隐私和安全性等新型风险。另外，欧洲中央银行近期发起的“内部模型有针对性的审查（TRIM）”项目，以及前文提及的Basel模型、IFRS 9模型等均提供了MRM的相关指引。

可将二者进行有效结合，对人工智能模型风险形成有效防控。首先可在一线AI模型开发活动中，针对不同的场景和功能，安排不同的团队进行AI模型开发，从而避免一套大而全AI系统全权负责，实现风险分散，作为第一道防线。其次，通过增加AI模型验证环节，并设置专门的模型验证部门对AI模型进行审核和验证，形成第二道防线。最后，由内部审计部门或外部第三方的专业审计机构，对AI模型进行专业审计并反馈意见，形成第三道防线。通过建立AI治理的三道防线，对AI相关的数据、算法等风险进行有效管控。

第二，建立人工复核及兜底机制。2020年4月中国银保监会发布的《商业银行互联网贷款管理暂行办法》第22条明确指出，“商业银行应当建立人工复核验证机制，作为对风险模型自动审批的必要补充。商业银行应当明确人工复核验证的触发条件，合理设置人工复核验证的操作规程。”比如，在贷前审批环节，对接近某一评分附近的审批结果进行人工复核；又如，在运用人工智能处理人脸核身业务时，可定期对审核结果进行人工抽检，从而及时发现和解决AI模型可能存在的未知问题，防范模型风险。

第三，做好人工智能模型的解释工作。根据《关于规范金融机构资产管理业务的指导意见》（银发〔2018〕106 号）第二十三条的相关内容，“金融机构应当向金融监督管理部门报备人工智能模型的主要参数以及资产配置的主要逻辑，为投资者单独设立智能管理账户，充分提示人工智能算法的固有缺陷和使用风险”，银行在运用人工智能开展投顾等业务时，一方面应向监管机构提供全面解释，包括AI系统的解决方案、算法实现原理、模型训练方法等，以及尽量提供额外的解释性资料，如数据治理报告和责任归属说明等。另一方面，考虑到普通投资者缺少AI的相关背景知识，无法理解AI模型运行的内在原理，银行应充分提示人工智能算法的固有缺陷和使用风险，充分保护投资者的知情权和自主决策权，并避免相关的声誉风险。

第四，加强技术创新。银行应加大研发投入，运用技术手段解决AI的数据及隐私风险。如可以通过研究和运用多方安全计算、联邦学习、TEE等隐私计算技术，为人工智能算法提供强有力的安全计算支持，在满足用户隐私保护、数据安全的前提要求下，进行数据使用和建模，防范人工智能的数据及隐私风险。

第五，坚持创新与监管并行发展。银行在通过人工智能技术提供创新产品和服务的同时，也应积极向监管机构提供相应的监管科技解决方案（RegTech），尤其是合规科技方案（CompTech），提供产品的安全性保障，规避隐形黑盒带来的监管盲区，提高创新业务的合规透明度，助力人工智能技术在银行业应用的可持续发展。

综上所述，银行业的AI治理是一个复杂的系统工程，需要监管机构、银行、科研机构等相关方共同形成合力，在借鉴经典的同时，不断开拓创新，推动银行业AI治理能力的进步及相关制度、标准的完善，从而更大程度地实现AI在银行业的应用价值。 

【参考文献】

 [1] Dafoe A. AI Governance: A Research Agenda[J]. Governance of AI Program, Future of Humanity Institute, University of Oxford: Oxford, UK, 2018.

[2] Google. Perspectives on Issues in AI Governance[S]. 2019