首页 > 舞弊新闻 >

ACFE 资讯分享 | 描述性分析能否通过生成式AI变得触手可及?

2024-05-11

长期以来,对于舞弊调查人员来说,四种主要分析方法中的一种一直被认为是 "空中楼阁"。与描述或诊断已经发生的事情或预测可能发生的事情相比,描述性分析可以告诉我们应该怎么做。随着生成式人工智能和大型语言模型的发展,它可能已经触手可及。


1.png


当我还是四大会计师事务所之一的合伙人时,客户要求我根据分析结果提供建议和指导,告诉舞弊审查员应该如何处理他们的数据。例如,如果分析结果显示供应商付款中存在贿赂和腐败的高风险,软件就会推荐关键步骤、相关公司政策或指导,有时甚至会在进行相关付款之前推荐。从理论上讲,这种方法是可行的,但组合过于庞大,无法预测每一种可能的结果。我们需要更多的数据。早在 2018 年,我们就与通用电气一起接近了 "数字孪生 "概念,但我们仍然无法获得足够的数据来准确预测每种结果。(请参阅"'一损俱损':利用数字孪生预防舞弊、提高合规性》,作者:安永舞弊调查与争议服务部和通用电气高管;编辑:Vincent M. Walden,CFE。Vincent M. Walden,CFE,注册会计师,《反舞弊杂志》,2018 年 1 月/2 月)。我们所追求的是规范性分析。不幸的是,这在当时仍是合规、舞弊预防和检测的一个概念性目标,而非现实目标。


长期以来,Gartner 从分析成熟度的角度描述了企业用于推动决策的四种分析类型(见下图 1)。(见下图 1)最基本的是描述性分析的事后分析,告诉我们已经发生了什么。接下来是诊断性分析,它可以告诉我们事情发生的原因。然后是预测性分析,它告诉我们将会发生什么。最后,我们有了 "画饼充饥 "式的优化分析,它提供了实施或解决某些问题的前瞻性。(参见 Gartner.com)。

2.png

图 1


描述性和诊断性分析

舞弊审查人员对前两种类型相当熟悉和熟悉:描述性分析和诊断性分析。它们包括传统的基于规则的测试、计算机辅助审计技术(CAATS)以及使用电子表格和数据库工具进行的查询,其中包括匹配、查询、过滤和排序,以寻找模式和趋势并控制数据中的薄弱环节。尽管描述性分析和诊断性分析易于使用和快速部署,但其主要困难在于它们主要关注的是过去(这对调查、专家证人或审计很有帮助,但在我们试图预防和发现舞弊活动时则不然)。一旦应用了描述性或诊断性分析方法,舞弊检查人员就需要询问这些趋势或异常现象是如何或为何发生的。

数据之外可能存在哪些压力、机会或合理化因素导致了最初的故障,或者今后可以采取哪些措施来避免故障?


预测分析

随着成熟度曲线的上升,我们有了预测分析技术,它就像它的名字一样,旨在预测可能出现的结果,并根据历史数据做出有根据的预测。在电子发现领域,这种技术在过去的 15 到 20 年间风靡一时,当时调查人员可以找到一些 "热门"、"有回应性 "或 "有特权 "的电子邮件或文档,并使用预测分析(在诉讼、调查和电子发现专业人士中也被称为 "技术辅助审查")来找到统计上相似的文档。在之前的 "创新更新 "专栏中,我演示了如何在美国司法部的一次调查中使用结构化交易数据预测分析来识别高风险供应商付款。(请参阅 "利用技术辅助审查发现可疑交易",《反舞弊杂志》,2022 年 11 月/12 月)。简而言之,预测分析将趋势延伸至未来,以显示可能出现的结果。这是一种更复杂的数据分析,因为它使用概率进行预测,而不是解释现有事实。

统计建模或机器学习通常用于预测分析。它可以回答调查性问题,例如您的支付数据是否包括与您之前确定为舞弊的交易在统计上相似的交易。这就像在说 "给我找更多这样的交易"。

预测分析的主要挑战在于,它所产生的洞察力仅限于数据,而在舞弊风险管理方面,大多数公司通常没有大量的舞弊交易来训练有效的模型。这意味着,小型或不完整的数据集无法像大型数据集那样准确预测。在最近的另一篇《创新更新》专栏中,我介绍了我在麻省理工学院进行的一些反腐败研究,结果表明,当公司合作共享有关第三方支付和高风险、潜在舞弊性交易的信息时,它们预测不当支付的几率要比单独运行每个公司的模型高出 25%。[见《"多 "出 "一"(算法)》,《舞弊》杂志,2023 年 3 月/4 月。]


预设分析

在最高的成熟度级别,我们就可以实现描述性分析。用于舞弊预防和检测的预设分析在我的愿望清单上已经有一段时间了,但我只取得了中等程度的成功。原因就在这里:预设分析法使用各种来源的数据--统计、机器学习、数据挖掘--来识别未来可能出现的结果,并显示最佳选择,同时建议下一步该怎么做。描述性分析是四种分析中最先进(也最困难)的一种,因为它提供的是可操作的见解,而不仅仅是原始数据。它使您能够预见未来的结果或风险,并了解它们发生的原因。在理想状态下,描述性分析还能预测未来决策的效果,包括这些决策可能对业务的不同部分产生的连锁反应。不过,我们还是不要想得太远了。

生成式人工智能和使用大型语言模型 (LLM) 在海量数据的基础上进行训练,以解释和生成类似人类的文本输出,可能正是我们实现预防和检测舞弊的规范性分析的解决方案。

OpenAI 的 ChatGPT 将对话式聊天机器人与LLM 结合在一起,可以即时创建内容,它是一个很好的例子,说明了使用生成式人工智能的LLM 可以被问到任何问题,而回答集是智能的,通常非常有用,甚至可能是规范性的。LLMs 不一定只能从互联网上获取,就像 OpenAI、谷歌、Meta 和其他大型技术公司正在做的那样。LLMs 这些信息也可以是特定领域的信息,例如舞弊风险管理,还可以包括有关贵组织的培训材料、政策、热线数据、合同、ACFE 培训材料、美国司法部和美国证券交易委员会的执法信息,甚至是来自供应商、客户或员工的交易数据。大事即将发生--作为一名反舞弊专业人士,我非常高兴能与您一起进入 2024 年。


规范分析线路图

去年假期期间,我的一个想法让我从椅子上站了起来,也激发了我写这篇文章的灵感。生成式人工智能、机器学习和其他类似的分析技术被炒得沸沸扬扬,我突然意识到,它们就像积木一样可以组合在一起。就像一个三角形。(见下图 2)它不像我们都熟悉和喜爱的著名的克雷西舞弊三角那样酷,但它确实能让我们对事物有一个正确的认识。我称之为 "舞弊风险分析成熟度三角"。其基础是反舞弊测试和控制库。这些测试有上千种,我的朋友和导师大卫-科德雷(David Coderre)在他的《计算机辅助舞弊预防和检测》一书中率先介绍了其中的许多测试,这本书在 20 多年前帮助我开启了职业生涯。随着成熟度的提升,你会看到数据的丰富性。如果你还记得大数据的热潮,你就会记得一切都与融合结构化数据和非结构化数据有关,这些数据描述了组织内数据的数量、种类(即结构化数据和非结构化数据)和速度。作为大数据热潮的一部分,异常检测、模式和链接分析、自然语言处理、数据可视化(例如仪表盘)等无监督学习技术开始流行起来。请记住,所有这些技术都是在过去分析数据的。即使在今天,大多数企业的反舞弊分析能力仍然是描述性的。它们是任何良好计划的基础。因此,它们处于金字塔的底部,但可以做得更多。

3.png

图 2


现在我们进入预测分析。让我们从机器学习开始,这是本文前面探讨过的预测分析的核心。但是,聊天机器人呢?聊天机器人只是用来模拟人类对话的计算机程序。鉴于聊天机器人有两种类型:描述型和预测型,我暂时将它们归入预测分析类别。描述型聊天机器人被称为 "声明型聊天机器人",它根据脚本回复与用户进行基于规则或结构化的对话。可以把它们想象成能处理常见问题的交互式常见问答。更有趣的是预测型聊天机器人,它具有复杂性、交互性和对话性。它们也被称为虚拟或数字助理,使用自然语言处理、人工智能和机器学习来了解行为模式和用户特征。我们熟悉的例子包括亚马逊的 Alexa、苹果的 Siri 和谷歌助手。(请参阅 "什么是聊天机器人?你需要知道的一切》,作者 Shweta 和 Kelly Main,《福布斯顾问》,2022 年 8 月 21 日)。我将聊天机器人纳入我的三角关系中,是因为我认为它们很快就会补充甚至取代用于舞弊预防和检测的 Tableau 或 PowerBI 类型的仪表盘,因为用户将不再需要在仪表盘中点击来点去--他们只需对数据提问,结果和建议就会提供--也许是以仪表盘或其他格式提供。

最后,我们来到金字塔的顶端,进入描述性分析。请记住,只有在完成了许多较低级的描述性和预测性要素之后,才能获得有效的反舞弊规范性分析。根据行业、公司政策、公司风险评估定制LLM ,然后结合十年的监管执法数据、最佳实践指导、舞弊风险管理培训,甚至如前所述的交易数据,如果能在正确的时间和正确的背景下向最终用户提供正确的服务,就能真正推动智能洞察。我将其称为 "规范性智能",但它是最佳的规范性分析。当今商用LLMs 的强大功能和索引能力已开始释放智能响应,让用户知道在遇到某些风险、模式或异常事件时应该怎么做。虽然还不完美,但我看到它在我的几家测试客户中运行良好。我预测,2024 年将是描述性分析在企业中蓬勃发展的一年。


对未来充满激情

尼古拉-特斯拉(Nikola Tesla)有一句名言:当发明家看到自己的一项创造取得成果时,"没有任何一种激动能像这种激动一样穿过人的心灵","这种情绪会让人忘记食物、睡眠、朋友、爱情,忘记一切"。当我围绕生成式人工智能和规范性分析目标规划我的 2024 年创新路线图时,我能感受到特斯拉的热情,尤其是当我在周六晚上坐在这里撰写这篇专栏时。继续创新!

文森特-M-沃尔登(Vincent M. Walden),CFE,注册会计师,是 Kona AI 的首席执行官。Kona AI 是一家人工智能驱动的反舞弊和合规技术公司,围绕腐败、调查、舞弊预防、内部审计和合规监控提供易于使用、经济高效的第三方支付和交易分析软件。他欢迎您的反馈和想法。请通过 vwalden@konaai.com 与 Walden 联系。


原文标题:

Can generative AI give us prescriptive analytics?

作者:

Vincent M. Walden


本文由ACFE China校对翻译,如需转载,请提前告知。