本文深入探讨生成式AI实施过程中的十大挑战,从不良数据、法律监管到技术限制等问题。我们分享实用策略和解决方案,帮助企业在AI驱动的未来中脱颖而出,优化数据管理、遵守新法规,提升计算能力、确保可解释性,同时保护安全与隐私,确保数据伦理,控制成本,并获得高层的支持与承诺。立足于当前,展望未来,企业如何在生成式AI的浪潮中乘风破浪、实现高效发展。
企业计划实施生成式AI应用吗?这确实是个好消息!你可以将自己看作是众多也认识到这项变革性技术潜力的 IT 决策者之一。虽然生成式AI应用有望大幅提高你的企业的业务效率,但它同样带来了一些必须面对和克服的挑战。
以下是实施生成式 AI应用需要面对的前十大挑战,按重要性降序排列。
1. 不良数据
实施生成式 AI应用的首要挑战是数据质量问题。如果不能确信你的数据准确无误、来源清晰,并且安全可靠,那么在开始之前你就已经处于不利地位。
虽然我们似乎已步入 AI 新时代——在这个时代,你最狂野的梦想似乎都能成真——但“垃圾进,垃圾出”这个老话仍然适用。
尽管数据管理可能永远是个挑战,但未来的发展仍然值得期待。自从 15 年前大数据热潮开始,各公司一直在努力理顺自己的数据基础,为构建更宏大的项目打下基础。
对数据管理的投资现在开始为那些投资公司带来回报,他们因为拥有高于平均水平的数据质量,能够立即利用生成式 AI。
2. 法律和监管问题
目前,你可以用 AI 合法做什么、不能做什么还存在一些争议。新的法律和规定正在制定,旨在限制组织使用 AI 的程度。因此,在商业采用 AI 方面,我们正处于一种灰色地带。
欧盟正在推进一项相对严格的法律。这项名为 AI 法案的新法律可能会禁止最危险的 AI 形式,如公共面部识别,并要求公司在使用 AI 进行招聘或大学录取等较不侵入性但仍可能有害的方式前获得批准。
美国在监管 AI 方面正追赶其欧盟同行,因此在 50 个州存在一种狂野西部的心态。乔·拜登总统在十月签署了一项行政命令,指示联邦机构开始制定规则,但这些规则不具有法律效力。
这种法律上的不确定性让大公司感到担忧,他们犹豫是否要投入大量资金来实施可能很快被禁止或严格监管的面向外部的 AI 技术。因此,许多AI应用正针对内部用户开始。
3. 计算能力不足
企业不仅需要强大的 GPU 来训练生成式 AI 模型,还需要用于模型推理。Nvidia 高端 GPU 的巨大需求已远远超过其供应。这对那些有能力在云中购买或租赁 GPU 的大公司以及 Nvidia 的股东来说可能是好事,但对于那些需要 GPU 时间来实施生成式 AI 的中小企业和初创公司来说,则是个挑战。
正如 HPCwire 的编辑 Doug Eadline 所描述的“大型 GPU 挤压”,这种情况短期内不太可能缓解——至少在 2024 年上半年不会。尽管 Nvidia 及其竞争对手正努力开发新的芯片设计,以更有效地训练和运行大型语言模型(LLM),但从设计到生产这些芯片需要时间。
因此,许多公司正在转向运行资源需求更低的小型语言模型,而不是大型语言模型。同时,也有努力通过压缩和量化技术来减小 LLM 的大小。
4. 可解释性和可解读性
即使在生成式 AI 成为企业董事会热议话题之前,可解释性和可解读性就已经是问题。就在五年前,许多公司就已经在深入思考如何应对深度学习——这是一种利用神经网络技术从大量数据中提取模式的机器学习子集。
在很多情况下,即使深度学习能提供更高的准确度,公司也倾向于采用基于简单机器学习算法的系统,原因是他们无法解释深度学习系统是如何得出其结果的。
作为生成式 AI 基础的大型语言模型(LLM)是一种神经网络,当然是在庞大的语料库上训练的——以 GPT-4 为例,其训练数据几乎包括了整个公开的互联网。
这就在解释 LLM 如何得出其答案时带来了巨大挑战。目前还没有直接的方法来应对这个问题。虽然已经有一些方法在出现,但它们相当复杂。这仍然是学术界、企业和政府研发部门积极研究的领域。
5. 准确性和幻觉
无论你的生成式 AI 应用多么出色,它都可能产生“幻觉”,这是该领域的专业术语。一些专家表示,任何被要求生成以前不存在的内容(如句子或图片)的 AI 都可能出现幻觉。
尽管专家们认为幻觉永远无法完全消除,但好消息是幻觉率已经在下降。OpenAI 早期版本的 GPT 错误率约为 20%,现在这个数字估计在 10% 以下。
有一些技术可以减轻 AI 模型产生幻觉的倾向,例如通过将一个 AI 模型的结果与另一个进行比对,这可以将幻觉率降至 1% 以下。减轻幻觉的程度很大程度上取决于实际应用场景,但这是 AI 开发人员必须考虑的问题。
6. 缺乏AI技能
与任何新技术一样,开发人员需要一套新技能来构建它。这在生成式 AI 中尤其如此,它引入了开发人员必须熟悉的许多新技术。但也有一些重要的注意事项。
不用说,将现有数据集接入大型语言模型(LLM),并在不违反法规、伦理、安全和隐私要求的情况下从中获取相关答案,需要一定的技巧。提示工程(prompt engineering)迅速出现,以至于提示工程师已成为 IT 中收入最高的职业之一,根据一项薪资调查,平均薪酬超过 30 万美元。
然而,在某些方面,与过去相比,使用预构建的大型语言模型(如 GPT-4)构建和实施 AI 应用时,生成式 AI 需要的高端数据科学技能反而更少。在这些情况下,一些基本的 Python 知识就足以应对。
7. 安全和隐私
生成式人工智能 (Generative AI) 应用程序依赖于提示来运作。没有输入,就不会产生任何输出。如果没有适当的控制措施,就无法阻止员工使用敏感数据来触发生成式 AI 应用。
例如,去年六月的一份报告发现,有 15% 的员工经常将机密数据粘贴到 ChatGPT 中。包括三星、苹果、埃森哲、美国银行、摩根大通、花旗集团、诺斯洛普格鲁门、威瑞森、高盛和富国银行等许多大型公司已禁止在其公司内使用 ChatGPT。
一旦数据进入大型语言模型(LLM),用户就无法确保数据会在哪里被使用。例如,OpenAI 告诉用户,它使用他们的对话来训练其模型。如果你不希望你的数据最终被纳入模型中,你需要购买企业版许可。网络犯罪分子正在越来越熟练地从模型中提取敏感数据。这是数据泄露被列入开放网络应用安全项目(OWASP)前十大安全风险的原因之一。
即使模型中的数据被锁定,还存在其他漏洞。通过 IP 地址、浏览器设置和浏览历史,生成式 AI 应用可能会收集你的其他信息,包括你的政治信仰或性取向,而无需你的同意,根据 VPN 公司 Private Internet Access 所称。
8. 道德问题
甚至在 2022 年底 GenAI 爆发之前,人工智能伦理领域就在快速发展。然而,现在 GenAI 已成为每个商人 2024 年战略的首要位置,人工智能道德的重要性已大大增加。
许多公司都在努力解决有关实施人工智能的一些更大问题,包括如何应对有偏见的机器学习模型、如何获得同意以及如何确保模型透明和公平。这些都不是微不足道的问题,这就是为什么道德仍然是首要挑战。
德勤是思考人工智能道德问题的行业领导者之一,早在 2020 年就创建了可信赖的人工智能框架,以帮助指导人工智能的道德决策。该指南由德勤人工智能研究所执行董事 Beena Ammanath 牵头,仍然适用于 GenAI。
9. 成本高昂
开发生成式 AI 应用程序的成本可能是一个重要因素。麦肯锡将生成式 AI 成本分为三种类型:采用者,使用预构建的生成式 AI 应用,成本在 50 万到 200 万美元之间;调整者,针对特定用例微调现有的大型语言模型,成本从 200 万到 1000 万美元;制造者,从头开始构建基础模型(如 OpenAI 所做的),成本为 500 万到 2 亿美元。
值得注意的是,训练大型语言模型所需的 GPU 成本只是众多成本中的一部分。在很多情况下,用于训练模型的硬件需求可能不及模型数据推理时的需求。此外,构建生成式 AI 应用还涉及人力成本,尤其是在需要耗时数据标注的情况下。
10. 缺高层承诺
许多高管对构建和部署 AI 解决方案持积极态度,但也有不少人持保留态度。鉴于目前 AI 解决方案的颠覆性,这种犹豫不决并不令人意外。例如,安永最近对金融服务领域技术领导者的调查发现,36% 的人认为,缺乏领导层的明确承诺是采用 AI 的最大障碍。
虽然从生成式 AI 投资中获得的潜在回报巨大,但仍存在不确定性,尤其是在快速变化的定价模式中。HFS Research 的一项调查发现,对于许多人来说,生成式 AI 的投资回报率仍然不确定。
随着 2024 年生成式 AI 的采用激增,公司正在寻求获得竞争优势。最终能够成功的公司将是那些能够克服这些障碍并成功实施合法、安全、准确、有效且成本可控的生成式 AI 应用的公司。