公共部门通过小语言模型实现AI落地

关键信息

小语言模型使用数十亿而非数千亿参数，计算资源需求更低，适合本地部署；它们避免将敏感数据发送到外部云服务，并可在无网络环境下运行。

资讯摘要

公共部门机构因严格的隐私法规、有限的互联网接入以及缺乏GPU基础设施，在采用人工智能时面临独特挑战。大型语言模型（LLMs）往往不切实际，因为它们需要集中式云资源并带来合规风险。一项Capgemini研究显示，79%的公共部门领导者担心数据安全问题。

相比之下，小语言模型（SLMs）提供了可行的替代方案：它们可本地部署，计算需求低，并能确保对敏感数据的控制。Elastic的研究指出，65%的公共部门领导者难以实时大规模使用数据。SLMs通过向量搜索和来源验证等智能检索技术，仅调取相关信息，从而实现安全且准确的回答。

资讯正文

在受限的公共部门环境中实现人工智能运营

赞助

与Elastic合作

人工智能热潮已席卷各行各业，公共部门组织正面临加速采用AI的压力。与此同时，政府机构在安全、治理和运营方面面临独特的限制，这使它们区别于私营企业。因此，专为特定用途设计的小型语言模型（SLMs）为在这些环境中实现AI运营提供了有前景的路径。

凯捷（Capgemini）的一项研究发现，全球79%的公共部门高管对AI的数据安全性感到担忧，这一数字是可以理解的，因为政府数据敏感度高，且对其使用有法律义务。正如Elastic的AI副总裁韩晓所说：“政府机构必须非常严格地控制向网络发送的数据类型。这给它们如何思考和管理数据设定了很多边界。”

对敏感信息的控制需求是诸多复杂因素之一，尤其相较于私营部门的标准操作假设，这使得AI部署更加困难。

独特的运营挑战

当私营企业扩展AI时，通常会假设某些条件已经具备，包括持续连接云端、依赖集中式基础设施、接受模型透明度不足，以及对数据流动的限制有限。但对于许多政府机构而言，接受这些条件可能从危险到不可能不等。

政府机构必须确保其数据始终处于自身控制之下，信息可以被核查和验证，并且运营中断要降到最低。同时，它们往往需要在互联网连接有限、不可靠或完全不可用的环境中运行系统。这些复杂性阻碍了许多有潜力的公共部门AI试点项目从实验阶段走向实际应用。“很多人低估了AI的运营挑战，”韩晓表示，“公共部门需要AI能够在各种数据上可靠运行，并且能够扩展而不崩溃。运营连续性常常被低估。一项针对公共部门领导者的Elastic调查显示，65%的人难以实时、大规模地持续使用数据。

基础设施限制加剧了这一问题。政府机构还可能难以获得用于训练和访问复杂AI模型的图形处理器（GPU）。正如韩晓指出的那样：“政府通常不会购买GPU，不像私营企业那样熟悉GPU基础设施的管理。因此，获取GPU来运行模型对许多公共部门来说是一个瓶颈。”

更小、更实用的模型

公共部门的诸多不可妥协的要求使得大型语言模型（LLMs）难以实施。但小型语言模型（SLMs）可以本地部署，提供更高的安全性和控制权。SLMs是专门化的AI模型，通常使用数十亿而非数百亿参数，相比最大的LLMs计算需求低得多。

公共部门无需构建越来越大的模型并将其部署在远程的集中式位置。一项实证研究表明，小型语言模型（SLMs）的表现与大型语言模型（LLMs）相当甚至更优。SLMs能够在不增加运维复杂性的前提下，有效且高效地使用敏感信息。肖这样解释道：‘用ChatGPT进行校对很容易，但在没有网络连接的环境中，要像运行自己的大语言模型那样顺畅却非常困难。’

SLMs是为特定部门或机构的需求量身打造的。数据存储在模型之外的安全位置，仅在查询时才被访问。精心设计的提示词确保只检索最相关的信息，从而提供更准确的回答。通过智能检索、向量搜索和可验证的来源定位等方法，可以构建出满足公共部门需求的人工智能系统。

因此，公共部门人工智能应用的下一阶段可能是将AI工具带到数据所在处，而不是把数据发送到云端。Gartner预测，到2027年，小型专用AI模型的使用频率将是LLMs的三倍。

更强大的搜索能力

‘当公共部门人员听到AI时，他们可能首先想到的是ChatGPT。但我们应该更有雄心，’肖说。‘AI可以彻底改变政府如何搜索和管理其庞大的数据资源。’

超越聊天机器人，AI最直接的机会之一就是显著提升搜索效率。与许多组织一样，公共部门拥有大量非结构化数据——包括技术报告、采购文件、会议纪要和发票。如今的人工智能可以从多种媒体中提取结果，例如可读PDF、扫描件、图像、电子表格和录音，并支持多种语言。所有这些都可以由SLM驱动的系统索引，从而提供定制化的响应，并以任何语言起草复杂的文本，同时确保输出符合法律要求。‘公共部门有很多数据，但他们并不总是知道如何利用这些数据，也不知道其中的可能性在哪里，’肖表示。

更进一步，AI可以帮助政府员工理解他们所获取的数据。‘当今的人工智能能为你提供一种全新的方式来挖掘这些数据的价值，’肖说。一个训练良好的SLM可以解读法律规范，从公众咨询中提取洞察，支持基于数据的决策制定，并改善公众获取服务和行政信息的能力。这将极大提升公共部门的运作效率。

小型语言模型的潜力

聚焦于SLMs意味着讨论的重点从模型的全面性转向效率。LLMs带来显著的性能和计算成本，需要许多公共机构无法负担的专业硬件。尽管需要一定的资本支出，SLMs比LLMs资源消耗更低，因此通常更便宜，也能减少环境影响。

公共部门机构通常面临严格的审计要求，而SLM算法可以被记录和认证为透明的。一些国家，尤其是欧洲国家，还有如GDPR这样的隐私法规，SLM可以设计为满足这些要求。

定制训练数据能产生更精准的结果，减少人工智能容易出现的错误、偏见和幻觉。正如肖所说：“大型语言模型根据其训练内容生成文本，因此它们有一个训练截止日期。如果你询问该日期之后的内容，它们就会产生幻觉。我们可以通过强制模型使用经过验证的来源来解决这个问题。”

通过将数据保留在本地服务器上，甚至特定设备上，也能降低风险。这并不是关于隔离，而是关于战略性自主权，以建立信任、韧性和相关性。

通过优先选择专为本地处理数据环境设计的任务导向型模型，并持续监控性能和影响，公共部门组织可以构建持久的人工智能能力，从而支持现实世界的决策。‘不要从聊天机器人开始；从搜索开始，’肖建议道。‘我们认为的人工智能智能，实际上更多是关于找到正确信息。’

本文由《麻省理工科技评论》的定制内容部门Insights制作，不是由《麻省理工科技评论》编辑团队撰写。内容由人类作家、编辑、分析师和插画师研究、设计和编写，包括调查问卷的撰写及数据收集。可能使用的AI工具仅限于辅助生产流程，并经过严格的人工审核。

深度解析

OpenAI正全力投入打造全自动研究员

独家对话OpenAI首席科学家雅库布·帕霍茨基，探讨该公司新的重大挑战及人工智能的未来。

宝可梦GO如何让配送机器人获得精确到厘米的世界视角

独家报道：Niantic的人工智能衍生公司正在利用玩家贡献的300亿张城市地标图像，训练一种新型世界模型。

来源与参考

1. 原始链接
2. Making AI operational in constrained public sector environments