Cisco 加速生成式 AI 在 Amazon SageMaker 的应用

关键要点

本文探讨了Cisco如何利用AmazonSageMaker增强其生成式AI能力，特别是在Webex平台上的应用。Cisco通过将其大型语言模型（LLM）迁移到SageMakerInference，优化了AI/ML基础设施，提升了速度、可扩展性和性价比。以下是文章的主要内容：

• Cisco在业务中应用生成式AI的案例与结果
• 如何通过SageMaker Inference 加速生成式AI的使用
• Cisco的生成式AI推理架构
• Cisco在生成式AI方面的贡献与SageMaker Inference的合作

Cisco的Webex是云端协作解决方案的领先提供商，提供视频会议、通话、消息、事件、投票、非实时视频以及客户体验解决方案等。Webex致力于提供包容性的协作体验，通过人工智能（AI）和机器学习（ML）消除地理、语言和技术熟悉度等障碍，保障安全与隐私。Webex与全球顶尖的商业和生产力应用程序（如AWS）合作。

Webex AI (WxAI)团队在提高这些产品的AI驱动功能中扮演着至关重要的角色，利用大型语言模型（LLMs）提高用户的生产力和体验。在过去一年中，WxAI团队致力于构建由LLMs驱动的AI功能，主要应用于WebexContactCenter，这是一个云端多渠道联络中心解决方案，帮助组织提供卓越的客户体验。通过整合LLMs，WxAI团队实现了智能虚拟助手、自然语言处理（NLP）及情感分析等高级功能，使Webex联络中心能够提供更个性化和高效的客户支持。

然而，随着这些LLM模型庞大到数百GB，WxAI团队在资源配置和应用程序启动方面面临挑战。为优化AI/ML基础设施，Cisco将其LLMs迁移至 ，从而提升速度、可扩展性及性价比。

本文着重介绍了Cisco如何实施新功能，并将现有工作负载迁移到AmazonSageMaker推理组件以适应其特定行业的联络中心用例。通过整合生成式AI，他们可以分析通话记录，更好地理解客户痛点并提升代理效率。此外，Cisco也应用生成式AI来提取关键通话驱动因素，优化代理工作流程，并深入了解客户的情感需求。通过采纳SageMakerInference，Cisco成功简化了其联络中心的运营，并提供满足客户需求的个性化互动。

生成式AI增强协作和客户参与：Webex的AI驱动解决方案

会议总结与洞察

在WebexMeetings中，平台利用生成式AI自动总结会议记录和文本，从中提取关键要点和行动事项，确保分散的团队即使错过实时会议也能保持信息同步。AI生成的总结提供了重要讨论和决策的简要概述，帮助员工快速了解内容。此外，Webex的生成式AI能力为会议内容提供智能洞察，包括识别行动事项、突出关键决策，并生成个性化的会议记录和待办事项列表。这些洞察帮助提高会议的效率，并使与会者对进展负责。

增强联络中心体验

Webex还将生成式AI应用于其联络中心解决方案，以便实现客户与代理之间更自然的交互。AI可以对客户的询问生成上下文相关、具同情心的回应，还能自动撰写个性化电子邮件和聊天消息。这帮助联络中心的代理更高效地工作，同时保持高水平的客户服务。

Webex客户在生成式AI的帮助下取得积极成果

Webex的生成式AI应用为客户带来了切实的好处。使用平台的AI驱动会议总结和洞察的客户报告显示出生产力提升。使用生成式AI的联络中心客户成功处理了数以万计的通话，客户满意度不断提高，处理时间也有所减少，使代理和客户之间的对话更加自然和富有同理心。

如需了解Webex如何利用生成式AI增强协作与客户参与，请参阅 。

使用SageMaker推理优化Cisco的资源

Cisco的WxAI团队致力于提供基于最前沿机器学习的先进协作体验。该团队为Webex生态系统开发了一整套AI和ML功能，包括背景噪声消除和扬声器声音优化的音频智能能力、转录和翻译的语言智能，以及虚拟背景等视频智能特性。WxAI的创新前沿是 ，它提供语音激活控制和多语言无缝会议支持。为了构建这些先进的功能，WxAI利用了存储数百GB训练数据的LLMs。

最初，WxAI将LLM模型直接嵌入运行于 （AmazonEKS）的应用程序容器映像中。然而，随着模型越来越大且复杂，该方法面临显著的可扩展性和资源利用挑战。通过应用程序操作资源密集型的LLMs需要大量的计算资源，这导致资源分配和应用程序启动等流程变慢，也妨碍了WxAI团队迅速开发、测试和部署新AI驱动功能。为了应对这些挑战，WxAI团队转向了SageMakerInference——一种完全托管的AI推理服务，它允许与使用它们的应用程序独立的无缝模型部署和扩展。通过将LLM托管与Webex应用程序解耦，WxAI能够为模型配置必要的计算资源，而不影响核心的协作和通信能力。

“应用程序与模型在工作和扩展的方式上存在根本不同，成本考量也完全不同；通过将二者分离而不是混合在一起，独立解决问题要简单得多。”

– Travis Mehlinger, Cisco首席工程师。

这种架构的转变使得Webex能够在其协作和客户互动解决方案中充分发挥生成式AI的潜力。

解决方案总览：通过迁移到SageMaker推理提升效率和降低成本

为了应对将LLMs直接嵌入应用程序中所面临的可扩展性和资源利用挑战，WxAI团队迁移至SageMakerInference。借助这一完全托管的LLM部署服务，Cisco解锁了显著的性能和成本优化机会。主要收益包括能够在单个端点后部署多个LLMs，以加快扩展速度和改善响应延迟，以及节省成本。此外，WxAI团队实施了LLM代理，以简化Webex团队对LLMs的访问，启用集中数据收集，减少运营开销。通过SageMakerInference，Cisco能够高效管理和扩展其LLM部署，充分发挥生成式AI的潜力，同时保持最佳性能、可扩展性和成本效益。

以下图表展示了WxAI在AWS上的架构。

删除)

该架构建基于强大而安全的AWS基础：

• 该架构使用AWS服务，如 、 和EKS集群，实现无缝的流量接入、威胁缓解和容器化工作负载管理。
• LLM代理（在EKS pod中作为Service VPC的一部分部署的微服务）简化了Webex团队对LLMs的集成，提供简化的接口并减少运营开销。LLM代理支持在SageMaker推理、Amazon Bedrock或其他LLM提供者上进行LLM部署。
• 该架构使用SageMaker推理进行优化模型部署、自动扩展和路由机制。
• 系统集成了Loki用于日志记录， 用于指标监控，以及Grafana用于统一可视化，并与Cisco SSO无缝集成。
• 数据VPC存放数据层组件，包括 用于缓存和 （Amazon RDS）用于数据库服务，实现高效数据访问和管理。

用例概述：联络中心主题分析

WxAI团队的一个关键关注点是增强Webex联络中心平台的能力。一个典型的Webex联络中心安装有数百名代理，通过电话和数字渠道处理大量交互。Webex的AI驱动的主题分析功能通过分析聚合的历史交互来提取客户来电的主要原因，并将它们聚类成有意义的主题类别。如以下截图所示，联络中心管理员可以使用这些洞察来优化运营，提高代理表现，从而提供更满意的客户体验。

删除)

主题分析功能由三个模型组成：通话驱动因素提取模型、主题聚类模型以及主题标记模型，概述如下。

删除)

模型详细信息包括：

• 通话驱动因素提取 - 该生成模型总结客户来电的主要原因或意图（称为“通话驱动因素”）。自动准确标记通话驱动因素有助于联络中心监督员和管理员快速了解历史通话的主要原因。选择合适的模型以平衡质量与运营成本是解决该问题时的一项关键考虑。WxAI团队选择了 模型，并对其进行指令微调，以提取通话记录的通话驱动因素。FLAN-T5是一种强大的文本-文本转换模型，能够执行多种自然语言理解和生成任务。该工作负载的全球部署覆盖了us-east-2、eu-west-2、eu-central-1、ap-southeast-1、ap-southeast-2、ap-northeast-1和ca-central-1的AWS区域。
• 主题聚类 - 虽然自动为每次联络中心交互标记通话驱动因素本身就是一项有用的功能，但对这些通话驱动因素进行聚合分析能够揭示更多有趣的趋势与洞察。主题聚类模型通过为每个通话驱动因素创建语义嵌入，并采用在向量嵌入上运行的无监督层次聚类技术来实现这一目标，形成清晰且连续的主题聚类，其中语义相似的通话驱动因素被聚集在一起。
• 主题标记 - 主题标记模型是一个生成模型，为每个主题聚类创建描述性名称作为标签。在数个LLMs中进行提示调优并在少量示例中评估后，选定了适合标签生成任务的理想模型。最终，选择了 ，因其更好地捕捉自然语言对话的上下文细微差别及语义的准确性、性能以及性价比。此外，Llama2-13b-chat在保持相对较低的运营成本的同时部署于SageMaker推理组件，利用具体的硬件如 和 。

该解决方案还利用了SageMaker的自动扩展能力，根据预设的最小1个端点和最大30个端点数量动态调整实例数量。这种方法有效利用资源，同时维持高吞吐量，使WxAI平台能够在高峰时段每分钟处理数百次推论并在夜间处理批量工作。通过在SageMaker推理中采用自动扩展，WxAI团队能够为其主题分析用例向客户交互提供可靠且准确的反馈。

通过准确识别通话驱动因素，系统能够为代理提供适当的行动建议、资源和后续步骤，简化客户支持过程，从而进一步提供个性化和准确的客户响应。

为了应对波动的需求并优化资源利用，WxAI团队对SageMaker推理端点实施了自动扩展。他们根据GPU利用率配置端点，使实例数量从最小数量扩展到最大数量。此外，LLM代理在不同的LLMs之间路由请求，该代理抽象了与各种LLM供应商沟通的复杂性，并启用了集中数据收集与分析，从而提升了生成式AI工作流的效率，优化了延迟及个性化的用例实施。

益处

通过战略性地采用AWS AI服务，Cisco的WxAI团队实现了显著的益处，促使他们更快速和成本效益地构建先进的AI驱动协作能力：

• 改善开发与部署周期时间 - 通过将模型与应用程序解耦，团队简化了诸如Bug修复、集成测试和跨环境的功能发布等过程，加速了整体开发速度。
• 简化工程与交付 - 应用层与资源密集型模型层之间明确的关注点分离使工程工作和交付变得更简单，团队能够专注于创新而非基础设施复杂性。
• 降低成本 - 通过使用像SageMaker推理这样的完全托管服务，团队减少了基础设施管理开销。此外，异步推理和多模型端点等功能使得在不妨碍性能或可用性的情况下实现显著的成本优化成为可能。
• 可扩展性与性能 - SageMaker推理和Amazon Bedrock等服务，结合NVIDIA Triton推理服务器等技术，使WxAI团队能够可靠地扩展他们的AI/ML负载，并为要求高的用例提供高性能推理服务。
• 加速创新 - 与AWS的合作让WxAI团队获得了尖端AI服务和专业知识，能够快速原型化和部署先进功能，例如AI驱动的Webex助手和先进的联络中心AI特性。

Cisco对SageMaker推理的贡献：增强生成式AI推理能力

在成功迁移至SageMaker推理的基础上，Cisco在与SageMaker推理团队的合作中发挥了重要作用，推动了SageMaker平台中关键生成式AI能力的构建与增强。自生成式AI兴起以来，Cisco为SageMaker推理团队提供了宝贵的建议和专业知识，使得多个新功能和优化得以引入：

• 生成式AI推理的成本与性能优化 - Cisco帮助SageMaker推理团队 ，优化加速器的使用，使SageMaker推理平均减少基础模型（ML）部署成本 ，同时平均延迟减少20%。这一突破为在SageMaker上运行生成式AI工作负载的客户带来了显著的成本节约和性能提升。
• 生成式AI推理的可扩展性改进 - Cisco对分布式系统和自动扩展的专长也帮助SageMaker团队开发了更先进的能力，以更好地处理生成式AI模型的扩展需求。这些改进将自动扩展时间缩短了 ，同时提高了自动扩展检测的效率。
• 简化生成式AI模型推理部署 - 认识到需要简化生成式AI模型部署的需求，Cisco与 了仅需少许点击即可部署开源LLM和FM的功能。这一用户友好的功能简化了传统上与部署这些先进模型相关的复杂性，帮助更多客户利用生成式AI的力量。
• 简化Kubernetes客户的推理部署 - Cisco在Kubernetes和容器技术方面的深厚专业知识帮助SageMaker团队开发了新的基于Kubernetes操作员的推理能力。这些创新使得 [在