生成式 AI 中枢入门

学习目标

评估生成式 AI 中枢，并为企业在用场景部署大语言模型（LLM）。

SAP 的 AI Foundation 为企业级 AI 提供操作系统，其中生成式 AI 中枢（generative AI hub）是访问大语言模型（LLM）的核心组件。生成式 AI 中枢提供对广泛模型的访问能力，以及安全、可靠地编排您的 AI 工作流的能力。

本课将引导您完成获取生成式 AI 中枢访问权限并为您的特定用例部署 LLM 所需的基本步骤。您将学习如何设置环境、管理资源组、部署编排服务（以及可选的单个 LLM），以及如何限制模型使用并策略性地管理模型升级。掌握这些访问和部署流程，对于释放生成式 AI 在您的 SAP 环境中的实际能力，以及为构建稳健的企业 AI 应用奠定基础至关重要。

提示

本课程是使用 SAP 生成式 AI 中枢解决业务问题学习之旅的一个组成部分。它包含使用 SAP 生成式 AI 中枢中的提示和 LLM 解决业务问题的动手实践，其中提供对预配置 SAP AI Launchpad 系统的访问。该环境允许您完成课程练习并为认证做好准备。

请注意，该系统仅供练习使用。要构建生产级的生成式 AI 解决方案，请遵循本课中的具体步骤，以获得对生成式 AI 中枢的正式访问权限。

获取生成式 AI 中枢的访问权限

要访问生成式 AI 中枢，首先要设置您的 SAP Business Technology Platform（BTP）环境并预配所需的 AI 服务，从而为与生成式 AI 中枢交互奠定安全且有效的基础。

设置您的 SAP BTP 全局账户： 第一个前提条件是拥有对全局 SAP BTP 账户的访问权限。它是您进入和管理 SAP BTP 上所有服务的中心入口。它是您的 AI 能力所处的管理性总括层。要访问您的 SAP BTP 企业账户的全局账户并进行初始配置，请参阅设置 SAP BTP 企业账户的全局账户
从 SAP BTP Cockpit 预配 SAP AI Core： 生成式 AI 中枢在 SAP AI Core 中运行，后者是您可以直接从 SAP BTP cockpit 预配的服务。该预配过程会生成一个服务密钥。 该服务密钥包含必要的 URL 和凭据，用于对您访问专属 SAP AI Core 实例进行身份验证和授权。有关此过程的说明，请参阅以下文档：SAP AI Core 的初始设置要在 SAP AI Core 中设置生成式 AI 中枢以开始消费 LLM，请参阅在 SAP AI Core 中设置生成式 AI 中枢。
连接到 SAP AI Core 工具： 预配 SAP AI Core 后，您需要从偏好的工具建立连接。生成式 AI 中枢主要可通过 SAP AI Launchpad 访问，这是一个用于管理和监控 AI 资产的用户界面。对于开发人员而言，编程式访问同样至关重要，您可以使用 Bruno 等工具进行 API 测试，或使用 Python SDK 将 AI 能力直接集成到应用中。要在 SAP AI Core 与您选择的工具（SAP AI Launchpad、Postman 等 API 客户端、适用于 Python 等语言的 SDK）之间建立连接，请参阅设置用于连接和操作 SAP AI Core 的工具。
通过角色和权限确保访问安全： 通过 SAP AI Launchpad 访问生成式 AI 中枢是通过特定的角色和权限来管理的。生成式 AI 中枢仅在 extended 服务计划下可用于 SAP AI Core。要通过 SAP AI Launchpad 使用生成式 AI 中枢，用户必须被分配以下角色之一，或拥有包含这些角色之一的角色集合：

genai_manager

prompt_manager

genai_experimenter

prompt_experimenter

注意

仅拥有 genai_experimenter 或 prompt_experimenter 角色的用户不允许在 SAP AI Launchpad 中保存提示。

有关更多详细信息，请参阅角色和权限。

编排部署

获取生成式 AI 中枢的访问权限后，下一步是部署您打算使用的特定 LLM。在生成式 AI 中枢中，部署意味着实例化一个特定于用例的 LLM 配置，供您的应用随后消费。

您可以从编排部署开始。无需部署单个模型及其配置。您可以使用单个编排部署来配置和消费生成式 AI 中枢中的模型。

为您的资源组选择“配置”（Configuration）部分。

在 Configurations 下的“部署详细信息”（Deployment Details）中填写以下详细信息：

Name："orchestration"
Scenario："orchestration"
Version："0.0.1"
Executable："orchestration"

单击 Next。

出现提示时，单击 Create Deployment。 继续执行设置，单击 Next，直到收到部署确认。

部署开始后，继续前往状态页面。确认部署状态变为 Running（可参考以下屏幕截图）。

模型限制

您可以明确控制编排部署使用哪些 LLM。这对于执行内部标准、合规要求和成本管理至关重要，可确保已批准的模型可供用例使用。

要限制模型访问，请在配置中包含 modelFilterList 和 modelFilterListType。

modelFilterList：这是一个特定的 modelNames 列表，以及可选的 modelVersions，您希望允许或拒绝这些模型。如果未为某个 modelName 定义 modelVersions，则会考虑该模型的所有版本。
modelFilterListType：该参数控制应如何解释 modelFilterList：
deny：在此编排部署中排除所列模型及指定版本的使用。modelFilterList 中的任何 LLM 都将不可用。
allow：仅允许在此编排部署中使用 modelFilterList 中的模型及指定版本。不在 modelFilterList 中的任何 LLM 都将不可用。

该机制使您能够实施内部策略，例如仅允许某些已针对特定数据类型或性能特征预先批准的 LLM。

示例：

它使用 modelFilterList 中的以下 JSON 列表。

[{"modelName": "gpt-4.1-nano"},{"modelName": "gpt-4o-mini"},{"modelName": "gemini-2.0-flash-lite"},{"modelName": "mistralai--mistral-small-instruct"}]

该实例被限制为只能使用指定的模型。由于未指定版本，将使用生成式 AI 中枢中可用的最新版本。

这是执行内部使用策略并临时允许或限制尚未获准用于某些任务的模型的一种强大方式。

在生成式 AI 中枢中部署 LLM

也可以根据您的需求部署特定模型。例如，您可以部署 cohere--command-a-reasoning 之类的模型，它在编排部署中不可用。

创建部署：此步骤涉及创建部署，可以通过 API 以编程方式完成，也可以通过 SAP AI Launchpad 的用户友好界面完成。创建部署时，您将引用特定于模型提供方的可执行文件——例如，通过 OpenAI（经由 Azure）、GCP Vertex AI、Amazon、Anthropic（经由 AWS Bedrock）和 Meta 的模型所提供的模型。您还将配置必要参数，例如模型名称（如 gpt-4o、Gemini 2.2 Pro 或 Claude 3.5 Sonnet）及其版本。
访问已部署的 LLM：部署成功后，SAP AI Core 会为每个部署提供一个唯一且安全的 URL。该 URL 充当您的应用调用以与已部署 LLM 交互的端点。无论底层模型提供方是谁，这种抽象都简化了您的应用连接和使用这些强大模型的方式。

视频：本节含 SAP 官方视频（视频 ID 1_u246yuuh），需在 learning.sap.com 在线观看。

升级您的模型

LLM 部署完成后，您需要一套策略来管理新模型版本发布时的应对方式。这是您应用的 LLM 生命周期中的关键部分。在配置部署时，您通常会选择两种主要策略之一：自动升级或手动升级。这一决定会影响控制力、工作量和应用稳定性。

自动模型升级（modelVersion: latest）

该策略让您的部署始终使用指定模型的最新受支持版本。

工作原理：在设置 LLM 配置时（无论是用于编排工作流还是直接模型部署），您都将 modelVersion 参数设置为 latest。这将自动使用指定模型的最新受支持版本。
优势：
更少的人工投入：您的部署会自动升级到较新版本，可能让您无需干预即可获得模型改进。
持续更新：您会自动获得该模型最新的缺陷修复、性能增强和新能力。
风险与局限：
控制力较弱：您的应用可能突然开始使用您尚未测试的新模型版本。这可能会给输出行为或性能带来细微变化。
可能不稳定：如果您的应用依赖于高度一致的 LLM 输出，新版本带来的意外行为变化可能引发问题。
仅限同一模型：该策略只更新同一模型的版本（例如从较旧的 gpt-4o 更新到较新的 gpt-4o 版本）。它不会自动切换到完全不同的模型（例如从 gpt-4o 切换到 gpt-5）。

手动模型升级（特定模型/版本）

该策略让您可以精确控制部署使用哪个模型版本。

工作原理：：创建编排或模型配置时，您需要指定确切的 modelVersion，例如 "2024-05-13"。当您准备迁移到更新的模型版本时（无论是因为当前版本即将停用，还是您选择升级），请遵循以下步骤：
调研：确定合适的新模型版本。您可以使用 SAP Note 3437766 、 Discovery API ，或 SAP AI Launchpad 中的模型库（Model Library）进行基准测试和获取信息。
使用以下方式管理模型版本： a. 更新配置： 使用编排中的统一 API，轻松将配置更改为新的特定模型版本。 b. 应用（如果是直接部署）： 如果您为直接 LLM 部署管理自己的自定义端点，则可以随后修补现有部署，使其引用这个新的配置 ID。
优势：
完全控制：您精确决定应用使用哪个模型版本以及何时进行更改。
全面测试：允许您在受控环境中全面测试新模型版本，然后再将其部署到生产环境。
可预测的行为：对于 LLM 行为一致性至关重要的生产系统不可或缺，可降低意外变化带来的风险。
风险 - 更多人工投入：您必须主动监控模型停用日期并自行执行升级步骤。

选择您的策略：最佳实践

理想的升级策略取决于您应用的优先事项：

对于大多数生产应用，尤其是那些对潜在行为变化敏感的应用，指定固定的 modelVersion（手动升级）是推荐的最佳实践。这提供了必要的控制力和可预测性。大多数应用所有者偏好这种方式，以避免新 LLM 版本可能带来的意外行为变化。固定版本使您能够主动规划和测试更新。
对于非关键或探索性应用，如果更倾向于尽量减少运维开销，则使用自动升级（modelVersion: latest）可能是合适的。但是，请始终意识到行为可能随新版本而改变，并且如果您决定完全切换到其他模型，仍然需要手动管理过渡。