Amazon Bedrock 常见问题

一般性问题

Amazon Bedrock 是一项完全托管的服务,可提供多种行业领先的基础模型(FM),以及构建生成式人工智能应用程序所需的一系列广泛功能,通过符合安全性和隐私性的负责任人工智能简化开发。借助 Amazon Bedrock 的全面功能,您可以尝试各种顶级基础模型,使用微调和检索增强生成(RAG)等技术利用您的数据对其进行私人自定义,并创建可执行复杂业务任务的托管代理,从预订旅行和处理保险索赔,到创建广告活动和管理库存,所有这些都无需编写任何代码。由于 Amazon Bedrock 是无服务器的,因此您无需管理任何基础设施,并且可以使用已经熟悉的 AWS 服务将生成式人工智能功能安全地集成和部署到您的应用程序中。

Amazon Bedrock 客户可以从当今可用的一些最前沿的 FM 中进行选择。这包括来自以下来源的语言和嵌入模型:

  • AI21 Labs:Jurassic — 2 Ultra、Jurassic — 2 Mid
  • Anthropic:Claude 3 Opus、Claude 3 Sonnet、Claude 3 Haiku
  • Cohere:Command R、Command R+、Embed
  • Meta:Llama 3 8B、Llama 3 70B
  • Mistral AI:Mistral 8X7B Instruct、Mistral 7B Instruct、Mistral Large、Mistral Small
  • Stability AI:Stable Diffusion XL 1.0
  • Amazon Titan:Amazon Titan Text 高级版、Amazon Titan Text 快捷版、Amazon Titan Text 简捷版、Amazon Titan 文本嵌入、Amazon Titan 文本嵌入 V2、Amazon Titan 多模态嵌入、Amazon Titan 图像生成器

使用 Amazon Bedrock 来构建生成式人工智能应用程序有五个理由。

  • 选择领先的基础模型:Amazon Bedrock 提供易于使用的开发者体验,支持来自 Amazon 以及 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI 和 Stability AI 等领先人工智能公司的各种高性能基础模型。无论选择哪种模型,您都可以在操场上快速尝试各种 FM,并使用单个 API 进行推理,这样便可灵活使用来自不同提供商的 FM,并且只需最少的代码更改即可保持最新的模型版本。
  • 利用您的数据轻松定制模型:无需编写任何代码,即可通过可视化界面使用自己的数据私下自定义 FM。只需选择存储在 Amazon Simple Storage Service(Amazon S3)中的训练和验证数据集,并在需要时调整超参数即可实现可能的最佳模型性能。
  • 完全托管的代理,可以动态调用 API 来执行任务:通过动态调用公司系统和 API,构建能够执行复杂业务任务(从预订旅行和处理保险索赔到制作广告活动、准备纳税申报和管理库存)的代理。Amazon Bedrock 的完全托管代理扩展了 FM 的推理能力,可以分解任务、创建编排计划并执行该计划。
  • 对 RAG 的本机支持,以利用专有数据扩展 FM 的功能:借助 Amazon Bedrock 知识库,您可以安全地将 FM 连接到您的数据来源,以便在托管服务中增强检索,从而扩展 FM 本已强大的功能,使其更了解您的特定领域和组织。
  • 数据安全性和合规性认证:Amazon Bedrock 提供了多种支持安全和隐私要求的功能。Amazon Bedrock 符合服务和组织控制(SOC)、国际标准化组织(ISO)等常见合规标准,遵守《健康保险流通与责任法案》(HIPAA)的规定,可以确保客户在使用 Amazon Bedrock 的同时遵守《通用数据保护条例》(GDPR)。Amazon Bedrock 已获得 CSA 安全信任保障和风险(STAR)2 级认证,该认证验证 AWS 云产品的最佳实践使用情况和安全状况。在 Amazon Bedrock 中,您的内容不会用于改进基本模型,也不会与任何模型提供商共享。您在 Amazon Bedrock 中的数据在传输和静态时始终处于加密状态,您可以选择使用自己的密钥对数据进行加密。您可以将 AWS PrivateLink 与 Amazon Bedrock 配合使用,在 FM 和您的 Amazon Virtual Private Cloud (Amazon VPC) 之间建立专用连接,而无需将流量暴露到互联网。

借助 Amazon Bedrock 的无服务器体验,您可以快速入门。在 AWS 管理控制台中导航到 Amazon Bedrock,在测试环境中试用基础模型。您也可以创建代理并在控制台中对其进行测试。确定用例后,您可以使用 AWS 工具轻松地将 FM 集成到您的应用程序中,而无需管理任何基础设施。
Amazon Bedrock 入门课程链接
Amazon Bedrock 用户指南链接

Amazon Bedrock 可搭配 AWS Lambda 调用操作,利用 Amazon S3 训练和验证数据,并使用 Amazon CloudWatch 跟踪指标。

您可以通过应用场景快速入门:

  • 创建新的原创内容,例如短篇小说、散文、社交媒体帖子和网页素材。
  • 搜索、查找和合成信息,以回答来自大量数据语料库的问题。
  • 根据语言提示创建各种主题、环境和场景的现实和艺术图像。
  • 通过比单词匹配更具相关性的情境式产品推荐,帮助买家找到他们想要的东西。
  • 获取文章、博客文章、书籍和文档等文本内容的摘要,无需阅读完整内容即可获得要点。
  • 推荐符合购物者偏好和过去购买记录的产品

探索更多生成式人工智能使用案例

Amazon Bedrock 提供了一个平台,允许您使用对话式聊天界面尝试各种各样的 FM。您可以提供提示,或使用控制台内的 Web 界面来提供提示,然后使用预训练的模型生成文本或图像,或者,您也可以使用针对您的应用场景进行了调整的微调模型。

有关可使用 Amazon Bedrock 的 AWS 区域的列表,请参阅《Amazon Bedrock 参考指南》中的 Amazon Bedrock 端点和配额

您可以使用标记数据轻松地在 Amazon Bedrock 上微调 FM,也可以通过持续的预训练功能,使用未标记数据自定义模型。首先,提供训练和验证数据集,配置超参数(周期、批量大小、学习率、预热步骤)并提交作业。在几个小时内,您可以使用相同的 API(InvokeModel)访问经过微调的模型。

是的,您可以训练选定的公开可用模型,然后使用自定义模型导入功能将其导入 Amazon Bedrock。目前该功能仅支持 Llama 2/3、Mistral 和 Flan 架构。有关更多信息,请参阅文档

代理

Amazon Bedrock 代理是一种完全托管的功能,可让开发人员更轻松地创建基于生成式人工智能的应用程序,这些应用程序可以完成各种应用场景的复杂任务,并根据专有知识来源提供最新答案。只需几个步骤,Amazon Bedrock 代理即可自动分解任务并创建编排计划,无需任何手动编码。该代理通过 API 安全地连接到公司数据,自动将数据转换为机器可读格式,并在请求中添加相关信息以生成最准确的响应。然后,代理可以自动调用 API 来满足用户的请求。例如,一家制造公司可能想要开发一款生成式人工智能应用程序,该应用程序可以自动跟踪库存水平、销售数据、供应链信息,还可以推荐最佳的再订购点和数量,以最大限度地提高效率。作为完全托管式功能,Amazon Bedrock 代理消除了管理系统集成和基础设施预置的无差别工作,使开发人员能够在整个组织中最大限度地使用生成式人工智能。

您可以使用 Amazon Bedrock 代理将 FM 安全地连接到您公司的数据来源。利用知识库,您可以使用代理让 Amazon Bedrock 中的 FM 访问更多数据,从而帮助模型生成更相关、更符合特定情境且更准确的响应,而无需持续重新训练 FM。根据用户输入,代理可以识别相应的知识库,检索相关信息,并将信息添加到输入提示中,从而为模型提供更多上下文信息以生成补全。

Amazon Bedrock 代理可以帮助您提高工作效率、改善客户服务体验并自动化工作流程(例如处理保险索赔)。

借助代理,开发人员无需编写自定义代码即可无缝支持监控、加密、用户权限、版本控制和 API 调用管理。Amazon Bedrock 代理可以自动对用户请求的任务进行提示工程设计和编排。开发人员可以使用代理创建的提示模板作为基准,进一步完善它,以增强用户体验。他们可以更新用户输入、编排计划和 FM 响应。通过访问提示模板,开发人员可以更好地控制代理编排。

使用完全托管的代理,您不必担心预置或管理基础设施,并且可以更快地将应用程序投入生产。

安全性

Amazon Bedrock 处理的任何客户内容都会被加密,并静态存储在您使用 Amazon Bedrock 所在的 AWS 区域中。

不。用户输入和模型输出不会与任何模型提供商共享。

Amazon Bedrock 提供多种支持安全和隐私要求的功能。Amazon Bedrock 符合 Fedramp Moderate、服务和组织控制(SOC)、国际标准化组织(ISO)、健康保险流通与责任法案(HIPAA)等常见合规标准,客户可以在符合《通用数据保护条例》(GDPR)的情况下使用 Bedrock。Amazon Bedrock 包含在 SOC 1、2、3 报告的范围内,使客户能够深入了解我们的安全控制措施。我们通过对我们的 AWS 控制进行广泛的第三方审核来证明合规性。Amazon Bedrock 是符合 ISO 9001、ISO 27001、ISO 27017、ISO 27018、ISO 27701、ISO 22301 和 ISO 20000 标准的 AWS 服务之一。Amazon Bedrock 已获得 CSA 安全信任保障和风险(STAR)2 级认证,该认证验证 AWS 云产品的最佳实践使用情况和安全状况。在 Amazon Bedrock 中,您的内容不会用于改进基本模型,也不会与任何模型提供商共享。您可以使用 AWS PrivateLink 建立从 Amazon VPC 到 Amazon Bedrock 的私有连接,而无需将数据暴露给互联网流量。

 

不会,AWS 和第三方模型提供商不会使用 Amazon Bedrock 的任何输入或输出来训练 Amazon Titan 或任何第三方模型。

SDK

Amazon Bedrock 支持运行时系统服务的软件开发工具包。iOS 和安卓软件开发工具包以及 Java、JS、Python、CLI、.Net、Ruby、PHP、Go 和 C++ 同时支持文本和语音输入。

所有 SDK 都支持流式传输。

账单和支持

有关最新定价信息,请参阅 Amazon Bedrock 定价页面

根据您签订的 AWS Support 合同,Amazon Bedrock 可以获得开发人员支持计划、商业支持计划和企业支持计划的支持。

您可以使用 CloudWatch 指标来跟踪输入和输出令牌。

自定义

我们在 Amazon Bedrock 上启动了 Amazon Titan Text Express 和 Amazon Titan 模型的持续预训练。持续预训练允许您使用大量未标记的数据持续在 Amazon Titan 基础模型上进行预训练。这种类型的训练将使模型从通用领域语料库调整为更具体领域(例如医学、法律、金融等)的语料库,同时仍然保留 Amazon Titan 基础模型的大部分功能。 

企业可能希望为特定领域的任务构建模型。基本模型可能没有根据该特定领域中使用的技术术语进行训练。因此,直接对基础模型进行微调需要大量标记的训练记录和较长的训练时间才能得到准确的结果。为了减轻这种负担,客户可以改而为持续预训练作业提供大量未标记的数据。这项工作将使 Amazon Titan 基础模型适应新领域。然后,客户可以通过数量少得多的标记训练记录和更短的训练持续时间,根据下游任务微调新的预训练自定义模型。 

Amazon Bedrock 持续预训练和微调具有非常相似的要求。出于这个原因,我们选择创建同时支持持续预训练和微调的统一 API。API 的统一缩短了学习曲线,并有助于客户使用标准功能,例如用于跟踪长时间运行的作业的 Amazon EventBridge、用于获取训练数据的 Amazon S3 集成、资源标签和模型加密。 

持续预训练可以帮助您根据特定领域的数据调整 Amazon Titan 模型,同时保留 Amazon Titan 模型的基本功能。要创建持续预训练作业,请导航到 Amazon Bedrock 控制台并单击“自定义模型”。 您将导航到包含两个选项卡的自定义模型页面:模型和训练作业。这两个选项卡都在右侧提供了“自定义模型”下拉菜单。从下拉菜单中选择“持续预训练”,导航至“创建持续预训练作业”。 您需要提供源模型、名称、模型加密、输入数据、超参数和输出数据。此外,您还可以提供标签以及有关作业的 AWS Identity and Access Management(IAM)角色和资源策略的详细信息。

Amazon Titan

Amazon Bedrock 独有的 Amazon Titan 系列模型融合了 Amazon 25 年来在业务范围内积累的人工智能和机器学习创新的经验。Amazon Titan 基础模型通过完全托管的 API 为客户提供广泛的高性能图像、多模式和文本模型选择。Amazon Titan 模型由 AWS 创建并在大型数据集上进行预训练,使其成为强大的通用模型,旨在支持各种用例,同时还支持负责任地使用 AI。您可以按原样使用,也可以根据自己的数据私下进行自定义。了解有关 Amazon Titan 的更多信息。

要了解为开发和训练 Amazon Titan FM 而处理的数据的更多相关信息,请访问 Amazon Titan 模型训练和隐私页面

检索增强生成(RAG)

支持的数据格式包括.pdf、.txt、.md、.html、.doc 和.docx、.csv、.xls 和.xlsx 文件。必须将文件上传到 Amazon S3。指向您的数据在 Amazon S3 中的位置,Amazon Bedrock 知识库就会处理向量数据库的整个摄取工作流程。

Amazon Bedrock 知识库提供三种在将文本转换为嵌入之前对文本进行分块的选项。 

1.  默认选项:Amazon Bedrock 知识库会自动将您的文档拆分成多个区块,每个区块包含 200 个令牌,确保句子不会在中间断开。如果文档包含少于 200 个令牌,则不会对其进行进一步拆分。两个连续的区块之间保持 20% 的令牌重叠。

2.  固定大小分块:在此选项中,您可以指定每个区块的最大令牌数以及 Amazon Bedrock 知识库区块之间的重叠百分比,以便自动将您的文档拆分为多个区块,从而确保句子不会在中间断开。 

3.  为每个文档创建一个嵌入选项:Amazon Bedrock 会为每个文档创建一个嵌入。如果您已通过将文档拆分为单独的文件来对文档进行预处理,并且不希望 Amazon Bedrock 进一步对文档进行分块,则此选项非常适用。

目前,Amazon Bedrock 知识库使用 Amazon Bedrock 中提供的最新版本的 Amazon Titan 文本嵌入模型。Titan Text Embeddings V2 模型支持 8K 令牌和 100 多种语言,并可灵活创建 256、512 和 1024 维度大小的嵌入。 

Amazon Bedrock 知识库负责整个摄取工作流程,即将您的文档转换为嵌入(向量),然后将嵌入存储在专门的向量数据库中。  Amazon Bedrock 知识库支持常见的向量存储数据库,包括 Amazon OpenSearch 无服务器的向量引擎、Pinecone、Redis Enterprise Cloud、Amazon Aurora(即将推出)和 MongoDB(即将推出)。如果您当前没有向量数据库,Amazon Bedrock 会为您创建一个 OpenSearch 无服务器向量存储区。

根据您的使用案例,您可以使用 Amazon EventBridge 在 Amazon S3 与 Amazon Bedrock 知识库之间创建定期或事件驱动的同步。

模型评估

借助 Amazon Bedrock 上的模型评估,只需几个简短的步骤即可针对您的使用案例评估、比较和选择最佳基础模型。Amazon Bedrock 提供了自动评估和人工评估选项。您可以使用带有预定义指标(例如准确性、稳定性和毒性)的自动评估。您可以使用人工评估工作流程来评估主观或自定义指标,例如友好度、风格和与品牌声音的一致性。对于人工评估,您可以使用内部员工或 AWS 管理的团队作为评审者。Amazon Bedrock 上的模型评估提供内置的精选数据集,或者您可以自带数据集。

您可以使用自动评估来评估各种预定义指标,例如准确性、稳健性和毒性。您还可以使用人工评估工作流程来衡量主观或自定义指标,例如友好度、相关性、风格以及与品牌声音的一致性。

自动评估使您能够根据标准标准(例如准确性、毒性和稳健性)快速缩小可用 FM 的列表范围。人工评估通常用于评估需要人类判断,并且可能无法自动评估的更细致或主观的标准(例如品牌声音、创意意图、友好度)。

您可以使用精选的内置数据集或引入您自己的提示数据集,快速评估 Amazon Bedrock 模型的准确性、稳健性和毒性等指标。将提示数据集发送到 Amazon Bedrock 模型进行推理后,将使用每个维度的评估算法对模型响应进行评分。后端引擎将个人即时响应分数汇总为汇总分数,并通过易于理解的可视化报告呈现。

Amazon Bedrock 让您只需几个简短的步骤即可设置人工审核工作流程,并可以通过内部员工或利用 AWS 管理的专家团队来评估模型。通过 Amazon Bedrock 的直观界面,人们可以通过点击向上或向下按钮、按 1-5 的等级评分、选择多个响应中的最佳选项或排名提示来查看模型响应并提供反馈。例如,可以向团队成员展示两个模型如何响应相同的提示,然后要求他们选择显示更准确、相关或风格化输出的模型。通过自定义团队评估 UI 上显示的说明和按钮,可以指定对您而言重要的评估标准。您还可以提供带有示例的详细说明以及模型评估的总体目标,以便用户可以相应地调整他们的工作。此方法可用于评估需要人类判断或更细致的主题专业知识且无法通过自动评估轻松判断的主观标准。

负责任的人工智能

Amazon Bedrock 防护机制可帮助您根据使用案例和负责任的人工智能策略为生成式人工智能应用程序实施保护措施。防护机制通过过滤不良和有害内容来帮助控制用户和基础模型之间的交互,并将快速编辑个人身份信息(PII),从而增强生成式人工智能应用程序中的内容安全和隐私。您可以针对特定用例创建多个具有不同配置的防护机制。此外,借助防护机制,您还可以持续监控和分析可能违反客户定义策略的用户输入和基础模型响应。

防护机制允许您定义一组策略来帮助保护您的生成式人工智能应用程序。您可以在防护机制中配置以下策略。

  • 拒绝的主题:定义一组应用程序上下文中不需要的主题。例如,可以将网上银行助理设计为不提供投资建议。
  • 内容过滤器:配置阈值来过滤仇恨、侮辱、性和暴力类别的有害内容。
  • 字词过滤器(即将推出):定义一组字词来阻止用户输入和 FM 生成的响应。
  • PII 编辑(即将推出):选择一组可以在 FM 生成的响应中进行编辑的 PII。根据使用案例,您还可以阻止包含 PII 的用户输入。

Guardrails 可与 Amazon Bedrock 上提供的所有大型语言模型(LLM)一起使用。它还可以与微调的 FM 以及 Amazon Bedrock 代理一起使用。

有四种防护机制策略,每种策略都有不同的现成保护措施

  • 内容过滤器 — 有 6 个现成的类别:仇恨、侮辱、性、暴力、不当行为(包括犯罪活动)和即时攻击(越狱和即时注入)。每个类别均可根据过滤的严格程度进一步自定义阈值 — 低/中/高。
  • 被拒绝的主题 — 这是客户可以使用简单的自然语言描述定义的自定义主题
  • 敏感信息过滤器 — 此策略带有 30 多个现成的 PII。可以通过添加客户的敏感专有信息进一步自定义。
  • 文字过滤器 — 此策略带有现成的脏话过滤功能,可以使用自定义词语进一步自定义。

基础模型具有原生防护措施,它们是与每个模型相关的默认保护措施。这些原生防护措施不是 Amazon Bedrock 防护机制的一部分。Amazon Bedrock 防护机制是一层额外的定制防护措施,客户可以根据其应用要求和负责任的人工智能策略选择应用这些防护措施。


作为 Amazon Bedrock 防护机制的一部分,SSN 和电话号码检测是 30 多个现成 PII 的一部分。如需完整列表,请访问此处

使用 Amazon Bedrock 防护机制需要单独付费。输入和输出都需要付费。定价请见此处页面底部。

可以,客户可以使用 Amazon Bedrock 防护机制 API 进行自动化测试。在生产环境中部署防护机制之前,您可能想要使用“测试用例生成器”。目前还没有原生的测试用例生成器。为了持续监控生产流量,防护机制会为每个输入和输出提供所有违例的详细日志,这样,客户就可以精细地监控来自其 gen AI 应用程序的每个输入。这些日志可以存储在 CloudWatch 或 S3 中,并且可以使用这些日志,根据客户的要求创建自定义仪表板。