Amazon Bedrock 中的 Meta Llama

使用 Llama 构建人工智能的未来
开始使用 Amazon Bedrock 中的 Llama

引入 Llama 3.2

引入 Meta 推出的 Llama 3.2，这是适用于边缘设备的新一代视觉和轻量级模型，可实现更加个性化的 AI 体验。Llama 3.2 包括中小型视觉 LLM（11B 和 90B）以及支持图像推理和设备用例的轻量级纯文本模型（1B 和 3B）。新模型采用更易于使用和高效的设计，并注重负责任的创新和系统级安全。

Llama 3.2 90B 是 Meta 推出的极为先进的模型，非常适合企业级应用程序。Llama 3.2 是第一个支持视觉任务的 Llama 模型，其全新模型架构可将图像编码器表示集成到语言模型中。该模型擅长处理常识、长篇文本生成、多语言翻译、编码、数学和高级推理。它还引入了图像推理功能，可实现复杂图像理解和视觉推理。该模型非常适合以下使用案例：图像字幕、图像文本检索、视觉基础、视觉问答和视觉推理以及文档视觉问答。

Llama 3.2 11B 非常适合内容创作、对话式 AI、语言理解以及需要视觉推理的企业应用程序。该模型在文本摘要、情感分析、代码生成和遵循指令方面表现出色，并具有对图像进行推理的能力。该模型非常适合以下使用案例：图像字幕、图像文本检索、视觉基础、视觉问答和视觉推理以及文档视觉问答。

Llama 3.2 3B 通过设备端处理提供更加个性化的 AI 体验。Llama 3.2 3B 专为需要低延迟推理和有限计算资源的应用程序而设计。它擅长处理文本摘要、分类和语言翻译任务。该模型非常适合以下使用案例：基于 AI 的移动写作助手和客户服务应用程序。

Llama 3.2 1B 是 Llama 3.2 模型系列中较为轻盈的模型，非常适合边缘设备和移动应用程序的检索和汇总。它支持设备端 AI 功能，同时可以保护用户隐私并最大限度地减少延迟。该模型非常适合以下使用案例：个人信息管理和多语言知识检索。

优势

Llama 3.2 通过设备端处理提供更加个性化的 AI 体验。Llama 3.2 模型采用更加高效的设计，延迟更低、性能更强，适用于各种应用程序。
128K 上下文长度使 Llama 能够捕捉数据中更加细微的关系。
Llama 模型使用来自在线公共数据来源的 15 万亿个标记进行训练，以更好地理解语言的复杂性。
Llama 3.2 是多语言版的，支持八种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。
Amazon Bedrock 的托管 API 使得使用 Llama 模型比以往任何时候都更容易。各种规模的组织都可以获得 Llama 的能力，而不必担心底层基础设施。由于 Amazon Bedrock 是无服务器的，因此您无需管理任何基础设施，并且可以使用已经熟悉的 AWS 服务将 Llama 的生成式人工智能功能安全地集成和部署到您的应用程序中。这意味着您可以专注于自己最擅长的工作：构建 AI 应用程序。

认识 Llama

在过去的十年中，Meta 一直专注于将工具交到开发人员手中，并促进开发人员、研究人员和组织之间的协作和进步。Llama 模型有多种参数大小可供选择，使开发人员能够选择最适合其需求和推理预算的模型。Amazon Bedrock 中的 Llama 模型开辟了一个充满可能性的世界，因为开发人员无需担心可扩展性或管理基础设施。Amazon Bedrock 是开发人员开始使用 Llama 的一种非常简单的统包方式。

使用案例

Llama 模型擅长处理图像理解和视觉推理、语言细微差别、情境理解以及视觉数据分析、图像字幕、对话生成、翻译和对话生成等复杂任务，并且可以轻松处理多步骤任务。Llama 模型非常适合的其他使用案例包括复杂的视觉推理和理解、图像文本检索、视觉基础、文档视觉问答、文本摘要和准确性、文本分类、情感分析和细微差别推理、语言建模、对话系统、代码生成和遵循指令。

模型版本

Llama 3.2 90B

同时接受文本和图像输入和输出的多模态模型。非常适合需要复杂视觉智能的应用程序，例如图像分析、文档处理、多模态聊天机器人和自主系统。

最大令牌数：12.8 万

语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

支持微调：否

支持的使用案例：图像理解、视觉推理和多模态交互，支持图像字幕、图像文本检索、视觉基础、视觉问答和文档视觉问答等高级应用程序，并具有从视觉和文本输入中推理和得出结论的独特能力。

阅读博客

Llama 3.2 11B

同时接受文本和图像输入和输出的多模态模型。非常适合需要复杂视觉智能的应用程序，例如图像分析、文档处理和多模态聊天机器人。

最大令牌数：12.8 万

语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

支持微调：否

支持的使用案例：图像理解、视觉推理和多模态交互，支持图像字幕、图像文本检索、视觉基础、视觉问答和文档视觉问答等高级应用程序。

阅读博客

Llama 3.2 3B

纯文本轻量级模型旨在提供高度准确和相关的结果。专为需要低延迟推理和有限计算资源的应用程序而设计。非常适合查询和提示重写、基于 AI 的移动写作助手和客户服务应用程序，尤其是在边缘设备上，其效率和低延迟可以无缝集成到各种应用程序，包括由 AI 驱动的移动写作助手和客户服务聊天机器人。

最大令牌数：12.8 万

语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

支持微调：否

支持的使用案例：高级文本生成、摘要、情感分析、情商、情境理解和常识推理。

阅读博客

Llama 3.2 1B

纯文本轻量级模型旨在提供快速准确的响应。非常适合边缘设备和移动应用程序。该模型支持设备端 AI 功能，同时可以保护用户隐私并最大限度地减少延迟。

最大令牌数：12.8 万

语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

支持微调：否

支持的使用案例：多语言对话使用案例，例如个人信息管理、多语言知识检索和重写任务。

阅读博客

Llama 3.1 8B

计算能力和资源有限、训练时间较短和边缘设备的理想选择。

最大令牌数：12.8 万

语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

支持微调：是

支持的应用场景：文本摘要、文本分类、情感分析和语言翻译。

阅读博客

Llama 3.1 70B

非常适合内容创作、对话式人工智能、语言理解、研究开发和企业应用程序。 

最大令牌数：12.8 万

语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

支持微调：是

支持的应用场景：文本摘要、文本分类、情感分析和语言翻译。

阅读博客

Llama 3.1 405B

适合企业级应用程序、研发、合成数据生成和模型蒸馏。

最大令牌数：12.8 万

语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。

支持微调：即将推出

支持的应用场景：常识、长篇文本生成、机器翻译、增强上下文理解、高级推理和决策，能更好地处理歧义和不确定性、提高创造力和多样性、可操纵性、数学、工具使用、多语言翻译和编码。

阅读博客

Llama 3 8B

计算能力和资源有限、训练时间较短和边缘设备的理想选择。

最大令牌数：8000

语言：英语

支持微调：否

支持的应用场景：文本摘要、文本分类、情感分析和语言翻译

阅读博客

Llama 3 70B

非常适合内容创作、对话式人工智能、语言理解、研究开发和企业应用程序。 

最大令牌数：8000

语言：英语

支持微调：否

支持的应用场景：文本摘要和准确性、文本分类和细微差别、情感分析和细微差别推理、语言建模、对话系统、代码生成和遵循指令。

阅读博客

Llama 2 13B

参数规模为 130 亿的微调模型。适用于规模较小的任务，例如文本分类、情绪分析和语言翻译。

最大令牌数：4 千

语言：英语

支持微调：是

支持的应用场景：助理式聊天

阅读博客

Llama 2 70B

参数规模为 700 亿的微调模型。适用于规模较大的任务，例如语言建模、文本生成和对话系统。

最大令牌数：4 千

语言：英语

支持微调：是

支持的应用场景：助理式聊天

阅读博客

Nomura 在 Amazon Bedrock 中使用 Meta 的 Llama 模型来普及生成式人工智能

 

Nomura 执行董事兼企业架构师 Aniruddh Singh 概述了该金融机构使用 Amazon Bedrock 和 Meta 的 Llama 模型在全公司范围内实现生成式人工智能大众化的历程。Amazon Bedrock 为 Llama 等领先基础模型提供关键访问权限，从而实现无缝集成。Llama 为 Nomura 提供关键优势，包括更快的创新、透明度、偏差防护机制以及在文本摘要、代码生成、日志分析和文档处理方面的强大性能。 

TaskUs 在 Amazon Bedrock 中使用 Meta 的 Llama 模型彻底改变了客户体验

TaskUs 是为世界上最具创新性的公司提供外包数字服务和下一代客户体验的领先提供商，它帮助其客户展示、保护和发展他们的品牌。其创新的 TaskGPT 平台由 Amazon Bedrock 和 Meta 的 Llama 模型提供支持，从而使团队成员能够提供卓越的服务。TaskUs 在 TaskGPT 上构建工具，利用 Amazon Bedrock 和 Llama 进行经济高效的释义、内容生成、理解和复杂的任务处理。