Базы знаний Amazon Bedrock

Чтобы снабдить базовые модели (ФМ) актуальной и конфиденциальной информацией, организации используют технологию Retrieval Augmented Generation (RAG), которая получает данные из источников данных компании и обогащает их, чтобы обеспечить более релевантные и точные ответы. Базы знаний Amazon Bedrock – это полностью управляемое решение с поддержкой управления контекстом сеансов и атрибуцией источников, которое охватывает весь процесс RAG: от получения данных до их извлечения и аугментации текстовых запросов. Это позволяет быстро развернуть рабочий процесс без необходимости создавать собственные интеграции с источниками данных и управлять потоками данных вручную. Кроме того, можно задавать вопросы и обобщать данные из одного документа без создания векторной базы данных. Если используемые данные содержат структурированные источники, базы знаний Amazon Bedrock предоставят встроенный управляемый естественный язык и язык структурированных запросов для создания команды запроса, позволяющей извлекать данные без необходимости их перемещения в другое хранилище.

Если вы работаете с неструктурированными источниками данных, базы знаний Amazon Bedrock автоматически извлекают информацию из таких систем, как Amazon Simple Storage Service (Amazon S3), Confluence (предварительная версия), Salesforce (предварительная версия), SharePoint (предварительная версия) и Web Crawler (предварительная версия). Дополнительно доступна функция программной загрузки документов, которая позволяет клиентам интегрировать потоковые данные или данные из нестандартных источников. Завершив загрузку содержимого, базы знаний Amazon Bedrock разделяют его на текстовые блоки, преобразуют текст во встраиваемые элементы и сохраняют их в векторной базе данных. Выберите одно из нескольких поддерживаемых векторных хранилищ, включая Amazon Aurora, Бессерверный Amazon OpenSearch, Аналитику Amazon Neptune, MongoDB, Pinecone и Redis Enterprise Cloud. Также можно подключиться к индексу гибридного поиска Amazon Kendra для управляемого извлечения данных

С помощью баз знаний Amazon Bedrock подключитесь к хранилищам структурированных данных для получения обоснованных ответов. Это особенно полезно, если у вас есть исходные материалы, такие как сведения о транзакциях, хранящиеся в хранилищах и озерах данных. Базы знаний Amazon Bedrock используют естественный язык в SQL для преобразования запросов в команды SQL и выполнения команд для извлечения данных без необходимости их перемещения из исходного источника.

Используя базы знаний Amazon Bedrock в качестве полностью управляемого решения RAG, вы можете гибко настраивать и повышать точность извлечения данных. Для неструктурированных источников данных, содержащих мультимодальные данные, такие как изображения и визуально насыщенные документы со сложной компоновкой (например, документы, содержащие таблицы, рисунки, графики и диаграммы), базы знаний Bedrock можно настроить на распознавание, анализ и извлечение значимой информации. В качестве анализатора вы можете выбрать функции автоматизации обработки данных Bedrock или базовые модели. Эта возможность обеспечивает бесперебойную обработку сложных мультимодальных данных и позволяет создавать высокоточные приложения генеративного искусственного интеллекта.

Базы знаний Amazon Bedrock предлагают множество развитых средств разбиения данных, включая разбиение по семантическим и иерархическим признакам, а также разбиение с фиксированным размером. Для полного контроля за ресурсами также можно написать собственный код разбиения в виде функции Lambda и даже использовать готовые компоненты из таких платформ, как LangChain и LlamaIndex. Если вы выберете Аналитику Amazon Neptune в качестве векторного хранилища, базы знаний Amazon Bedrock автоматически создадут встраиваемые элементы и графики, связывающие соответствующий контент с источниками данных. Базы знаний Bedrock используют эти взаимосвязи контента с GraphRAG для повышения точности поиска и предоставления конечным пользователям более полных, релевантных и объяснимых ответов.

С помощью Retrieve API можно получать релевантные результаты по пользовательскому запросу из баз знаний, включая визуальные элементы, такие как изображения, диаграммы, графики и таблицы, или структурированные данные из баз данных (если это применимо). RetrieveAndGenerate API обладает расширенной функциональностью, напрямую используя полученные результаты для дополнения подсказки базовой модели и возврата ответа. Можно также добавить базы знаний Amazon Bedrock в агенты для Amazon Bedrock, чтобы предоставлять агентам контекстную информацию. Кроме того, можно добавить фильтры или использовать базовые модели для создания нечетких фильтров, ограничивающих возвращаемые результаты только соответствующим контентом. В базах знаний Amazon Bedrock имеются модели изменения ранжирования для повышения релевантности извлеченных фрагментов документов.

Вся информация, полученная из баз знаний Amazon Bedrock, снабжена ссылками (содержащими также визуальные материалы) для повышения прозрачности и минимизации галлюцинаций.