Генеративный ИИ с Amazon Neptune

Высокопроизводительная графовая аналитика и бессерверная база данных для превосходной масштабируемости и доступности

Обзор

По мере того как организации создают и внедряют приложения генеративного искусственного интеллекта (ИИ), их ожидания в отношении точности, полноты и объясняемости растут. В некоторой степени может помочь предоставление корпоративного контекста и контекста, специфичного для конкретной предметной области с помощью таких методов, как дополненная извлеченными данными генерация (RAG): RAG экономичен и предоставляет актуальную и релевантную информацию для генеративного ИИ, сохраняя при этом управление данными и контроль над ними.

Дополненная извлеченными данными генерация на основе графов (GraphRAG) выводит RAG на новый уровень, используя возможности аналитики графов и векторного поиска для повышения точности, полноты и объясняемости ответов ИИ. GraphRAG достигает этого за счет использования взаимосвязей между объектами или структурными элементами данных, такими как разделы или заголовки с фрагментами документов, для предоставления наиболее релевантных данных в качестве входных данных для приложений RAG. Используя графы знаний, приложения RAG могут выявлять многоступенчатые связи между связанными объектами или темами и использовать эти факты для усиления генеративного ответа.

Генеративный ИИ с Amazon Neptune

Для создания и запуска приложений GraphRAG Amazon предоставляет средства с полным управлением и самостоятельным управлением.

  • С полным управлением. Базы знаний Amazon Bedrock предлагают первый в мире полностью управляемый сервис GraphRAG на основе Amazon Neptune. Он в автоматическом режиме управляет созданием и поддержкой графиков и встраиваний. Это позволяет клиентам предоставлять конечным пользователям более релевантные ответы. Так как это полностью управляемый сервис, вам не нужно тратить время и усилия на настройку конфигураций и интеграцию с другими большими языковыми моделями или векторными базами данных. 
  • С самостоятельным управлением. Для пользователей, которым требуется собственный хостинг или средства гибкого подключения к настраиваемым источникам данных, интеграции со сторонними продуктами (базовыми моделями, векторными хранилищами или хранилищами данных) и самостоятельный хостинг стека приложений на основе генеративного ИИ, предусмотрены два варианта.
    • Набор инструментов AWS GraphRAG Python. AWS выпустила набор инструментов GraphRAG с открытым исходным кодом, который поддерживает современные базовые и графовые модели. Он предоставляет платформу для автоматизации построения графиков на основе неструктурированных данных и для отправки запросов к этому графику при ответах на вопросы пользователей.
    • Платформы с открытым исходным кодом. Для создания производственных процессов RAG AWS поддерживает и участвует в популярных проектах с открытым исходным кодом, включая LangChain и LlamaIndex.

Пользователи, незнакомые с языками запросов к графовым базам данных, могут воспользоваться интеграцией Neptune с LangChain. Это позволяет опрашивать графовую базу данных Neptune на естественном языке. В частности, можно использовать цепочку вопросов и ответов NeptuneOpenCypherQAChain для преобразования вопросов на английском языке в запросы openCypher и получения ответов, понятных человеку. Эту цепочку можно использовать для ответа на такие вопросы, как «В каком аэропорту США самые длинные и самые короткие исходящие маршруты?»

LangChain – это платформа Python с открытым исходным кодом, разработанная с целью упростить создание приложений с использованием больших языковых моделей (LLM). Благодаря интеграции Neptune с LangChain разработчики могут использовать платформу LangChain с открытым исходным кодом, тем самым упрощая создание контекстнозависимых приложений.

С помощью Neptune и LangChain вы можете получать ответы на основе предоставленного контекста и запрашивать графовую базу данных Neptune, используя язык запросов openCypher. В частности, можно использовать цепочку вопросов и ответов Neptune openCypher для перевода вопросов на английском языке в запросы openCypher и получения ответов, понятных человеку, например на вопрос «Сколько исходящих рейсов в аэропорту Остина?»

Дополнительные сведения о цепочке вопросов и ответов Neptune openCypher см. в документации LangChain с открытым исходным кодом.

LlamaIndex – это платформа данных с открытым исходным кодом, предназначенная для подключения пользовательских источников данных с большими языковыми моделями (LLM) и поддерживающая использование графов знаний с LLM.

Благодаря LlamaIndex вы можете использовать сервис Neptune как хранилище графов или векторов, а также помощью таких методик, как GraphRAG, создавать приложения с генеративным искусственным интеллектом.

Примеры использования

GraphRAG можно использовать для совершенствования работы службы технической поддержки и контактного центра по вопросам ИТ. Например, GraphRAG позволяет группам Центра управления безопасностью (SOC) более точно обрабатывать оповещения. Это помогает обеспечивать безопасность критически важных систем. Чат-бот поддержки медицинских работников способен быстро найти требуемую информацию в большом объеме медицинской литературы и ответить на сложные вопросы о симптомах, а также методах и результатах лечения пациентов.

Благодаря применению GraphRAG можно получить углубленные аналитические данные для специалистов таких подразделений компании, как отдел финансового планирования и бухгалтерского учета (FP&A), управления персоналом, маркетинга, юридический отдел и т. д. Например, группы корпоративных юристов могут более эффективно находить информацию о налоговом законодательстве, нормативно-правовых актах и аналогичных делах для разработки стратегий ведения дел. Группы по маркетингу могут создавать всеобъемлющее представление о клиенте на основе социальных связей и истории покупок потенциального клиента.

Компании из разных отраслей извлекают выгоду из GraphRAG. Например, в фармацевтической отрасли научно-исследовательские группы могут использовать GraphRAG для ускорения исследований и испытаний лекарственных препаратов. В сфере инвестиционно-банковской деятельности инструментарий GraphRAG способен выявлять сложные взаимоотношения и обеспечивать целостное представление форм корпоративной отчетности. Это помогает группам по комплексной юридической экспертизе получать с помощью RAG такую аналитическую информацию, — например, о нормативно-правовой базе и механизмах конкуренции, — которую может быть непросто получить иным образом.

Традиционно для составления рекомендаций по продуктам используются управляемые вручную аналитические сервисы. Neptune ML может определять новые взаимосвязи непосредственно на графовых данных и легко рекомендовать подписаться на других пользователей или приобрести игру либо продукт, которые могут быть интересны игроку.

Цены

Предварительные вложения не требуются. Вы платите только за используемые ресурсы AWS, такие как Amazon SageMaker, Neptune и Amazon Simple Storage Service (Amazon S3).

Начало работы

Для начала работы существуют различные способы: