Übersicht
Eine der größten Herausforderungen bei der Entwicklung generativer KI-Anwendungen ist das komplexe Cloud-Setup und der Bedarf an fundiertem KI-Fachwissen. Generative AI Application Builder in AWS vereinfacht diesen Prozess und hilft Ihnen dabei, KI-Anwendungen ohne umfangreiche KI-Kenntnisse zu entwickeln, zu testen und bereitzustellen. Diese Lösung beschleunigt Ihre KI-Entwicklung, indem sie Ihre Geschäftsdaten einfach integriert, die Leistung großer Sprachmodelle (LLMs) vergleicht, mehrstufige Aufgaben über KI-Agenten ausführt, schnell erweiterbare Anwendungen erstellt und sie mit einer Architektur auf Unternehmensebene bereitstellt. Generative AI Application Builder enthält einen gebrauchsfertigen generativen KI-Chatbot und eine API, die schnell in Ihre Geschäftsprozesse oder Anwendungen integriert werden können.
Diese Lösung umfasst Integrationen mit Amazon Bedrock und seinen LLMs zusätzlich zu den auf Amazon SageMaker bereitgestellten LLMs. Sie nutzt Amazon Bedrock Tools für Retrieval Augmented Generation (RAG), um KI-Reaktionen zu verbessern, Amazon-Bedrock-Integritätsschutz, um Schutzmaßnahmen zu implementieren und Halluzinationen zu reduzieren, und Amazon-Bedrock-Agenten, um Workflows für komplexe Aufgaben zu erstellen. Sie können auch mithilfe von LangChain oder AWS Lambda eine Verbindung zu anderen KI-Modellen herstellen. Beginnen Sie mit dem einfachen, codefreien Assistenten, um KI-Anwendungen für Konversationssuche, KI-generierte Chatbots, Textgenerierung und Textzusammenfassung zu erstellen.
Vorteile
Mit dieser Lösung können Benutzer schnell experimentieren, da der Aufwand entfällt, der für die Bereitstellung mehrerer Instances mit unterschiedlichen Konfigurationen und für den Vergleich von Ergebnissen und Leistung erforderlich ist. Experimentieren Sie mit mehreren Konfigurationen verschiedener LLMs, Prompt-Engineering, Wissensdatenbanken für Unternehmen, Integritätsschutz, KI-Agenten und anderen Parametern.
Mit vorgefertigten Konnektoren zu einer Vielzahl von LLMs, wie z. B. den über Amazon Bedrock verfügbaren Modellen, bietet Ihnen diese Lösung die Flexibilität, das Modell Ihrer Wahl sowie die von Ihnen bevorzugten AWS- und führenden FM-Services bereitzustellen. Sie können Agenten von Amazon Bedrock auch für die Erfüllung verschiedener Aufgaben und Workflows aktivieren.
Diese Lösung basiert auf den Entwicklungsprinzipien von AWS Well-Architected und bietet Sicherheit und Skalierbarkeit auf Unternehmensniveau mit hoher Verfügbarkeit und geringer Latenz. Dadurch wird eine nahtlose Integration in Ihre Anwendungen mit hohen Leistungsstandards gewährleistet.
Erweitern Sie die Funktionalität dieser Lösung, indem Sie Ihre vorhandenen Projekte integrieren oder zusätzliche AWS-Services nativ verbinden. Da es sich um eine Open-Source-Anwendung handelt, können Sie die enthaltene LangChain-Orchestrierungsservice-Ebene oder Lambda-Funktionen verwenden, um eine Verbindung mit den Services Ihrer Wahl herzustellen.
Technische Details
Sie können diese Architektur mithilfe des Implementierungsleitfadens und der zugehörigen AWS-CloudFormation-Vorlage, die drei separate Architekturen bereitstellt, automatisch bereitstellen:
- Anwendungsfall für Agenten – Der Anwendungsfall für Agenten ermöglicht es Benutzern, Aufgaben zur Erledigung mithilfe von Amazon-Bedrock-Agenten einzureichen. Sie können ein Modell auswählen, einige Anweisungen in natürlicher Sprache schreiben, und KI-Agenten von Amazon Bedrock analysieren, orchestrieren und erledigen die Aufgaben, indem sie eine Verbindung zu Ihren Datenquellen oder anderen APIs herstellen, um Ihre Anfrage zu erfüllen.
- Textanwendungsfall – Der Testanwendungsfall ermöglicht es Benutzern, mithilfe generativer KI eine Benutzeroberfläche in natürlicher Sprache zu erleben. Dieser Anwendungsfall kann in neue oder bestehende Anwendungen integriert werden und kann über das Bereitstellungs-Dashboard oder unabhängig über eine angegebene URL bereitgestellt werden.
- Bereitstellungs-Dashboard – Das Bereitstellungs-Dashboard ist eine Web-UI, die Administratorbenutzern als Verwaltungskonsole zum Anzeigen, Verwalten und Erstellen ihrer Anwendungsfälle dient. Dieses Dashboard ermöglicht es Kunden, mithilfe mehrerer Konfigurationen von LLMs und Daten schnell mit Anwendungen für generative KI zu experimentieren, zu iterieren und bereitzustellen.
-
Anwendungsfall für Agenten
-
Anwendungsfall-Text
-
Bereitstellungs-Dashboard
-
Anwendungsfall für Agenten
-
Zum Vergrößern klicken
Schritt 1
Business-Benutzer stellen den Anwendungsfall mithilfe des Bereitstellungs-Dashboards bereit. Business-Benutzer melden sich bei der Benutzeroberfläche des Anwendungsfalls an.
Schritt 2
Amazon CloudFront stellt die Webbenutzeroberfläche bereit, die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gehostet wird.
Schritt 3
Die Webbenutzeroberfläche verwendet eine WebSocket-Integration, die mit Amazon API Gateway erstellt wurde. Das API-Gateway wird von einer benutzerdefinierten AWS-Lambda-Authorizer-Funktion unterstützt, die die entsprechende IAM-Richtlinie AWS Identity and Access Management zurückgibt, die auf der Amazon-Cognito-Gruppe basiert, zu der der authentifizierende Benutzer gehört.Schritt 4
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway.Schritt 5
Die Lösung leitet die eingehenden Anfragen des Business-Benutzers vom API-Gateway an eine Amazon Simple Queue Service (Amazon SQS)-Warteschlange und dann an die Lambda-Funktion weiter. Die Warteschlange ermöglicht den asynchronen Betrieb des API Gateway zur Lambda-Integration.Die Warteschlange übergibt Verbindungsinformationen an die Lambda-Funktion, die dann die Ergebnisse direkt an die API-Gateway-WebSocket-Verbindung zurücksendet, um lang laufende Inferenzaufrufe zu unterstützen.
Schritt 6
Die Lambda-Funktion verwendet Amazon DynamoDB , um die Anwendungsfallkonfigurationen nach Bedarf abzurufen.
Schritt 7
Die Lambda-Funktion verwendet Benutzereingaben und relevante Anwendungsfallkonfigurationen, um Anforderungsnutzdaten zu erstellen und an Amazon-Bedrock-Agenten zu senden, um die Benutzerabsicht zu erfüllen.Schritt 8
Wenn die Antwort von den Agenten von Amazon Bedrock zurückkommt, sendet die Lambda-Funktion die Antwort über den API-Gateway-WebSocket zurück, damit sie von der Client-Anwendung verarbeitet werden kann.Schritt 9
Mithilfe von Amazon CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Bereitstellung überwachen können.
Schritt 1
Business-Benutzer stellen den Anwendungsfall mithilfe des Bereitstellungs-Dashboards bereit. Business-Benutzer melden sich bei der Benutzeroberfläche des Anwendungsfalls an.
Schritt 2
Amazon CloudFront stellt die Webbenutzeroberfläche bereit, die in einem Amazon Simple Storage Service (Amazon S3)-Bucket gehostet wird.
Schritt 3
Die Webbenutzeroberfläche verwendet eine WebSocket-Integration, die mit Amazon API Gateway erstellt wurde. Das API-Gateway wird von einer benutzerdefinierten AWS-Lambda-Authorizer-Funktion unterstützt, die die entsprechende IAM-Richtlinie AWS Identity and Access Management zurückgibt, die auf der Amazon-Cognito-Gruppe basiert, zu der der authentifizierende Benutzer gehört.Schritt 4
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway.Schritt 5
Die Lösung leitet die eingehenden Anfragen des Business-Benutzers vom API-Gateway an eine Amazon Simple Queue Service (Amazon SQS)-Warteschlange und dann an die Lambda-Funktion weiter. Die Warteschlange ermöglicht den asynchronen Betrieb des API Gateway zur Lambda-Integration.Die Warteschlange übergibt Verbindungsinformationen an die Lambda-Funktion, die dann die Ergebnisse direkt an die API-Gateway-WebSocket-Verbindung zurücksendet, um lang laufende Inferenzaufrufe zu unterstützen.
Schritt 6
Die Lambda-Funktion verwendet Amazon DynamoDB , um die Anwendungsfallkonfigurationen nach Bedarf abzurufen.
Schritt 7
Die Lambda-Funktion verwendet Benutzereingaben und relevante Anwendungsfallkonfigurationen, um Anforderungsnutzdaten zu erstellen und an Amazon-Bedrock-Agenten zu senden, um die Benutzerabsicht zu erfüllen.Schritt 8
Wenn die Antwort von den Agenten von Amazon Bedrock zurückkommt, sendet die Lambda-Funktion die Antwort über den API-Gateway-WebSocket zurück, damit sie von der Client-Anwendung verarbeitet werden kann.Schritt 9
Mithilfe von Amazon CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Bereitstellung überwachen können.
-
Anwendungsfall-Text
-
Zum Vergrößern klicken
Schritt 1
Admin-Benutzer stellen den Anwendungsfall mithilfe des Bereitstellungs-Dashboards bereit. Geschäftsanwender melden sich bei der Benutzeroberfläche des Anwendungsfalls an.
Schritt 2
CloudFront stellt die Web-Benutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.Schritt 3
Die Webbenutzeroberfläche nutzt eine WebSocket-Integration, die mit API-Gateway erstellt wurde. API Gateway wird von einer benutzerdefinierten Lambda -Authorizer-Funktion unterstützt, die die entsprechende IAM-Richtlinie basierend auf der Amazon Cognito-Gruppe zurückgibt, zu der der authentifizierende Benutzer gehört. Die Richtlinie wird in DynamoDB gespeichert.Schritt 4
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway.
Schritt 5
Eingehende Anfragen des Geschäftsbenutzers werden vom API-Gateway an eine Amazon SQS-Warteschlange und dann an den LangChain Orchestrator weitergeleitet. Der LangChain Orchestrator ist eine Sammlung von Lambda-Funktionen und -Schichten, die die Geschäftslogik für die Erfüllung von Anforderungen von Business-Benutzern bereitstellen.Die Warteschlange ermöglicht den asynchronen Betrieb des API Gateway zur Lambda Integration. Die Warteschlange übergibt Verbindungsinformationen an die Lambda-Funktionen, die dann die Ergebnisse direkt an die API-Gateway-WebSocket-Verbindung zurücksenden, um lang laufende Inferenzaufrufe zu unterstützen.
Schritt 6
Der LangChain Orchestrator verwendet DynamoDB , um die konfigurierten LLM-Optionen und die erforderlichen Sitzungsinformationen (z. B. den Chat-Verlauf) abzurufen.Schritt 7
Wenn für die Bereitstellung eine Wissensdatenbank konfiguriert ist, nutzt der LangChain Orchestrator Amazon Kendra oder Wissensdatenbanken für Amazon Bedrock, um eine Suchanfrage zum Abrufen von Dokumentauszügen auszuführen.Schritt 8
Mithilfe des Chat-Verlaufs, der Abfrage und des Kontexts aus der Wissensdatenbank erstellt der LangChain Orchestratorden endgültigen Prompt und sendet die Anfrage an das LLM, das in Amazon Bedrock oder Amazon SageMaker gehostet wird.Schritt 9
Wenn die Antwort vom LLM zurückgegeben wird, streamt der LangChain Orchestrator die Antwort zurück über den API-Gateway-WebSocket, damit diese von der Client-Anwendung verarbeitet wird.Schritt 10
Mithilfe von CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Bereitstellung überwachen können.Schritt 1
Admin-Benutzer stellen den Anwendungsfall mithilfe des Bereitstellungs-Dashboards bereit. Geschäftsanwender melden sich bei der Benutzeroberfläche des Anwendungsfalls an.
Schritt 2
CloudFront stellt die Web-Benutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.Schritt 3
Die Webbenutzeroberfläche nutzt eine WebSocket-Integration, die mit API-Gateway erstellt wurde. API Gateway wird von einer benutzerdefinierten Lambda -Authorizer-Funktion unterstützt, die die entsprechende IAM-Richtlinie basierend auf der Amazon Cognito-Gruppe zurückgibt, zu der der authentifizierende Benutzer gehört. Die Richtlinie wird in DynamoDB gespeichert.Schritt 4
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway.
Schritt 5
Eingehende Anfragen des Geschäftsbenutzers werden vom API-Gateway an eine Amazon SQS-Warteschlange und dann an den LangChain Orchestrator weitergeleitet. Der LangChain Orchestrator ist eine Sammlung von Lambda-Funktionen und -Schichten, die die Geschäftslogik für die Erfüllung von Anforderungen von Business-Benutzern bereitstellen.Die Warteschlange ermöglicht den asynchronen Betrieb des API Gateway zur Lambda Integration. Die Warteschlange übergibt Verbindungsinformationen an die Lambda-Funktionen, die dann die Ergebnisse direkt an die API-Gateway-WebSocket-Verbindung zurücksenden, um lang laufende Inferenzaufrufe zu unterstützen.
Schritt 6
Der LangChain Orchestrator verwendet DynamoDB , um die konfigurierten LLM-Optionen und die erforderlichen Sitzungsinformationen (z. B. den Chat-Verlauf) abzurufen.Schritt 7
Wenn für die Bereitstellung eine Wissensdatenbank konfiguriert ist, nutzt der LangChain Orchestrator Amazon Kendra oder Wissensdatenbanken für Amazon Bedrock, um eine Suchanfrage zum Abrufen von Dokumentauszügen auszuführen.Schritt 8
Mithilfe des Chat-Verlaufs, der Abfrage und des Kontexts aus der Wissensdatenbank erstellt der LangChain Orchestratorden endgültigen Prompt und sendet die Anfrage an das LLM, das in Amazon Bedrock oder Amazon SageMaker gehostet wird.Schritt 9
Wenn die Antwort vom LLM zurückgegeben wird, streamt der LangChain Orchestrator die Antwort zurück über den API-Gateway-WebSocket, damit diese von der Client-Anwendung verarbeitet wird.Schritt 10
Mithilfe von CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Bereitstellung überwachen können. -
Bereitstellungs-Dashboard
-
Zum Vergrößern klicken
Schritt 1
Admin-Benutzer melden sich bei der Benutzeroberfläche des Bereitstellungs-Dashboards an.Schritt 2
CloudFront stellt die Web-Benutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.
Schritt 3
AWS WAF schützt die APIs vor Angriffen. Diese Lösung konfiguriert eine Reihe von Regeln, die als Web-Zugriffssteuerungsliste (Web-ACL) bezeichnet werden und Webanfragen auf der Grundlage konfigurierbarer, benutzerdefinierter Websicherheitsregeln und -bedingungen zulassen, blockieren oder zählen.
Schritt 4
Die Webbenutzeroberfläche nutzt eine Reihe von REST-APIs, die mithilfe von API Gateway verfügbar gemacht werden.
Schritt 5
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway. Eine DynamoDB-Tabelle speichert die IAM-Richtlinie autorisierter Benutzer.Schritt 6
Lambda stellt die Geschäftslogik für die REST-Endpunkte bereit. Diese unterstützende Lambda-Funktion verwaltet und erstellt die erforderlichen Ressourcen für die Durchführung von Anwendungsfall-Bereitstellungen mit AWS CloudFormation.Schritt 7
DynamoDB speichert die Liste der Bereitstellungen.Schritt 8
Wenn ein neuer Anwendungsfall vom Admin-Benutzer erstellt wird, initiiert die unterstützende Lambda-Funktion ein CloudFormation-Stack-Erstellungsereignis für den angeforderten Anwendungsfall.Schritt 9
Alle vom Admin-Benutzer im Bereitstellungsassistenten bereitgestellten LLM-Konfigurationsoptionen werden in DynamoDB gespeichert. Die Bereitstellung verwendet diese DynamoDB Tabelle, um den LLM zur Laufzeit zu konfigurieren.
Schritt 10
Mithilfe von CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Lösung überwachen können.
Schritt 1
Admin-Benutzer melden sich bei der Benutzeroberfläche des Bereitstellungs-Dashboards an.Schritt 2
CloudFront stellt die Web-Benutzeroberfläche bereit, die in einem S3-Bucket gehostet wird.
Schritt 3
AWS WAF schützt die APIs vor Angriffen. Diese Lösung konfiguriert eine Reihe von Regeln, die als Web-Zugriffssteuerungsliste (Web-ACL) bezeichnet werden und Webanfragen auf der Grundlage konfigurierbarer, benutzerdefinierter Websicherheitsregeln und -bedingungen zulassen, blockieren oder zählen.
Schritt 4
Die Webbenutzeroberfläche nutzt eine Reihe von REST-APIs, die mithilfe von API Gateway verfügbar gemacht werden.
Schritt 5
Amazon Cognito authentifiziert Benutzer und unterstützt sowohl die CloudFront-Webbenutzeroberfläche als auch das API Gateway. Eine DynamoDB-Tabelle speichert die IAM-Richtlinie autorisierter Benutzer.Schritt 6
Lambda stellt die Geschäftslogik für die REST-Endpunkte bereit. Diese unterstützende Lambda-Funktion verwaltet und erstellt die erforderlichen Ressourcen für die Durchführung von Anwendungsfall-Bereitstellungen mit AWS CloudFormation.Schritt 7
DynamoDB speichert die Liste der Bereitstellungen.Schritt 8
Wenn ein neuer Anwendungsfall vom Admin-Benutzer erstellt wird, initiiert die unterstützende Lambda-Funktion ein CloudFormation-Stack-Erstellungsereignis für den angeforderten Anwendungsfall.Schritt 9
Alle vom Admin-Benutzer im Bereitstellungsassistenten bereitgestellten LLM-Konfigurationsoptionen werden in DynamoDB gespeichert. Die Bereitstellung verwendet diese DynamoDB Tabelle, um den LLM zur Laufzeit zu konfigurieren.
Schritt 10
Mithilfe von CloudWatch sammelt diese Lösung Betriebsmetriken von verschiedenen Services, um benutzerdefinierte Dashboards zu generieren, mit denen Sie die Leistung und den Betriebsstatus der Lösung überwachen können.
- Datum der Veröffentlichung
Ähnliche Inhalte
Der einfachste Weg, Anwendungen für generative KI mit Basismodellen zu erstellen und zu skalieren.
Dieser Leitfaden zeigt, wie Sie ein von Amazon SageMaker JumpStart bereitgestelltes Modell der generativen künstlichen Intelligenz (KI) einsetzen, um mithilfe des AWS Cloud Development Kit (AWS CDK) einen asynchronen SageMaker-Endpunkt zu erstellen.
Dieser Leitfaden zeigt, wie eine Anwendung erstellt wird, mit der Benutzer mithilfe von Abfragen in natürlicher Sprache (NLQ) Fragen direkt an relationale Datenbanken stellen können.
Steigern Sie die Produktivität, schaffen Sie differenzierte Erlebnisse und führen Sie Innovationen mit AWS schneller ein.
Diese Fallstudie zeigt, wie das Rundfunkunternehmen Megamedia einen generativen KI-gestützten Chatbot entwickelt hat, um den Zugriff auf wichtige öffentliche Informationen mithilfe von AWS zu vereinfachen.