Vorgestellte Vorträge der re:Invent 2017
Analysieren von Streaming-Daten in Echtzeit mit Amazon Kinesis (ABD301)
Amazon Kinesis vereinfacht das Erfassen, Verarbeiten und Analysieren von Echtzeit-Streaming-Daten, damit Sie zeitnahe Einblicke erhalten und schnell auf neue Informationen reagieren können. In dieser Sitzung stellen wir eine End-to-End-Streaming-Datenlösung vor, die Kinesis Streams für die Datenaufnahme verwendet, Kinesis Analytics für die Echtzeitverarbeitung und Amazon Data Firehose für die Persistenz. Wir besprechen im Detail, wie man SQL-Abfragen mithilfe von Streaming-Daten schreibt, und besprechen bewährte Methoden zur Optimierung und Überwachung Ihrer Kinesis Analytics-Anwendungen. Schließlich unterhalten wir uns darüber, wie man die Kosten für das gesamte System abschätzen kann.
Workshop: Entwicklung Ihrer ersten Big Data-Anwendung auf AWS (ABD317)
Möchten Sie Ihr Wissen über AWS-Big Data-Webservices erweitern und Ihre erste große Datenanwendung in der Cloud starten? Wir führen Sie durch die Vereinfachung der großen Datenverarbeitung als Daten-Bus, bestehend aus Einlesen, Speichern, Verarbeiten und Visualisieren. Sie erstellen eine Big-Data-Anwendung mit AWS Managed Services wie Amazon Athena, Amazon Kinesis, Amazon DynamoDB und Amazon S3. Dabei sehen wir uns die Architekturdesignmuster für Big-Data-Anwendungen nochmal im Detail an und ermöglichen Ihnen den Zugang zu einem Take-Home-Labor, damit Sie die Anwendung selbst neu erstellen und anpassen können. Sie sollten Ihren eigenen Laptop mitbringen und mit den AWS-Services vertraut sein, damit sich diese Sitzung maximal für Sie lohnt.
Workshop: Warten Sie nicht bis morgen, um mit Streaming-Daten Echtzeiteinblicke in Ihr Unternehmen zu erhalten (ABD321)
In den letzten Jahren ist die Zahl der internetfähigen Geräte und Echtzeitdatenquellen explosionsartig angestiegen. Aus diesem Grund werden Daten nicht nur kontinuierlich, sondern auch immer schneller produziert. Unternehmen können nicht mehr stunden- oder tagelang warten, sich diese Daten zu Nutze zu machen. Um die wertvollsten Erkenntnisse zu gewinnen, müssen sie diese Daten sofort nutzen, um schnell auf neue Informationen reagieren zu können. In diesem Workshop lernen Sie, wie Sie die Vorteile von Streaming-Datenquellen nutzen können, um nahezu in Echtzeit zu analysieren und zu reagieren. Sie werden mit mehreren Anforderungen an ein realistisches Streaming-Datenszenario konfrontiert und haben die Aufgabe, eine Lösung zu entwickeln, die die Anforderungen mit Services wie Amazon Kinesis, AWS Lambda und Amazon SNS erfolgreich erfüllt.
So setzt Amazon Flex Echtzeitanalysen ein, um Pakete pünktlich zu liefern (ABD217)
Für alle Unternehmen und Kunden, die Batch-Datenanalysetools einsetzen und die Vorteile der Streaming-Analyse nutzen wollen, ist es wichtig, aus Daten schnellstmöglich umsetzbare Erkenntnisse zu gewinnen. Lernen Sie bewährte Methoden kennen, um Ihre Architektur zu erweitern – von Data Warehouses und Datenbanken bis hin zu Echtzeitlösungen. Erfahren Sie, wie Sie Amazon Kinesis nutzen können, um Echtzeit-Dateneinblicke zu erhalten und diese in Amazon Aurora, Amazon RDS, Amazon Redshift und Amazon S3 zu integrieren. Das Amazon Flex-Team beschreibt, wie es Streaming-Analysen in seiner Amazon Flex-Mobilanwendung verwendet hat, die von Amazon-Auslieferern genutzt wird, um jeden Monat Millionen von Paketen pünktlich zu liefern. Das Team spricht über die Architektur, die den Wechsel von einem Batch-Verarbeitungssystem zu einem Echtzeitsystem ermöglichte, wie es die Herausforderungen bei der Migration vorhandener Batch-Daten zu Streaming-Daten meistern konnte, und welche Vorteile die Echtzeitanalyse bietet.
Aufgezeichneten Vortrag ansehen | Präsentation herunterladen
Echtzeit-Streaming-Anwendungen auf AWS: Anwendungsfälle und Muster (ABD203)
Um am Markt erfolgreich zu sein und differenzierte Kundenerfahrungen bereitzustellen, müssen Unternehmen in der Lage sein, Live-Daten in Echtzeit zu nutzen, um schnelle Entscheidungen zu treffen. In dieser Sitzung lernen Sie die gängigen Anwendungsfälle und Architekturen der Streaming-Datenverarbeitung kennen. Zuerst geben wir einen Überblick über Streaming-Daten und AWS-Streaming-Datenfunktionen. Danach sehen wir uns einige Kundenbeispiele und die dazugehörigen Echtzeit-Streaming-Anwendungen an. Schließlich befassen wir uns im Detail mit den gängigen Architekturen und Designmustern der prominentesten Anwendungsfälle bzgl. Streaming-Daten.
Aufgezeichneten Vortrag ansehen | Präsentation herunterladen
Cox Automotive erreicht höchste Skalierbarkeit durch Splunk Cloud & AWS (ABD208)
In dieser Sitzung erfahren Sie, wie Cox Automotive Splunk Cloud für Echtzeittransparenz in seinen AWS- und Hybridumgebungen einsetzt, um nahezu augenblickliche MTTIs zu erreichen und somit Zwischenfälle bei Auktionen um 90 % zu reduzieren und Ausfälle proaktiv vorherzusagen. Wir stellen außerdem eine mit Spannung erwartete Funktion vor, die es Ihnen ermöglicht, mit Splunk und Amazon Data Firehose Daten in Echtzeit zu transformieren und zu analysieren, um wertvolle Erkenntnisse aus Ihren Cloud-Ressourcen zu gewinnen. Mit Splunk Enterprise und Splunk Cloud erhalten Sie jetzt schneller und einfacher denn je Zugang zu analysebasierter Infrastrukturüberwachung.
Aufgezeichnete Webinare
Protokollanalysen in Echtzeit mit Amazon Data Firehose (Juni 2017)
Die Protokollanalyse ist ein häufiger Big Data-Anwendungsfall. Dabei werden Protokolldaten von Websites, Mobilgeräten, Servern, Sensoren usw. für viele verschiedene Anwendungen – etwa das digitale Marketing, die Anwendungsüberwachung, die Betrugserkennung, Anzeigentechnologien, das Gaming und das IoT – analysiert. Indem Sie Protokollanalysen in Echtzeit erstellen, wird der Zeitraum der Gewinnung neuer Informationen verkürzt. So können Sie binnen Sekunden oder Minuten Einblicke gewinnen und müssen dafür keine Stunden oder Tage mehr warten. In dieser Sitzung erfahren Sie, wie Sie Protokolle ohne Infrastruktur mit Amazon Data Firehose erfassen und bereitstellen. Wir zeigen Ihnen, wie Amazon Managed Service für Apache Flink zur Verarbeitung von Protokolldaten in Echtzeit genutzt werden kann, um reaktionsschnelle Analysen zu erstellen. Abschließend erklären wir Ihnen, wie Amazon Elasticsearch Service verwendet werden kann, um Ihre Protokolldaten interaktiv abzufragen und zu visualisieren.
Lernziele:
- Verstehen, wie Sie einfach eine durchgehende Echtzeit-Lösung für die Protokollanalyse erstellen können
- Einen Überblick über das Sammeln und Verarbeiten von Daten in Echtzeit mit Amazon Kinesis erhalten
- Lernen, wie Sie Ihre Protokolldaten mit Amazon Elasticsearch Service interaktiv abfragen und visualisieren können
ETL-Streaming für Data Lakes mit Amazon Data Firehose (Mai 2017)
Mithilfe von Data Lakes können Ihre Mitarbeiter im gesamten Unternehmen auf riesige Volumina unstrukturierter und strukturierter Daten aus unterschiedlichen Quellen zugreifen und folglich analysieren. Viele dieser Datenquellen generieren Daten schnell und durchgehend. Die zeitnahe Bereitstellung dieser Daten zu Analysezwecken erfordert eine Streaming-Lösung, die dauerhaft und kosteneffizient diese Daten in Ihren Data Lake einspeisen kann. Amazon Data Firehose ist ein vollständig verwalteter Dienst, der das Vorbereiten und Laden von Streaming-Daten für bzw. in AWS vereinfacht. In diesem Tech Talk bieten wir Ihnen eine Übersicht über Firehose und vertiefen, wie Sie den Dienst zum Erfassen, Umwandeln, Verarbeiten in Stapeln, Komprimieren und Laden von Echtzeit-Streaming-Daten in Ihre Amazon S3 Data Lakes einsetzen können.
Lernziele:
- Verstehen der wichtigsten Anforderungen für das Sammeln, Aufbereiten und Laden von Streaming-Daten in Data Lakes
- Einen Überblick über die Datenübertragung mit Firehose erlangen.
- Lernen, wie man mit Firehose Datentransformationen durchführen kann.
So verschafft sich TrueCar mit Splunk Cloud direkt umsetzbare Erkenntnisse
Die vollständige Verschiebung eines Rechenzentrums in die Cloud ist keine einfache Aufgabe! Genau damit sah sich aber das für die Technologieplattform von TrueCar verantwortliche Technikteam konfrontiert. Und weil das noch nicht genug war, sollte das Team zur Steigerung der Infrastruktur- und Anwendungsleistung, für zusätzliche Sicherheit und die Förderung von Produktverbesserungen zusätzlich nach einer skalierbareren Überwachungs- und Fehlerbehebungslösung Ausschau halten. Das Unternehmen wurde mit Splunk Cloud auf AWS fündig und implementierte diese Lösung innerhalb eines Tages! In diesem Webinar erfahren Sie, wie TrueCar dank der Funktionen von AWS und Splunk mehr Echtzeiteinblick in seine Daten gewinnt.
Erfahren Sie in diesem Webinar am Beispiel von TrueCar, wie Ihnen Splunk Cloud auf AWS mit Amazon Data Firehose helfen kann:
- Einblicke in historische Daten dank zusätzlicher Datenaufbewahrung
- Transparente AWS-Gebühren
- Einblicke in die Sicherheit und Bedrohungserkennung
Blog-Beiträge
Amazon Data Firehose unterstützt jetzt die dynamische Partitionierung auf Amazon S3
von Jeremy Ber und Michael Greenshtein, 02.09.2021
CloudWatch Metric Streams – Senden Sie AWS-Metriken in Echtzeit an Partner und an Ihre Apps
von Jeff Barr, 31.03.2021
Streamen, transformieren und analysieren Sie XML-Daten in Echtzeit mit Amazon Kinesis, AWS Lambda und Amazon Redshift
von Sakti Mishra, 18.08.2020
Amazon-Data-Firehose-Datentransformation mit AWS Lambda
von Bryan Liston, 13.02.2027
Streamen Sie CDC in einen Amazon S3 Data Lake im Parquet-Format mit AWS DMS
von Viral Shah, 08.09.2020
Benutzerdefinierte Amazon-Data-Firehose-Präfixe für Amazon S3-Objekte
von Rajeev Chakrabarti, 22.04.2019
Streamen Sie Daten mit Amazon Data Firehose an einen HTTP-Endpunkt
von Imtiaz Sayed und Masudur Rahaman Sayem, 29.06.2020
Erfassen von Datenänderungen in Amazon Aurora mit AWS Lambda
von Re Alvarez-Parmar, 05.09.2017
Streamen von Daten aus Amazon DynamoDB an Amazon Aurora mit AWS Lambda und Amazon Data Firehose
von Aravind Kodandaramaiah, 04.05.2017
Analysieren von VPC-Flussprotokollen mit Amazon Athena und Amazon QuickSight
von Ian Robinson, Chaitanya Shah und Ben Snively, 09.03.2017
Erste Schritte mit Amazon Data Firehose