什麼是即時資料串流?
即時資料串流包括收集和擷取來自各種資料來源的一系列資料,並即時處理該資料,以提取含義和洞察。
串流資料的範例包括客戶使用您的行動或 Web 應用程式產生的日誌檔案、電子商務採購、遊戲中的玩家活動、來自社交網路、金融交易所或地理空間服務的資訊,以及來自連線裝置或資料中心儀器的遙測結果。
即時資料串流使您能夠即時分析和處理資料,而不需等待數小時、數天或數週才能獲得答案。
即時資料串流有哪些組成部分?
來源:成千上萬的裝置或應用程式正在高速產生大量連續資料。範例包括行動裝置、Web 應用程式 (點擊流)、應用程式日誌、IoT 感應器、智慧裝置和遊戲應用程式。
串流擷取:與超過 15 項 AWS 服務 (Amazon API Gateway、 AWS IoT Core、Amazon Cloudwatch 等) 進行簡單整合,可讓您以持久且安全的方式擷取從數千台裝置產生的連續資料。
串流儲存:依據擴展、延遲和處理要求,選擇符合您儲存需求的解決方案,例如 Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose 和 Amazon Managed Streaming for Apache Kafka (Amazon MSK)。
串流處理:有多種服務可供選擇,從只需按幾下即可轉換資料並將其持續傳輸到目的地的解決方案,如 Amazon Kinesis Data Firehose,到使用各種服務的功能強大、自訂、即時應用程式和機器學習整合,如 Amazon Managed Service for Apache Flink 和 AWS Lambda。
目的地:將串流資料傳輸至一系列完全整合的資料湖、資料倉儲和分析服務,以進一步分析或長期儲存,例如 Amazon S3 、Amazon Redshift、Amazon OpenSearch Service 和 Amazon EMR。
有哪些即時資料串流使用案例?
即時資料移動
從數百萬部裝置串流資料,並即時對大量的連續高速資料執行 ETL 轉換,從而使用者能夠在產生資料後立即分析資料,然後持久地將資料儲存在資料湖、資料倉儲或資料庫中進行進一步分析。
了解 John Deere 如何即時將 ETL 串流到其資料湖中
即時分析
產生資料後立即對其進行分析,可讓整個組織即時做出決策,從而抓住商機、改善客戶體驗、防止聯網故障或即時更新關鍵業務指標。
日誌:即時擷取、處理和分析應用程式的日誌。
了解如何管理集中式 Microsoft Exchange 伺服器日誌
即時更新:透過提供關鍵決策指標、產品建議和客戶體驗的即時更新,與消費者、遊戲玩家、金融交易者等互動。
點擊流:即時了解 Web 內容的效能以及使用者與應用程式和網站的互動,包括使用者行為、花費的時間、熱門內容等。
了解 Hearst 如何建置點擊流分析解決方案,每天傳輸和處理來自全球 300 多個網站的 30TB 資料
IoT:連線至數以千計的 IoT 裝置,即時收集、處理和分析串流資料。
了解 John Deere 如何從數千種農業車輛即時串流資料,以最佳化糧食生產
事件串流處理
擷取並回應在多個應用程式之間即時發生的事件。最常見的使用案例是在數百個解耦的微型服務之間進行通訊,以及透過 Change Data Capture 維護記錄系統。
解耦微型服務之間的通訊:觸發任何微型服務時,事件可以即時傳送到資料串流,其他微型服務可以「監視」串流以了解是否發生任何事件來觸發所需動作。
Change Data Capture:多個應用程式和資料庫中的所有資料變更都可以即時串流至中央記錄系統。
AWS 上提供哪些串流服務?
AWS 提供多種使用即時資料串流的選項。
- Amazon Kinesis Data Streams 是可擴展且經久耐用的即時資料串流服務,可從數十萬個浩瀚來源持續每秒擷取數 GB 的資料。
- 只需按幾下,Amazon Kinesis Data Firehose 就可將資料串流擷取、轉換並載入 AWS 資料存放區以使用現有的商業智慧工具執行近乎即時的分析。
- Amazon Managed Service for Apache Flink 使用開放原始碼架構與資料串流處理引擎 Apache Flink 即時轉換和分析串流資料。
- Amazon Managed Streaming for Apache Kafka 是一項全受管服務,可讓您輕鬆建立和執行使用 Apache Kafka 處理串流資料的應用程式。
立即建立帳戶,開始在 AWS 上進行即時資料串流。