使用 Amazon OpenSearch Ingestion 進行資料擷取

Amazon OpenSearch Ingestion 是 Amazon OpenSearch Service 的一項功能，用於收集、轉換和路由資料至 Amazon OpenSearch Service 網域。OpenSearch Ingestion 可提高成本效益，並協助確保資料品質。OpenSearch Ingestion Service 會以無伺服器程序執行 OpenSearch Data Prepper 管道，這可依據擷取工作負載的處理需求自動擴展。 進一步了解 »

Amazon OpenSearch Service 與 Amazon S3 的零 ETL 整合

Amazon OpenSearch Service 與 Amazon S3 的零 ETL 整合是與某人的資料連線的新方法，允許客戶直接對儲存在其 Amazon S3 資料湖中不常查詢的資料，透過 ETL 使用 OpenSearch Service 的豐富互動功能。與 S3 的零 ETL 連線移除客戶建置或管理複雜 ETL 管道的需求，允許他們執行重要的查詢以衍生洞察並視覺化安全性和可觀測性資料，同時降低複製資料或管理多個分析工具的成本和操作複雜性。進一步了解 >>

與 DynamoDB 的零 ETL 整合

Amazon OpenSearch Service 與 Amazon DynamoDB 的零 ETL 整合可讓您在 Amazon DynamoDB 中使用全文和向量搜尋等進階搜尋功能。此零 ETL 整合使用 Amazon OpenSearch Ingestion，將您的資料從 Amazon DynamoDB 無縫同步到 Amazon OpenSearch Service，不需要撰寫任何自訂程式碼。此零 ETL 整合可減少在這兩個存放區之間保持資料同步所需的營運負擔和成本，使您可以專注於應用程式。進一步了解>>

使用 Amazon Kinesis Data Firehose 執行資料擷取

使用 Amazon Kinesis Firehose，您可以將資料來源的原始串流資料輕鬆轉換為 Elasticsearch 或 OpenSearch 索引要求的格式，並將其載入 Amazon OpenSearch Service，無須建立自己的資料處理管道。

若要使用這項功能，只需從 AWS 管理主控台中的 Amazon Kinesis Firehose 交付串流組態標籤選取一個 AWS Lambda 函數。Amazon Kinesis Firehose 將自動套用 AWS Lambda 函數到每筆輸入資料記錄，並將轉換後的資料載入 Amazon OpenSearch Service 索引。

Amazon Kinesis Firehose 提供預先建立的 Lambda 藍圖，這些藍圖可無須更改直接使用，或自訂以將 Apache 日誌和系統日誌這類常見的資料來源轉換為 JSON 和 CSV 格式。您也可以設定 Amazon Kinesis Firehose 自動重試失敗的任務，以及備份原始串流資料。進一步了解 »

 

使用 Logstash 執行資料擷取

Amazon OpenSearch Service 支援與 Logstash 整合，它是一個開源資料處理工具，可從來源收集資料、進行轉換，然後載入 Elasticsearch 或 OpenSearch。您可輕鬆地在 Amazon EC2 上部署 Logstash，並設定 Amazon OpenSearch Service 網域做為後端存放區，用來儲存透過 Logstash 實作時產生的所有日誌。Logstash 支援預先建立的篩選條件庫，以輕鬆執行一般轉換，例如透過模式比對將非結構化日誌資料剖析為結構化資料；重新命名、移除、取代和修改資料記錄中的欄位；以及彙總指標。 進一步了解 »

使用 Amazon CloudWatch Logs 執行資料擷取

Amazon CloudWatch Logs 可讓您透過現有系統、應用程式和自訂日誌檔來監控系統和應用程式，以及進行故障排除。您可以透過 CloudWatch Logs 訂閱設定 CloudWatch Logs 日誌群組，以近乎即時的速度將資料串流到 Amazon OpenSearch Service 網域。如果您已經使用 CloudWatch Logs 來收集日誌資料，而且想要將此資料與 Amazon OpenSearch Service 使用者共享，則這個整合非常方便。 進一步了解 »

使用 AWS IoT 執行資料擷取

AWS IoT 是一個受管的雲端平台，可讓連線裝置輕鬆安全地與雲端應用程式及其他裝置進行互動。有了 AWS IoT，您可以從連網裝置 (例如，家用電器、內嵌感應器以及電視機上盒) 擷取資料。您可以使用 AWS 管理主控台設定 AWS IoT，將資料直接載入 Amazon OpenSearch Service，讓您的客戶近乎即時地存取 IoT 資料和指標。 進一步了解 »

如何選擇正確的導入機制

您要根據特定使用案例的需求 (例如，資料延遲和資料類型)，選擇適當的擷取機制。對於大量資料，我們建議使用 Amazon Kinesis Data Firehose，它是一種全受管的服務，可自動擴展以因應資料的輸送量，而且不需要全程管理。它也可以先轉換、壓縮和分批資料，然後再將資料載入 Amazon OpenSearch Service 網域。選擇時通常也要將已使用的服務列入考慮。例如，假設您已經使用 Amazon CloudWatch Logs 收集應用程式日誌，您只需將該資料載入 Amazon OpenSearch Service 網域即可，無須執行其他操作。

後續步驟

OpenSearch 包括來自 Elasticsearch B.V. 的特定 Apache 授權的 Elasticsearch 程式碼和其他原始程式碼。Elasticsearch B.V. 不是其他原始程式碼的來源。ELASTICSEARCH 是 Elasticsearch B.V. 的註冊商標。

進一步了解 Amazon OpenSearch Service 定價

瀏覽定價頁面
準備好開始建置？
Amazon OpenSearch Service 入門
還有其他問題嗎？
聯絡我們