Amazon OpenSearch Service 常見問答集

一般問題

Amazon OpenSearch Service 是一項受管服務,可讓您輕鬆執行互動式日誌分析、即時應用程式監控、網站搜尋以及其他動作。OpenSearch 是一款源自 Elasticsearch 的開放原始碼、分散式搜尋和分析套件。Amazon OpenSearch Service 提供最新版本的 OpenSearch,支援 19 個版本的 Elasticsearch (1.5 到 7.10 版本),以及由 OpenSearch 儀表板和 Kibana (1.5 到 7.10 版本) 提供支援的視覺化功能。Amazon OpenSearch Service 目前擁有數萬活躍客戶,管理數十萬個叢集,每月可處理數萬億個請求。如需詳細資訊,請參閱 Amazon OpenSearch Service 常見問答集

Amazon OpenSearch Service 提供最新版本的 OpenSearch 並支援 19 個版本的 Elasticsearch (1.5 到 7.10 版本)。如需詳細資訊,請參閱我們的文件

Amazon OpenSearch Service 網域是使用 Amazon OpenSearch Service 主控台、CLI 或 API 建立的 Elasticsearch (1.5 到 7.10) 或 OpenSearch 叢集。每個網域都是雲端中的 OpenSearch 或 Elasticsearch 叢集,其中包含您指定的運算和儲存資源。您可以建立和刪除網域、定義基礎設施屬性,以及控制存取和安全性。您可以執行一或多個 Amazon OpenSearch Service 網域。

Amazon OpenSearch Service 可管理設定網域所涉及的工作:從請求在網路環境佈建基礎設施容量到安裝 OpenSearch 或 Elasticsearch 軟體的工作都包含在內。您的網域開始執行後,Amazon OpenSearch Service 會自動化常見的管理任務,像是執行備份、監控執行個體和修補軟體。Amazon OpenSearch Service 與 Amazon CloudWatch 整合,以產生可提供網域狀態資訊的指標。Amazon OpenSearch Service 還提供修改網域執行個體和儲存設定的選項,以簡化依應用程式需求自訂網域的任務。

Amazon OpenSearch Service 支援大部分常用的 OpenSearch 和 Elasticsearch API,因此您在 Elasticsearch (最高至 7.10 版本) 或 OpenSearch 環境中使用的程式碼、應用程式和熱門工具都可順暢地執行。如需支援的操作完整清單,請參閱我們的文件

Amazon OpenSearch Service 提供客戶跨一、二或三個 AZ 部署執行個體的選項。執行開發或測試工作負載的客戶可以選擇一個 AZ 選項。執行生產級工作負載的客戶則應使用兩個或三個 AZ。對於需要較高可用性的工作負載,強烈建議使用三個 AZ 部署。

注意:三個 AZ 選項只能在有三個以上 AZ 的區域使用。

Amazon OpenSearch Service 在提供該服務的所有區域均支援部署三個可用區域,但美國西部 (加利佛尼亞北部) 除外,我們在這裡僅支援兩個可用區域。

Amazon OpenSearch Service 是一項全受管服務,可讓您執行和擴展 OpenSearch 叢集,而無須擔心管理、監控和維護您的基礎設施,也不必在操作 OpenSearch 叢集方面積累精深的專業知識。作為全受管服務,Amazon OpenSearch 服務目前在 AWS 上執行。不過,OpenSearch 是一套分散式、社群導向的 Apache 2.0 授權、100% 開放原始碼的搜尋和分析套件,您可以在內部部署或混合雲端和多雲端環境中執行此套件。例如,有些合作夥伴會在其他雲端平台上提供 OpenSearch,或在其應用程式中使用 OpenSearch。OpenSearch 協助您更加輕鬆地擷取、保護、搜尋、彙總、檢視和分析大量使用案例的資料,如日誌分析、應用程式搜尋、企業搜尋等。OpenSearch 提供了一個高度可擴展的系統,透過整合的視覺化工具 OpenSearch Dashboards 提供對大量資料的快速存取和回應,可讓使用者輕鬆地探索資料。OpenSearch 採用 Apache Lucene 搜尋庫技術,支援眾多搜尋和分析功能,如 K-Nearest Neighbor (KNN) 搜尋、SQL、異常偵測、機器學習共用、追蹤分析、全文搜尋等。

設定和組態

是。只要按幾下就能在主控台的網域建立精靈建立新的 Amazon OpenSearch Service 網域。建立新網域的時候,可以指定要分配到網域的執行個體數量、執行個體類型和 EBS 磁碟區。您還可以使用主控台修改或刪除現有的 Amazon OpenSearch Service 網域。

是,Amazon OpenSearch Service 已經與 Amazon VPC 整合。選擇 VPC 存取時,會將 VPC 的 IP 地址連接到您的 Amazon OpenSearch Service 網域,而且所有網路流量都不會離開 AWS 網路,也無法從網際網路存取。此外,您可以使用安全群組和 IAM 政策限制對 Amazon OpenSearch Service 網域的存取。

是。AWS CloudFormation 支援 Amazon OpenSearch Service。如需詳細資訊,請參閱 CloudFormation 範本參考文件。

是。您可以為網域設定專用主節點。選擇專用主節點組態時,可以指定執行個體類型和執行個體數。

是。您可以在相同的 Amazon OpenSearch Service 網域中建立多個 Elasticsearch 或 OpenSearch 索引。Elasticsearch 和 OpenSearch 會將索引和任何關聯的複本自動分發到分配給網域的各個執行個體。

Amazon OpenSearch Service 支援三種資料擷取選項:

  • 針對大量資料,我們建議使用 Amazon Kinesis Data Firehose,它是一種全受管服務,可自動擴展以因應資料的輸送量,而且不需要全程管理。它也能夠在載入資料之前,先對資料進行轉換、批次及壓縮處理。
  • Amazon OpenSearch Service 支援與 Logstash 的整合。對於從您的 Logstash 實作送達的所有日誌,您可以將 Amazon OpenSearch Service 網域設定為這些日誌的資料存放區。
  • 您可以使用原生 Elasticsearch (最高至 7.10 版本) 或 OpenSearch API (如索引和大量 API) 將資料載入網域。

是。Amazon OpenSearch Service 支援與 Logstash 的整合。您可以將 Amazon OpenSearch Service 網域設定為後端存放區,以存放所有來自 Logstash 實作的日誌。您可以在 Amazon OpenSearch Service 網域上設定存取控制,以使用請求簽名驗證來自 Logstash 實作的呼叫,或使用以資源為基礎的 IAM 政策,包含執行 Logstash 實作的執行個體 IP 地址。

是。Amazon OpenSearch Service 提供由 OpenSearch 儀表板和 Kibana (1.5 到 7.10 版本) 支援的視覺化功能。

您可以選擇本機執行個體儲存體或 EBS 磁碟區。建立網域時,如果選擇 EBS 儲存,可視需要增加和減少儲存磁碟區的大小。

您可以選擇磁帶、一般用途和佈建 IOPS EBS 磁碟區。

是。Amazon OpenSearch Service 根據選擇的執行個體和/或關聯的 EBS 磁碟區大小部署儲存空間。每個節點的最大儲存為 24 TB,包含 R6g.12xlarge 執行個體和 EBS gp3 儲存。每個 Amazon OpenSearch Service 網域預設最多允許 80 個資料節點,您可以在單一網域分配約 1920 TB 的儲存空間。您可以透過 AWS Support Center 建立案例,請求將服務限制提升為每個網域 200 個執行個體。限制為 200 個執行個體時,您可以在單一網域分配約 3 PB 的儲存空間。

如果您在一個 AZ 部署資料執行個體,專用主執行個體也會部署在相同的 AZ。然而,如果您在兩個或三個 AZ 部署資料執行個體,Amazon OpenSearch Service 會自動將專用主執行個體分配到三個 AZ。這個規則的例外狀況包括如果區域只有兩個 AZ,或者您選擇的主執行個體是無法在所有 AZ 使用的前幾代執行個體類型。如需詳細資訊,請參閱我們的文件

您可以使用 AWS 主控台、CLI 或軟體開發套件,在現有或新的網域啟用三個 AZ 部署。如需詳細資訊,請參閱我們的文件

否,Amazon OpenSearch Service 不會收取啟用三個 AZ 部署的任何費用。您只需為網域中的執行個體數量,而非部署的 AZ 數量付費。

為多個 AZ 設定的所有網域都已啟用區域感知,以確保將碎片分配到各個可用區域。您現在可以在主控台明確選擇兩個或三個 AZ 部署。之前設定「區域感知」的網域將持續在兩個 AZ 進行部署,除非重新設定。如需詳細資訊,請參閱我們的文件

如果 AZ 中的一或多個執行個體無法連接或運作,Amazon OpenSearch Service 會自動嘗試在相同的 AZ 啟動新的執行個體,以替換受影響的執行個體。在少數情況下,新執行個體無法在 AZ 啟動,如果已將網域設定為跨多個 AZ 部署執行個體,Amazon OpenSearch Service 會在其他可用 AZ 啟動新的執行個體。解決 AZ 問題之後,Amazon OpenSearch Service 會重新平衡執行個體,使其在網域設定的 AZ 平均分配。如需詳細資訊,請參閱我們的文件

即使設定一個複本,我們還是建議您使用三個 AZ。如果三個 AZ 網域發生 AZ 中斷,您只會喪失三分之一的容量,但是如果在兩個 AZ 網域發生中斷,您將會喪失一半的容量,造成更大的破壞。此外,在三個 AZ 網域,當一個 AZ 中斷,Amazon OpenSearch Service 可以回復到剩餘的兩個 AZ,且仍然可支援跨 AZ 複寫。在兩個 AZ 領域,如果一個 AZ 中斷,您將喪失跨 AZ 複寫的能力,進一步降低可用性。如需詳細資訊,請參閱我們的文件

網域部署的 AZ 數量會對應到您為 VPC 網域設定的子網路數量。您需要在 VPC 網域至少設定三個子網路才能啟用三個 AZ 部署。如需設定 VPC 的詳細資訊,請參閱我們的文件

管理

是。擁有公有網際網路存取權的程式可透過公有端點存取 Amazon OpenSearch Service 網域。如果您的資料中心已透過 Direct Connect 或 SSH 通道連接 Amazon VPC,也可使用 VPC 存取。在這兩種情況下,您可以設定 IAM 政策和安全群組,允許在 AWS 以外的伺服器上執行的程式存取您的 Amazon OpenSearch Service 網域。 按一下這裡深入了解已簽署的請求。

若要從現有 Elasticsearch 或 OpenSearch 叢集移轉資料,必須建立現有叢集的快照,並將該快照存放在 Amazon S3 儲存貯體中。之後,您可以建立新的 Amazon OpenSearch Service 網域,然後使用恢復 API 將資料從快照載入新建的 Amazon OpenSearch Service 網域。

Amazon OpenSearch Service 可讓您使用主控台、API 和 CLI 控制 Amazon OpenSearch Service 網域的擴展。您可以根據應用程式的需求,新增、移除或修改執行個體或儲存磁碟區來擴展 Amazon OpenSearch Service 網域。Amazon OpenSearch Service 與 Amazon CloudWatch 整合,提供 Amazon OpenSearch Service 網域狀態的相關指標,讓您做出最適當的網域擴展決策。

否。透過新增或修改執行個體和儲存磁碟區以擴展 Amazon OpenSearch Service 網域屬於線上操作,無須任何停機時間。

是。如果您為 OpenSearch/Elasticsearch 索引啟用複本並使用多個可用區域,Amazon OpenSearch Service 會自動將主要和複本碎片分散到不同可用區域的執行個體。

是。Amazon OpenSearch Service 會透過 Amazon CloudWatch 公開幾個效能指標,包含節點數量、叢集運作狀態、可搜尋文件、EBS 指標 (如果適用)、CPU、記憶體以及資料和主節點的磁碟使用率。請參閱服務文件,以取得可用的 CloudWatch 指標的完整清單。

是。AWS CloudTrail 是一項 Web 服務,用於記錄您帳戶的 AWS API 呼叫並為您提供日誌檔案。AWS CloudTrail 產生的 AWS API 呼叫歷史記錄可用於安全分析、資源變更追蹤以及合規稽核。在 AWS CloudTrail 詳細資訊頁面進一步了解有關 AWS CloudTrail 的資訊,並透過 CloudTrail 的 AWS 管理主控台首頁開啟此功能。

快照是 Amazon OpenSearch Service 網域在某個時間點的副本。

如果因為節點故障和少見的硬體故障導致資料遺失,建立快照就非常有用。您可以使用預先載入的資料,以快照的方式恢復 Amazon OpenSearch Service 網域,或使用預先載入的資料來建立新 Amazon OpenSearch Service 網域。使用備份的另一個常見原因是用於存檔。快照存放在 Amazon S3 中。

是。根據預設,Amazon OpenSearch Service 會自動為每個 Amazon OpenSearch Service 網域建立每小時快照,並保留 14 天。

Amazon OpenSearch Service 會保留最後 14 天的自動每小時快照。

自動每小時快照不需要額外付費。快照會免費存放在 Amazon OpenSearch Service S3 儲存貯體中,並可在需要進行節點恢復時使用。

是。除了 Amazon OpenSearch Service 建立的每日自動快照,您還可以使用快照 API 建立額外的手動快照。手動快照存放在 S3 儲存貯體中,並會產生相關的 Amazon S3 使用費。

是。客戶可以建立新的 Amazon OpenSearch Service 網域,並使用 OpenSearch/Elasticsearch 恢復 API 將資料從快照載入新建的 Amazon OpenSearch Service 網域。

Amazon OpenSearch Service 保留的每日快照會隨著刪除網域一起刪除。刪除網域之前,應該考慮使用手動快照程序,在自己的 S3 儲存貯體建立網域快照。刪除 Amazon OpenSearch Service 網域時,不會影響存放在 S3 儲存貯體的快照。

Amazon OpenSearch Service 可透過 Amazon CloudWatch Logs 公開三種 Elasticsearch 或 OpenSearch 日誌:錯誤日誌、搜尋慢速日誌和索引慢速日誌。這些日誌有助於解決網域的效能和穩定性問題。

慢速日誌是可追蹤操作中各階段效能的日誌檔。OpenSearch 和 Elasticsearch 公開兩種慢速日誌類型:

  • 索引慢速日誌 – 這些日誌可提供索引程序的洞見,並可用於微調索引設定。
  • 搜尋慢速日誌 – 這些日誌可讓您了解查詢和擷取效能多快和多慢。這些日誌可協助您微調 OpenSearch 或 Elasticsearch 上任何搜尋操作類型的效能。

如需慢速日誌的完整詳細資訊,請參閱 OpenSearch 文件

您可以透過按一下主控台上的按鈕或我們的 CLI 和 API 啟用慢速日誌。如需詳細資訊,請參閱我們的文件

是。您可以更新特定索引的設定以啟用或停用其慢速日誌。如需詳細資訊,請參閱我們的文件

開啟 Amazon OpenSearch Service 中的慢速日誌可提供您將特定網域索引產生的日誌發佈到 Amazon CloudWatch Logs 的選項。不過,若要產生日誌,您必須更新一或多個索引的設定才能開始記錄日誌程序。如需設定索引組態以啟用慢速日誌的詳細資訊,請參閱我們的文件

否。日誌檔的產生取決於索引設定。若要關閉產生日誌檔功能,您必須更新索引組態。如需設定索引組態以啟用慢速日誌的詳細資訊,請參閱我們的文件

您只能變更慢速日誌的日誌精細度。OpenSearch 和 Elasticsearch 可公開慢速日誌的多層記錄。您必須在索引組態設定適當的層級。如需設定索引組態以啟用慢速日誌的詳細資訊,請參閱我們的 OpenSearch 文件

啟用慢速日誌或錯誤日誌時,Amazon OpenSearch Service 會開始將產生的日誌發佈到 CloudWatch Logs。Amazon OpenSearch Service 不會收取啟用日誌的任何費用。不過,您需要支付標準 CloudWatch 費用

OpenSearch 使用 Apache Log4j 2 及其內建的日誌層級 (從最輕微到最嚴重):TRACE、DEBUG、INFO、WARN、ERROR 和 FATAL。如果您啟用錯誤日誌,Amazon OpenSearch Service 會將 WARN、ERROR 和 FATAL 日誌行發佈到 CloudWatch,並從 DEBUG 層級選取錯誤。如需詳細資訊,請參閱我們的文件

您可以透過按一下 AWS 主控台上的按鈕或我們的 CLI 和 API 啟用錯誤日誌。如需詳細資訊,請參閱我們的文件

否,只能公開整個網域的錯誤日誌。也就是說,一旦啟用,將會發佈網域中所有索引的日誌項目。

否,錯誤日誌僅適用於 Elasticsearch 版本 5.x 和更新版本。

是。在 CloudWatch 輸入的每個日誌限制為 255,000 個字元。如果您的日誌項目大於這個限制,則會截短為 255,000 個字元。

CloudWatch 提供多種使用日誌的方法。您可以檢視日誌資料將日誌匯出到 S3,或即時處理日誌。要進一步了解,請參閱 CloudWatch Logs Developer Guide

是。Amazon OpenSearch Service 支援的所有 OpenSearch 和 Elasticsearch 版本都可啟用慢速日誌。不過,針對每個 Elasticsearch 版本指定日誌設定的方法有些許不同。有關詳細資訊,請參閱我們的文件

否。不會產生任何停機時間。每當日誌狀態更新時,我們會在背景部署新的叢集,並將現有叢集替換成新的叢集。這個程序不會產生任何停機時間。不過,由於已部署新的叢集,因此不會立即更新日誌狀態。

Amazon OpenSearch Service 目前支援任何 OpenSearch 版本或 Elasticsearch 版本 5.x 和更新版本網域的就地版本升級。我們在升級方面支援的目標版本是 5.6、6.3、6.4、6.5、6.7、6.8、7.1、7.4、7.7、7.8、7.9 和 7.10。 如需詳細資訊,請參閱我們的文件

請參閱我們的文件,以了解從各種 Elasticsearch 版本移轉的詳細資訊。

否。您的網域在整個升級過程中會維持可用狀態。不過,部分升級程序涉及重新放置碎片,可能會影響網域效能。建議您選擇於網域負載低的時段進行升級。

就地版本升級僅適用於執行 Elasticsearch 5.x 和更新版本的網域。如果您的網域版本為 5.x 或更新版本,您可以執行升級資格檢查以驗證您的網域是否可升級至所需版本。如需進一步了解,請參閱我們的文件

您可以參考我們的文件,了解為驗證升級資格所執行的測試詳細清單。

否。觸發就地版本升級後,必須等到升級完成或失敗才能變更網域組態。在升級進行期間,您可以繼續讀取和寫入資料。此外,您也可以刪除網域,如此會終止升級並將網域刪除。

版本升級程序會自動擷取系統快照,並且只有在快照成功時才會開始實際的升級。如果升級期間遇到自動化快照的開始時間,會略過該日的自動快照並於隔天繼續執行。

Amazon OpenSearch Service 在觸發升級之前會執行一系列測試,以檢查是否有任何已知問題會妨礙升級程序。如果未發生任何問題,服務就會擷取網域的快照,並在快照成功時開始升級程序。如果任一步驟發生問題,則不會觸發升級程序。

如果發生的問題不嚴重且可修正,Amazon OpenSearch Service 會自動嘗試解決問題,使升級程序得以進行。但如果問題導致升級程序無法進行,服務就會回復到升級之前擷取的快照,並記錄該錯誤。如需檢視升級程序日誌的詳細資訊,請參閱我們的文件

是。您可從 AWS 主控台檢視升級日誌,或使用 CLI 或軟體開發套件要求升級日誌。有關詳細資訊,請參閱我們的文件

否。觸發版本升級後就無法暫停或取消,而會持續到升級完成或失敗為止。

是。但是,如果您想在所有網域使用相同的版本,建議您在升級前先於所有網域執行升級資格檢查。這個額外的步驟能協助找出可能只存在某個網域上的問題。

依據資料量和叢集大小而定,完成升級可能需要幾分鐘到幾小時。

否。如果執行就地版本升級,在升級程序的過程中,也會回復您叢集中的所有資料。如果您只想升級網域,您可擷取資料的快照、刪除網域中的所有索引,然後再觸發就地版本升級。您也可建立另一個版本較新的網域,再將您的資料回復到該網域。

否,如需您學降級為更舊的版本,請聯絡 AWS Support 以還原新網域上的自動、升級前快照。如果您已為原始網域拍攝手動快照,則可自行執行此步驟。

異地同步備份 (帶備用)

帶備用的異地同步備份是 Amazon OpenSearch Service 的新部署選項,可為業務關鍵型工作負載提供高可用性和一致效能。透過備用異地同步備份 (帶備用),OpenSearch Service 受管叢集可從基礎設施故障 (例如節點中斷或單一可用區域故障) 恢復,確保即使發生單一可用區域故障,也不會影響效能或可用性。異地同步備份 (帶備用) 透過強制執行最佳實務並降低複雜性,提供簡化叢集組態和管理的額外優勢。

若要啟用異地同步備份 (帶備用),受管叢集必須符合下列條件:

  • 執行 OpenSearch 1.3 或更新的版本。
  • 在帶有 3-AZ 的 AWS 區域部署。AWS 加利佛尼亞北部區域目前不支援 3-AZ,因此不適用於異地同步備份 (帶備用)。
  • 資料節點的數量需要是 3 的倍數。
  • 資料副本 (主 + 副本) 的數目應為 3 的倍數。
  • 請遵循領導者的大小指導方針 (根據叢集中的節點數、碎片數目和映射數量建議的大小)。

透過異地同步備份 (帶備用),Amazon OpenSearch Service 可偵測某些基礎設施故障並自動從中復原。發生下列任何事件時,Amazon OpenSearch Service 會在一分鐘內自動從作用中節點容錯移轉到備用節點:

  • 遺失一個作用中 AZ 或作用中 AZ 內的所有節點
  • 失去與一個作用中 AZ 的連線
  • 作用中 AZ 內的執行個體硬體故障
  • 作用中 AZ 內節點上的儲存故障

目前異地同步備份 (帶備用) 不涵蓋以下事件:

  • 遺失主要 Quorum,因為從此事件復原可能需要幾分鐘的時間
  • 遺失多個可用區域
  • 失去與區域的連線
  • 遺失多個 AZ 中 50% 以上的節點
  • 由於工作負載特性變更導致的運算或儲存空間不足而產生的停機時間
  • 由於粗略查詢導致的停機時間
  • 遺失 Amazon OpenSearch Service 依賴的一個或多個服務,例如 ARPS 和 ALB
  • 在版本升級期間 OpenSearch 儀表板的停機時間

不需要調整。原則上,大小指導方針保持不變。異地同步備份 (帶備用) 具有先決條件,可簡化調整叢集大小所需的心理模型。考慮調整受管叢集大小的方法是,您應該查看服務工作負載所需的容量,然後增加 50% 的容量以提供備援。目前的「區域感知」選項與異地同步備份 (帶備用) 選項之間的主要差異在於如何處理備援或額外容量以維持可用性。異地同步備份 (帶備用) 需要在每個 AZ 中至少有一份資料副本,以便異地同步備份 (帶備用) 可以明確預留一個 AZ 中的容量作為備用。在 AZ 中斷或執行個體故障期間,此備用容量充當容錯移轉目標。現有模型需要您維持最佳的資源層級以服務工作負載。您將繼續監控叢集是否存在大小問題,並在工作負載特性變更時採取糾正措施。

否。Amazon OpenSearch Service 以共同的責任模型運作。您有責任確保叢集的大小符合自己的工作負載。異地同步備份 (帶備用) 提供您輕鬆設定叢集的心理模型。您應該繼續監控錯誤和延遲指標,以及儲存空間、CPU 和 RAM 使用率,確定是否存在表明叢集已過載且可能需要調整大小的訊號。

否。使用異地同步備份 (帶備用) 功能無需支付額外費用。您將繼續為在叢集上部署滿足工作負載的資源支付費用。如果您的叢集已遵循最佳實務,且 3-AZ 叢集至少有三份資料副本,則在改為使用異地同步備份 (帶備用) 時不太可能會產生額外費用。但是,如果您的叢集規模過小或沒有足夠的備援容量來服務工作負載,您將需要增加容量以改為使用異地同步備份 (帶備用),從而增強可用性和效能。從設定的總容量中預留備用容量。

服務水準協議

Amazon OpenSearch Service SLA 保證 Amazon OpenSearch Service 每個月正常執行時間百分比至少為 99.9%。

如果 Amazon OpenSearch Service 上的異地同步備份網域在任何每月帳單週期的每月正常執行時間百分比低於 99.9%,您即符合 Amazon OpenSearch Service SLA 下 Amazon OpenSearch Service 的 SLA 抵扣資格。

如需 SLA 所有條款與條件的完整詳細資訊,以及如何提交索賠的詳細資訊,請參閱 Amazon OpenSearch Service SLA 詳細資訊頁面

跨叢集複寫

跨叢集複寫是一項新功能,可讓 Amazon OpenSearch Service 客戶以低延遲自動將索引從一個叢集複製和同步到相同或不同 AWS 區域中的另一個叢集。

參與跨叢集複寫的網域需要滿足以下條件:

  • 參與網域必須為 Elasticsearch 7.10 版本
  • 參與網域需要啟用傳輸中加密
  • 參與網域需要啟用微調存取控制權 (FGAC)
  • 參與網域的版本應遵循與輪流版本升級相同的規則

是。兩個不同 AWS 區域中的網域可參與跨叢集複寫。

否。跨叢集複寫的目前實作不支援 Ultrawarm 或冷儲存。

是。您需要針對傳入和傳出 Amazon OpenSearch Service 的資料支付標準 AWS 資料傳輸費

名稱變更

我們於 2021 年 4 月 12 日宣佈啟動 OpenSearch 專案,這是一個由社群推動的 Elasticsearch 和 Kibana 開源分支。我們致力於對 OpenSearch 進行長期投資,以確保使用者繼續擁有安全、高品質、完全開源的搜尋和分析套件,以及豐富的創新功能藍圖。該專案包含 OpenSearch (源自 Elasticsearch 7.10.2) 和 OpenSearch 儀表板 (源自 Kibana 7.10.2)。我們於 2021 年 7 月 12 日推出了 OpenSearch 1.0 版本。作為我們對 OpenSearch 長期投入的一部分,我們於 2021 年 9 月 7 日在受管服務上新增了對 OpenSearch 1.0 的支援,並將名稱從 Amazon Elasticsearch Service 變更為 Amazon OpenSearch Service。在推出 OpenSearch 1.0 的同時,我們繼續支援舊版本的 Elasticsearch (直到 7.10)。除了更名之外,您可以放心,我們將繼續提供同樣出色的體驗,而不會對正在進行的營運、開發方法或業務使用產生任何影響。在此處進一步了解 OpenSearch:https://opensearch.org

我們已竭力讓此名稱變更過程無縫完成。但在某些方面 (例如新的 SDK/組態 API),我們仍需要您採取行動,以充分利用該服務。從相容性的角度來看,雖然現有 SDK 將繼續可用,但任何需要新組態 API 的新功能將僅可在新 SDK 中實現。因此,我們建議您改為使用新的 SDK。此外,無論您是否使用新的 SDK,我們強烈建議您在現有 IAM 政策中使用重新命名後的組態 API。到目前為止,您現有的 IAM 政策將可繼續使用舊的 API 定義。但是,我們將轉向新的以 API 為基礎的許可驗證,最終將要求您在您的政策中使用新的 API (特別是對於名稱發生變更的 API,例如從 CreateElasticsearchDomain 變為 CreateDomain)。請參閱文件以取得詳細資訊。

否。從回溯相容性的角度來看,我們將確保您現有的設定可繼續用於 OpenSearch 1.0。但是,我們建議您最終遷移到最新的 SDK,以取得更純粹的最新體驗,如上所述。

否。定價沒有變化。

OpenSearch 包括來自 Elasticsearch B.V. 的特定 Apache 授權的 Elasticsearch 程式碼和其他原始程式碼。Elasticsearch B.V. 不是其他原始程式碼的來源。ELASTICSEARCH 是 Elasticsearch B.V. 的註冊商標。

升級

升級至 OpenSearch 1.x 可確保您的搜尋基礎設施建置於不斷增長且動態的 Apache 授權開放原始碼專案之上,並讓您能夠存取 OpenSearch 1.2 中提供的大量創新改進和功能 (截至撰寫本文時)。 企業級安全、提醒、資料生命週期管理、可觀察性、以機器學習為基礎的異常偵測等功能,都是 OpenSearch 服務的一部分,無須額外的授權費用。

我們在升級期間使用藍/綠 (BG) 部署程序。在 BG 期間,服務以新的組態和版本將節點新增至 OpenSearch Service 叢集,從舊節點遷移資料,並在資料遷移完成時刪除舊節點。在 BG 期間,搜尋和索引 API 可供使用並正常運作。雖然 BG 旨在不干擾查詢和索引請求,但某些變更 (尤其是那些涉及安全相關設定的變更) 可能會導致儀表板在變更期間不可用。

AWS 維護 19 個版本的 Apache-2.0 授權 Elasticsearch。目前,這些版本均未被取代或計劃被取代。

是,升級將會觸發 BG 部署程序。請在這裡檢閱升級準備和步驟。

請根據您使用 RI 的具體情況,諮詢您的 AWS 客戶團隊以獲取資訊。

OpenSearch 專案 1.0 是開放原始碼 Elasticsearch 7.10.2 的一個分支。它與 Elasticsearch 7.10 連接兼容,無需變更使用方式。若要遷移,您可以將網域從 6.x 和 7.x 系列中的任何先前版本升級至 Elasticsearch 7.10 版,拍攝快照,然後將該快照還原至執行 OpenSearch Service 1.x 的網域。某些用戶端或工具包含可能導致用戶端或工具無法與 OpenSearch 服務配合使用的版本檢查。當您升級時,請啟用相容模式,以解決這些版本檢查問題。

在大多數情況下,您可以繼續使用現有的用戶端。API 和核心搜尋功能與 Elasticsearch 版本 7.10.2 相容。如果您有較舊的用戶端,用戶端可執行版本檢查,或者用戶端利用針對舊版 Elasticsearch 的功能 (如主要版本 5 或 6),則建議您嘗試讓您的用戶端達到最低支援標準 7.10.2,以確保順利過渡。

OpenSearch 專案支援各種用戶端,這些用戶端專門用於處理 Amazon OpenSearch Service 上引擎的 OpenSearch 版本。根據這些用戶端的最新 OpenSearch 用戶端和支援的程式設計語言清單,來檢查您的用戶端。

您可以啟用相容模式功能,以便與其他供應商的用戶端互操作,但請記住檢查 OpenSearch 報告的版本。啟用此設定可確保服務使用 7.10.2 版,對推出 OpenSearch 服務引擎之前開發的用戶端做出回應。

Elasticsearch 5.x 索引與 Elasticsearch 7.10 或 OpenSearch 1.x 不相容。您必須建立新的索引,並從您的來源載入資料。如果您正在執行日誌分析工作負載,可以評估您的資料保留策略是否支援在新網域上建置完整資料集時平行執行。

是,請聯絡 opensearchmigration-si-support@amazon.com 索取針對您所在區域、產業和專案複雜性的合作夥伴清單。AWS 合作夥伴網路 (APN) 合作夥伴經過培訓,並具有協助您升級的經驗。 

OpenSearch 1.0 是 Elasticsearch 7.10.2 的一個分支。OpenSearch 與 Elasticsearch 相容。如果啟用相容模式,Elasticsearch 用戶端也將與 OpenSearch 1.0 相容。

Amazon OpenSearch Service 不提供,將來也不會提供 Elasticsearch 引擎 7.10.2 之後的版本。

正如 AWS 在我們推出分支 Elasticsearch 時宣佈的那樣,我們打算圍繞 OpenSearch 建置,並且已經建置一個蓬勃發展的社群。我們發佈了 OpenSearch 藍圖,其中包含社群意見和針對功能優先級達成的共識。我們將盡一切合理努力保持與 Elasticsearch 的相容性。我們的目標是與我們的社群和 Amazon OpenSearch Service 客戶一起成長。

您可以直接從 Elasticsearch 和 Kibana 6.8.0 至 7.10.2 版升級到 OpenSearch Service 1.0,並為 Elasticsearch (ODFE) 1.x 開放發行版。針對從 ODFE 到 OpenSearch 的滾動升級,建議先升級至 ODFE 1.13,然後再升級至 OpenSearch 1.0。

遷移資源如下:

分析遷移

遷移至 Amazon OpenSearch Service

零 ETL 整合

這種與 Amazon DynamoDB 的零 ETL 整合簡化了將資料從操作資料儲存複寫至搜尋資料儲存的操作複雜性。建置和管理用來將不同資料儲存保持同步的資料管道可能有其難度且成本高昂,並且會出現難以追蹤的間歇性錯誤。此整合讓 Amazon DynamoDB 客戶能夠透過提供完全受管的解決方案,從其事務性資料中獲得近乎即時的搜尋結果,確保操作資料從 Amazon DynamoDB 寫入後,在幾秒鐘內就能在 Amazon OpenSearch Service 中使用。

Amazon OpenSearch Service 與 Amazon DynamoDB 的零 ETL 整合會使用 Amazon OpenSearch Ingestion,將操作資料從 Amazon DynamoDB 順暢地移至 Amazon OpenSearch Service。若要啟用整合,客戶首先要選擇需要複寫資料的 Amazon DynamoDB 資料表。零 ETL 整合功能會在客戶的帳戶中設定 Amazon OpenSearch Ingestion 管道,該管道負責將資料複寫至 Amazon OpenSearch Service 受管叢集或無伺服器集合。Amazon OpenSearch Ingestion 理解 Amazon DynamoDB 資料表的結構,然後使用來自 DynamoDB 資料表的現有資料啟動 Amazon OpenSearch Service 受管叢集或無伺服器集合。或者,客戶可以為將在 Amazon OpenSearch Service 中建立的索引指定結構描述。DynamoDB 資料表的任何更新也都會複寫至 Amazon OpenSearch Service,無需客戶進行任何手動操作。

此零 ETL 功能會使用 Amazon OpenSearch Ingestion,將資料從 Amazon DynamoDB 移至 Amazon OpenSearch Service,並利用 Amazon OpenSearch Ingestion 管道的原生資料轉換功能,在資料移動時加以彙總和篩選。從 Amazon DynamoDB 資料表中移動資料時,客戶可能希望刪除一些欄位或根據現有欄位的彙總建立新欄位。客戶還可以選擇為 Amazon OpenSearch Ingestion 撰寫自訂邏輯,以實現定制的轉換功能。對於其他只想將全部資料從源移至目標位置的使用者,Amazon OpenSearch Ingestion 提供開箱即用的藍圖,讓他們按幾下按鈕即可執行整合。

為確保 Amazon OpenSearch Ingestion 擁有在這兩個系統間複寫資料的必要許可,零 ETL 整合功能會建立一個 IAM 角色,該角色具有從 Amazon DynamoDB 資料表中讀取資料並寫入 Amazon OpenSearch 網域或集合所需的許可。然後,Amazon OpenSearch Ingestion 管道將擔任此角色,以確保在將資料從來源移至目標時始終保持正確的安全狀態。

您可以在 Amazon OpenSearch Ingestion 所提供的儀表板以及 Amazon CloudWatch 中的即時日誌,檢視與 Amazon DynamoDB 的零 ETL 整合的所有相關指標。客戶可以設定在超出使用者定義的閾值時觸發的自訂提醒。

OpenSearch Service 查詢引擎已重新架構,可供您分析儲存在雲端物件存放區 (例如 Amazon S3 和 S3 型資料湖) 中的操作資料。此重新架構並未複製資料。需以秒為精度時,客戶可以使用新整合的內建查詢加速功能來提升查詢效能,並建置快速載入的儀表板。

若要從 AWS 管理主控台開始使用,客戶應從執行 OpenSearch Service 2.11 版或更高版本的現有 OpenSearch Service 網域設定新的資料來源。在設定新的 Direct Query 資料來源時,客戶需要提供 Amazon S3 和 AWS Glue Data Catalog 的讀取/寫入存取權,以便利從 OpenSearch Service 查詢 Amazon S3 中的資料。客戶可以自訂 IAM 政策,以限制對 Amazon S3 中的特定儲存貯體或 AWS Glue Data Catalog 中所含資源的存取。在主控台設定新的資料來源後,客戶將前往 OpenSearch Service 設定角色型存取控制、可加快查詢效能的加速,以及選擇性地設定常用的日誌類型範本 (例如 VPC 流程日誌、Elastic Load Balancer 日誌和 NGINX 日誌) 適用的開箱即用儀表板。客戶將以 Direct Query OpenSearch 運算單位 (OCU) 的形式,按使用的運算資源付費 (將套用使用費率)。設定新的資料來源後,客戶即可直接從 OpenSearch API 或 OpenSearch 儀表板開始查詢其資料。

客戶只需為其工作負載使用的資源付費。OpenSearch Service 只會收取直接查詢外部資料以及在 OpenSearch Service 中維護選擇性索引所需的運算費用。運算容量以 OpenSearch 運算單位 (OCU) 測量,這是 Amazon OpenSearch Serverless 和 Amazon OpenSearch Ingestion 所使用的相同單位。OCU 數目直接對應於根據資料查詢或維護索引所需的 vCPU 和記憶體。客戶會看到一個以 OCU-小時運算的項目,以及直接查詢的標籤。OCU 以每分鐘精細度依小時計費。如果沒有查詢或索引活動處於作用中狀態,則不會消耗 FOCUS。Amazon S3 或 AWS Glue Data Catalog 的成本將在客戶的帳戶中個別計費。如需更多定價詳細資訊,請造訪 Amazon OpenSearch Service 定價頁面