AWS DataSync 是一種線上資料移動和探索服務,可簡化並加速向 AWS 的資料遷移,以及在內部部署儲存、邊緣節點、其他雲端供應商和 AWS 儲存之間快速、安全地移動資料。
Discovery
AWS DataSync Discovery 可讓您深入了解內部部署儲存效能和使用率,並提供將資料遷移至 AWS 儲存服務的建議,以協助您簡化遷移規劃並加速向 AWS 的資料遷移,如 Amazon FSx for NetApp ONTAP、Amazon FSx for Windows File Server 和 Amazon Elastic File System (EFS)。 AWS DataSync Discovery 讓您透過自動化資料收集和分析,更好地了解您的內部部署儲存效能和容量用量,進而能夠快速識別要遷移的資料,並使用產生的建議來選擇符合您的效能和容量需求的 AWS 儲存服務。
資料移動
針對線上資料傳輸,AWS DataSync 可簡化、自動化並加速在內部部署儲存、邊緣節點或其他雲端供應商和 AWS 儲存服務之間複製大量資料。DataSync 可在網路檔案系統 (NFS) 共用、伺服器訊息區塊 (SMB) 共用、Hadoop 分散式檔案系統 (HDFS)、自主管理物件儲存、Google Cloud Storage、Azure Files、包括 Azure Data Lake Storage Gen2 的 Azure Blob Storage、Wasabi Cloud Storage、Oracle Cloud Storage、Cloudflare R2 Storage、DigitalOcean Spaces、Backblaze B2 Cloud Storage、AWS Snowcone、Snows 上的 Amazon S3 相容儲存、Amazon Simple Storage Service (Amazon S3)、Amazon Elastic File System (Amazon EFS) 檔案系統、Amazon FSx for Windows File Server 檔案系統、Amazon FSx for Lustre 檔案系統、Amazon FSx for OpenZFS 檔案系統和 Amazon FSx for NetApp ONTAP 檔案系統中來回複製資料。
了解詳情:
- 透過 AWS DataSync,不論資料儲存在何處,都能簡化多雲端資料移動
- 使用 AWS DataSync 將 Google Cloud Storage 移轉至 Amazon S3
- 使用 Google Cloud Storage 設定 AWS DataSync 傳輸
- 使用 Microsoft Azure Blob Storage 設定 AWS DataSync 傳輸
- 使用 AWS DataSync 將 Azure Blob Storage 移轉至 Amazon S3
- 如何使用 AWS 將資料從 Azure Files SMB 共用移動至 AWS
- DataSync使用 AWS DataSync 將 DigitalOcean Spaces 移轉至 Amazon S3
AWS DataSync 提供以下資料移動功能。
多雲端資料移動
AWS DataSync 可協助您在 AWS、內部部署檔案系統和其他雲端儲存服務之間移動資料。AWS 持續擴充其雲端服務,協助客戶簡化、管理和治理其混合雲端與多雲端基礎設施和應用程式。對於在多雲端環境中操作的客戶,AWS DataSync 現在可以在各種雲端上的儲存裝置之間移動資料。除了支援 Google Cloud Storage、Azure Files 和 Azure Blob Storage 之外,使用 DataSync,您還可以在其他雲端上的 S3 相容儲存和 AWS 儲存服務 (例如 Amazon S3) 之間大規模移動物件資料。這包括支援 Wasabi Cloud、Oracle Cloud、Cloudflare、DigitalOcean Spaces 和 Backblaze 上的物件儲存。
專門打造的網路通訊協定
AWS DataSync 採用 AWS 設計的傳輸協定,由於從儲存協定分離,因此能加快資料移動的速度。此協定會針對透過網路傳送資料的方式、時間點和種類進行優化。DataSync 執行的網路優化功能包括增量傳輸、內嵌壓縮及疏鬆檔案偵測,還有內嵌資料驗證與加密。
本機 DataSync 代理程式與雲端服務元件間的連線是多執行緒作業,藉此最大化廣域網路 (WAN) 的傳輸效能。單個 DataSync 任務能夠透過內部部署環境和 AWS 之間的網路連結完全使用 10 Gbps。
頻寬優化與控制
傳輸熱資料或冷資料不應妨礙您的業務。DataSync 配備精密控制以優化頻寬消耗。在非工作時間調節傳輸速度高達 10 Gbps,並在其他地方需要網路可用性時設定限制。
資料傳輸排程
DataSync 內建排程機制,可讓您定期執行資料傳輸任務,以偵測並將來源儲存系統的變更複製到目的地。您可以使用 AWS DataSync Console 或 AWS Command Line Interface (CLI) 排定您的任務,而無需編寫指令碼來管理重複的傳輸。任務排程會以 AWS 主控台中直接提供的每小時、每日或每週選項,自動按您設定的排程執行任務。
資料加密與驗證
您的所有資料在 DataSync 代理程式與 DataSync 服務之間傳輸時,都會使用 Transport Layer Security (TLS) 進行加密。DataSync 支援針對 Amazon S3 儲存貯體使用預設靜態加密。DataSync 還支援對 Amazon EFS 和 Amazon FSx 的靜態資料和傳輸中資料進行加密。
DataSync 確保資料到達時完整無缺。這項服務會針對每項傳輸作業執行完整性檢查 (包括傳輸中與靜態資料)。這些檢查可確保寫入目的地的資料與從來源讀取的資料是一致的。
檔案系統整合與中繼資料保存
DataSync 代理程式使用產業標準 NFS 和 SMB 協定連線到您現有的儲存系統,並作為 HDFS 用戶端連線到 Hadoop 叢集,使用 Amazon S3 應用程式介面 (API) 連線至您的自我管理物件儲存或 Google Cloud Storage,或者使用 Blob API 連線至 Azure Blob Storage。代理程式可將資料快速地傳輸並寫入到您指定的 Amazon S3 儲存貯體、Amazon EFS 檔案系統、Amazon FSx for Windows File Server 檔案系統或 Amazon FSx 檔案系統。
在 Simple Storage Service (Amazon S3)、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre、Amazon FSx for OpenZFS 或 Amazon FSx for NetApp ONTAP 之間複製物件及/或資料時,會保留檔案許可和中繼資料。
DataSync 在將資料複製到 Simple Storage Service (Amazon S3) 時,會自動將每個檔案轉換成具有一對一關係的單一 S3 物件,並將來自 NFS 共享或 HDFS 的 POSIX 中繼資料保存為 Amazon S3 物件中繼資料。當您將包含檔案系統中繼資料的物件複製回檔案格式時,就會還原 DataSync 複製到 S3 的原始檔案中繼資料。
與 AWS 基礎設施和管理服務整合
DataSync 可完美搭配 AWS 安全、監控和稽核服務,簡化資料移動,也能為您的 IT、儲存和 DevOps 團隊提供一致的管理體驗。除了與 Amazon S3、Amazon EFS 和 Amazon FSx 整合,DataSync 還支援 AWS Virtual Private Cloud (VPC) 端點 (採用 AWS PrivateLink 技術),以便將檔案直接移至 Amazon VPC。與其他 AWS 服務一樣,您可使用 AWS Identity and Access Management (IAM) 安全地管理 DataSync 的存取。同樣,您可以設定 IAM 角色來控制存取您 Amazon S3 儲存貯體的服務。
監控和稽核
DataSync 任務報告提供 JSON 格式的輸出檔案,其中包括所有已傳輸、略過、驗證和刪除檔案的摘要和詳細報告,讓您能夠輕鬆地驗證和稽核每項任務執行的資料傳輸操作。任務報告會在傳輸任務完成後產生,並存放在 Amazon S3 儲存貯體中。這可讓您輕鬆地使用 AWS Glue、Amazon Athena 和 Amazon QuickSight 等 AWS 服務,自動編目、分析和視覺化任務報告,以檢查所有任務執行中的資料傳輸進度。任務報告簡化了追蹤與稽核,讓您能夠輕鬆了解常見的任務執行趨勢或故障模式,並獲得對資料傳輸程序的關鍵洞察。
有了 Amazon CloudWatch,您可以監控目前進行中的任一 DataSync 傳輸狀態,並檢查先前的資料傳輸歷史記錄。透過 CloudWatch 指標,您可以查看已複製的檔案數目和資料量。您可以查閱 CloudWatch Logs,了解在給定時間傳輸的單個檔案,以及 DataSync 的完整性驗證結果。這可簡化監控、報告和疑難排解,讓您能夠及時向利益相關者提供更新。此外,在您的傳輸任務完成時觸發的 CloudWatch Events 也能自動化相依的工作流程。針對稽核用途,您可以查閱記錄 DataSync 執行的所有動作的 AWS CloudTrail。
依用量計費的定價
使用 AWS DataSync 時,您只需為該服務複製的資料按固定的每 GB 費率付費。不需要軟體授權、合約、維護費用、開發週期或硬體。這比自行嘗試手動建立、操作和優化高效能的指令碼傳輸作業的總體擁有成本 (TCO) 更低,並且比購買和執行商業傳輸工具的總成本更低。
使用 AWS DataSync Discovery,您可以執行長達 31 天的探索任務並免費獲得建議。在任務完成後,DataSync Discovery 將收集的資料和相關建議將保留 60 天。