データは、アプリケーションのデプロイ、分析ワークフロー、および機械学習のイノベーションを成功させるための基盤です。データをクラウドに移動するときには、異なるユースケースに合わせたデータの移動先、移動するデータの種類、および使用可能なネットワークリソースやその他のさまざまな考慮事項を理解する必要があります。AWS では、データセットがファイル、データベース、マシンイメージ、ブロックボリューム、さらにテープバックアップであっても、データセットの移行に役立つさまざまなサービスとパートナーツールを提供しています。
AWS クラウドデータ移行サービス
AWS ではデータ転送サービスのポートフォリオをご用意して、あらゆるデータ移行プロジェクトに最適なソリューションを提供しています。データの移行にとって、接続性レベルは重要な要因となります。AWS は、お客様が抱える、ハイブリッドクラウドストレージや、オンラインおよびオフラインでのデータ転送のニーズに対応するための機能をご提供します。
ハイブリッドクラウドストレージ
多くのお客様がクラウドストレージのメリットを活用したいと考えていますが、オンプレミスで実行されているアプリケーションでは、データへの低レイテンシーアクセス、またはクラウドへの迅速なデータ転送が必要です。AWS ハイブリッドクラウドストレージのアーキテクチャは、オンプレミスのアプリケーションとシステムをクラウドストレージに接続して、コストを削減し、管理の負担を最低限に抑え、データの革新を支援します。
AWS Storage Gateway
AWS Storage Gateway を使用すると、オンプレミスでの AWS Storage の導入が簡単に行えます。Storage Gateway は、お客様によるオンプレミスアプリケーションを AWS ストレージにシームレスに接続して拡張します。お客様は、Storage Gateway を使うことで、テープライブラリのクラウドストレージへの置き換え、クラウドストレージによるファイル共有の実施、および、オンプレミスアプリケーションが AWS 内のデータにアクセスするための低レイテンシーキャッシュの作成などが、シームレスに行えます。このサービスは、ファイルゲートウェイ、テープゲートウェイ、ボリュームゲートウェイの 3 種類のゲートウェイを提供します。
- ファイルゲートウェイのファイルデータは、Amazon S3 ファイルゲートウェイを使用して持続的オブジェクトとして Amazon S3 に保存されるか、Amazon FSx ファイルゲートウェイを使用してフルマネージドファイル共有に保存されます。
- テープゲートウェイ仮想テープライブラリ (VTL) 設定と既存のバックアップソフトウェアがシームレスに統合されることで、コスト効果の高い方法でテープを Amazon S3 で置き換えることができ、S3 Glacier および S3 Glacier Deep Archive で長期的なアーカイブを行うことができます。
- ボリュームゲートウェイは、EBS スナップショットとしてのポイントインタイムバックアップを使用して、ブロックボリュームをローカルに保存またはキャッシュします。これらのスナップショットはクラウド上で復元できます。
AWS Direct Connect
Direct Connect の物理的な専用接続を使用すると、社内データセンターと AWS のデータセンターの間のネットワーク転送速度を上げることができます。
AWS Direct Connect では、お客様のネットワークと AWS Direct Connect のいずれかのロケーションとの間に専用のネットワーク接続を確立することができます。業界標準の 802.1q VLAN を使用して、この専用接続を複数の仮想インターフェイスに分割することができます。このようにすると、同じ接続を使用して、パブリックリソース (例えば Amazon S3 に格納されたオブジェクト) にはパブリック IP アドレススペースを使用してアクセスし、プライベートリソース (例えば、Amazon Virtual Private Cloud (VPC) 内で実行されている Amazon EC2 インスタンス) にはプライベート IP スペースを使用してアクセスすることができるので、パブリック環境とプライベート環境の間でネットワークを分離できます。仮想インターフェイスは、ニーズの変化に合わせて、いつでも設定変更できます。
オンプレミステクノロジーをクラウドに拡張するのに役立つ AWS Direct Connect パートナーバンドルについてご覧ください。
オンラインデータ転送
これらのサービスにより、オンラインによる方法を使用して AWS にデータを簡単に転送できます。
AWS DataSync
AWS DataSync は、オンプレミスストレージと Amazon S3、Amazon Elastic File System (Amazon EFS) または Amazon FSx for Windows ファイルサーバーとの間でデータの移動を簡単に自動化するデータ転送サービスです。DataSync は、独自のインスタンスの実行、暗号化の処理、スクリプトの管理、ネットワークの最適化、データ整合性の検証など、移行を遅らせたり、IT 運用に負担をかけたりするデータ転送に関連する多くのタスクを自動的に処理します。DataSync を使用すると、オープンソースツールよりも最大 10 倍高速でデータを転送できます。DataSync を使用して AWS Direct Connect またはインターネットリンク経由で AWS にデータをコピーすると、ワンタイムデータ移行、定期的なデータ処理ワークフロー、およびデータ保護と復旧向けの自動レプリケーションを実行できます。
AWS Transfer Family
AWS Transfer Family は、Amazon S3 との間で直接ファイル転送を実行できるように、フルマネージド型のサポートを提供します。Secure File Transfer Protocol (SFTP)、File Transfer Protocol over SSL (FTPS)、および File Transfer Protocol (FTP) をサポートする AWS Transfer Family では、既存の認証システムと連携し、Amazon Route 53 を使用した DNS ルーティングを提供することにより、ファイル転送ワークフローを AWS にシームレスに移行できるようにします。お客様やパートナー、またそのアプリケーションの環境は以前と変わることはありません。 Amazon S3 内のデータは、AWS のサービスを使用して処理、分析、機械学習、アーカイブできます。AWS Transfer Family は簡単に開始できます。インフラストラクチャの購入や設定は不要です。
Amazon S3 Transfer Acceleration
Amazon S3 Transfer Acceleration を使用すると、Amazon S3 へのパブリックインターネット経由の転送がより迅速になります。距離やインターネットの状況に関係なく、使用可能な帯域幅を最大化できます。また、特殊なクライアントや独自のネットワークプロトコルはありません。S3 バケットで使用するエンドポイントを変更するのみで、加速が自動的に適用されます。
これは、メディアのアップロード、バックアップ、ローカルデータの処理タスクなど、世界各地から中央の拠点に定期的に転送される定期的なジョブに適しています。
AWS Snowcone
AWS Snowcone は、エッジコンピューティングおよびデータ転送デバイスの AWS Snow ファミリーの最小のメンバーです。Snowcone は、ポータルかつ頑丈で、安全です。Snowcone を使用して、AWS DataSync を使用してオンラインでデータを収集、処理、および AWS に移動できます。切断された環境および接続されたエッジロケーションでアプリケーションを実行することは、データセンターの IT 機器に必要なスペース、電力、および冷却が不足していることが多いため、困難な場合があります。AWS Snowcone はデータをエッジロケーションに安全に保存し、AWS IoT Greengrass または Amazon EC2 インスタンスを使用するエッジコンピューティングワークロードを実行できます。Snowcone デバイスは小型で、重量は 4.5 ポンド(2.1kg) なので、バックパックに入れて持ち運んだり、狭いスペースに取り付けたりして、IoT、車両、さらにはドローンのユースケースにも使用できます。
Amazon Kinesis Data Firehose
Amazon Kinesis Data Firehose は、ストリーミングデータを AWS にロードする最も簡単な方法です。これにより、ストリーミングデータをキャプチャし、Amazon S3 および Amazon Redshift に自動的にロードすることで、現在お使いのビジネスインテリジェンスツールやダッシュボードでほぼリアルタイムに分析できるようになります。フルマネージドサービスのため、データスループットに応じて自動的にスケールされ、継続的な管理は不要です。ロード前にデータのバッチ処理、圧縮処理、暗号化が行われるため、送信先でのストレージ量を最小化し、セキュリティを強化できます。AWS マネジメントコンソールから Firehose のデリバリーストリームを簡単に作成し、数回のクリックで設定を行い、継続的に AWS にロードされる数十万のデータソースからデータのストリーミングを開始できます。これらすべての操作にかかる時間はわずか数分です。
APN パートナー製品
AWS では、従来のバックアップとクラウドを橋渡しする物理ゲートウェイアプライアンスに関連して、業界内の多くのベンダーとパートナーシップを組んでいます。既存のオンプレミスデータを Amazon のクラウドに接続し、パフォーマンスに影響を与えずに、また既存のバックアップカタログを維持しながらデータを移行できます。
- 既存のインフラストラクチャへのシームレスな統合
- 重複の排除、圧縮、暗号化、または WAN の高速化などを提供
- 最近のバックアップをローカルでキャッシュし、すべてを AWS クラウドのボールトに保管
オフラインデータ転送
AWS Snow ファミリーを使用すれば、オフラインによる方法を使用して AWS にデータを簡単に転送できます。
AWS Snowcone
AWS Snowcone は、エッジコンピューティングおよびデータ転送デバイスの AWS Snow ファミリーの最小のメンバーです。Snowcone は、ポータルかつ頑丈で、安全です。Snowcone を使用して、デバイスをオフラインで出荷し、データを収集、処理、および AWS に移動できます。切断された環境および接続されたエッジロケーションでアプリケーションを実行することは、データセンターの IT 機器に必要なスペース、電力、および冷却が不足していることが多いため、困難な場合があります。AWS Snowcone はデータをエッジロケーションに安全に保存し、AWS IoT Greengrass または Amazon EC2 インスタンスを使用するエッジコンピューティングワークロードを実行できます。Snowcone デバイスは小型で、重量は 4.5 ポンド(2.1kg) なので、バックパックに入れて持ち運んだり、狭いスペースに取り付けたりして、IoT、車両、さらにはドローンのユースケースにも使用できます。
AWS Snowball
AWS Snowball は、ペタバイト規模のデータ転送およびエッジコンピューティングデバイスです。オンボードストレージとコンピューティング機能が付属しており、2 つのオプションで利用できます。Snowball Edge Storage Optimized は、ブロックストレージと Amazon S3 と互換性のあるオブジェクトストレージの両方、および 40 個の vCPU を提供します。ローカルストレージや大規模データ転送に最適です。Snowball Edge Compute Optimized は、切断された環境における高度な機械学習およびフルモーションビデオ分析などのユースケースのために、52 個の vCPU、ブロックストレージとオブジェクトストレージ、オプションの GPU を提供します。これらのデバイスを使用して、断続的な接続となる環境 (製造、工業、輸送など) にあるデータや極度な遠隔地 (軍事、海軍など) にあるデータの収集、機械学習、処理、保存を、AWS に返送する前に実行できます。また、これらのデバイスをラックマウント型でクラスター化し、大型の一時的な設備を構築することもできます。
アンマネージド型クラウドデータ移行ツール
AWS では、サイトから AWS クラウドストレージにデータを移動するための、簡単なスクリプトや CLI ツールも提供しています。
rsync
お客様はこのオープンソースのツールとともにサードパーティ製のファイルシステムツールである rsync を併用して、データを S3 バケットに直接コピーします。
S3 コマンドラインインターフェイス
Amazon S3 CLI を使用すると、S3 バケットにデータを直接移動するためのコマンドを記述できます。
S3 Glacier コマンドラインインターフェイス
Amazon S3 Glacier CLI を使用すれば、データを S3 Glacier のボールトに移動できます。
クラウドデータ移行における一般的な課題
ほとんどのプロジェクトのデータ転送は、圧倒されるようなタスクになります。どのようにすれば、最低限の中断、コスト、および時間で、現在の場所から新しいクラウドへ適切に移動できるでしょうか? GB、TB、または PB 規模に至るまで膨大なデータを、実際に最もスマートに移動できる方法は何ですか?
また最も基本的な問題として、どれほどのデータを、どれほど遠くまで、どれほど速く移動できるかも考慮する必要があります。 理想的な環境では、以下の式を使用します。
日数 =(合計バイト数)/(メガビット/秒 x 125 x 1,000 x ネットワーク利用率 x 60 秒 x 60 分 x 24 時間)
例えば、T1 接続 (1.544Mbps) を備えており、1 TB (1024 * 1024 * 1024 * 1024 バイト) を AWS 内外へ移動する場合、80% のネットワーク利用率のネットワーク接続での読み込みにかかる理論的最小時間は 82 日です。
ご安心ください。AWS には経験があります。データの移動にアンマネージド型で非常に基本的な機能しかない移行ツールを使用する場合と、上記にあるような AWS のサービス一式のうちいずれかのサービスを選択して使用する場合では、結果が大きく異なります。
経験に基づく、私たちのご提案は以下の通りです。
| 接続 | データの大きさ | メソッド |
|---|---|---|
| 10 Mbps 未満 | 500 GB 未満 | アンマネージド型 |
| 10 Mbps 以上 | 500 GB 以上 | マネージドサービス |