Thomson Reuters 導入事例

Thomson Reuters は、世界で最も信頼のおけるニュース組織のひとつであり、世界中の企業と専門家のために情報を提供する代表的な企業です。信頼できる答えを見つけるためのインテリジェンス、テクノロジー、および専門知識を提供し、企業がより迅速に、より良い決定を行えるようにしています。対象となる顧客の市場には、金融、リスク、法律、税制、会計、メディアなどがあります。

Thomson Reuters は、数百のデジタル製品およびサービスを、法律事務所から銀行に至る幅広い顧客に提供しています。Thomson Reuters は 2016 年に、製品から生成されるデータをキャプチャーし分析してその分析を可視化できるソリューションの構築を決定しました。そこから得られるインサイトを使用して製品チームが継続的にユーザーエクスペリエンスを改善できるようにするためです。

市場には使用状況を分析するサービスが多数あります。しかし Thomson Reuters は、コストを管理し、分析データの所有権を持ち、またそのデータをドキュメントメタデータなど他の情報で強化するために、独自のものを構築することにしました。

ソリューションをクラウドに構築するのが望ましいのはわかっており、基盤となるプラットフォームに必要な複数の要件を特定しました。まず、情報を転送中および休止中に暗号化して保護する必要がありました。また、1 秒あたり数千件のイベントを処理し、大きなニュースがあったときには 2 倍や 3 倍になるトラフィックに対応するために柔軟にスケールできる必要もありました。さらに、ソリューションを構築するグループは比較的小規模だったため、新機能や製品チームのサポートに注力できるように、監督や管理のタスクを最小限にする必要がありました。最後に、Thomson Reuters はソリューションを迅速に稼働させたいと思っていました。具体的には、わずか 5 か月です。

Thomson Reuters はすぐに、すべてのニーズを満たすプラットフォームはアマゾン ウェブ サービス (AWS) だけであることに気が付きました。すでに複数の機能で AWS を使用していたため、その性能やスケール性はよく知っていました。Thomson Reuters によって構築された分析ソリューション (Product Insight と呼ばれる) は、多数の AWS のサービスを利用しています。

初期イベント取り込みレイヤーは、Elastic Load Balancing と、Auto Scaling グループにあるカスタム NGINX ウェブサーバーで成り立っています。SSL/TLS の終了後、取り込みレイヤーはメタデータを使用してイベントを補強し、AWS Key Management Service (KMS) を使用して暗号化します。

取り込みレイヤーは保護済みデータを、Amazon Kinesis Streams、Amazon Kinesis Firehose、および AWS Lambda サーバーレスコンピューティングからなるストリーミングデータパイプラインに渡します。Thomson Reuters では Apache Kafka など他のストリーミングデータツールも評価しましたが、管理やスケーリングが難しいことがわかりました。ソフトウェアスタックやサーバーフリートの管理に悩みたくはなかったため、完全マネージド型である Amazon Kinesis が選ばれました。

Amazon Kinesis のストリーミングデータパイプラインは、データを自動的にバッチ処理して、それを費用対効果の高い方法でマスターデータセットに配信し、リージョン間でレプリケートされた Amazon Simple Storage Service (Amazon S3) バケットに恒久的に保管します。マスターデータセットがあるおかげで、Thomson Reuters は追加の変換ステップを適用したり、システムに状態損失が発生した場合にはデータを復旧したり、新しいビジネスケースをサポートしたりできます。イベントが取り込みレイヤーからデータパイプラインに即時に発行できない場合は、システムが正常なオペレーションに戻った際に再生されるように、フェイルオーバーメカニズムによって Amazon S3 に配信されます。

AWS Lambda によって、Thomson Reuters は費用対効果の高くサーバーのプロビジョンや管理が不要な方法でストリーミングデータを読み込み処理できます。Lambda は Kinesis パイプラインからデータを収集し、Amazon S3 のマスターデータセットにロードします。Lambda は、新しいデータが保存された際の Amazon S3 のデータ通知によってもトリガーされ、マスターデータセット上で追加の変換を実行します。Lambda は Kinesis および Amazon S3 経由で取り込まれたデータによってトリガーされた場合にのみコードを実行します。コンピューティング処理にかかる料金はコードが実行されている間のみです。

Amazon Kinesis ストリームに接続された並列リアルタイムパイプラインは、Thomson Reuters Services プラットフォームに接続されたカスタムの抽出、変換、ロード (ETL) サーバー経由で、イベントを安全なマルチテナントの Elasticsearch クラスターに配信します。これらはすべて AWS 上でホストされています。リアルタイムのデータは、オープンソースのデータ分析および可視化ツールである Kibana を通して、承認を受けた Thomson Reuters 製品チームが利用できます。

Thomson Reuters Services プラットフォームは、AWS Identity and Access Management (IAM) および Amazon S3 クロスアカウントアクセス機能を使用した認証および承認レイヤーも提供します。ソリューションのモニタリングには、Amazon CloudWatch が使用されています。

Product Insight はスケジュールより 2 か月早くローンチされ、技術的には期待以上のものでした。「当社の当初の目標は 1 秒あたり 2,000 件のイベントに対応することでした」と、Thomson Reuters のプロダクトイノベーション部門シニアマネージャーの Anders Fritz 氏は言います。「テストによって、AWS 上の Product Insight は 1 秒あたり最大 4,000 件のイベントを処理できることがわかりました。年内には 1 秒あたり 10,000 件を超えるほどに増やせると期待しています。」 この数字は、1 か月あたり 250 億件を超えるイベントということになります。

このような高スループットでも、システムはその誕生以来、データを喪失したことがありません。「AWS の堅牢なフェイルオーバーアーキテクチャーと技術的な性能のおかげで、データの収集を開始してからこれまで 1 つのイベントも喪失していません」と Fritz 氏は言います。

これには、米国の大統領選挙や英国の EU 脱退国民投票といったニュースイベントのときの使用量の急増も含まれています。「毎日のイベント量が 2 倍になったときでも、取り込みパイプラインは問題なくスケールアップやスケールダウンされました」と言うのは、Thomson Reuters のリードソフトウェアエンジニアである Marco Pierleoni 氏です。

社内製品チームはさっそく Product Insight を採用し、迅速かつ簡単にシステムに追加しました。「各チームでのセットアップはすばやく済ませることができました。短くて 1 時間、長くても 2 日でした」と Fritz 氏は言います。「その時間のほとんどは、そのチームが分析したいデータを計画することに費やされました。バックエンドでは、ほんの数分でシステムが製品データを受け取れるようにセットアップできます。」 オンボーディングプロセスは、標準化されたデータスキーマで SDK を使用することで加速されます。

Product Insight は Amazon Kinesis を使用したストリーミングデータアーキテクチャー上に構築されているため、製品チームはほぼ即時にデータにアクセスできます。「Amazon Kinesis を使用することで、当社のソリューションは 10 秒とかからずに新しいイベントをユーザーのダッシュボードに配信できます」と Fritz 氏は言います。「当社の製品チームは使用率パターンを確認して即時に対応できます。また、運用の専門家たちはパフォーマンスをモニタリングして、顧客のエクスペリエンスに影響を与える前に異常を検出して修正できます。」

Product Insight が必要とする管理は最小限であるため、技術者はインフラストラクチャを管理するよりも、ビジネス価値を高めるために生産チームとの作業に時間を費やすことができます。また、AWS Key Management Service を利用したセキュリティは、ソリューションが社内および社外のコンプライアンス要件を満たすのに役に立っています。