金融業界規制当局 (FINRA) は米国が認可した非営利団体です。ブローカーディーラーの効果的かつ効率的な規制を通じて、投資家を保護し市場の健全性を確保する組織です。600,000 以上のブローカーを代表する 3,800 を超えるブローカーディーラーの活動を管理する規則を作成して施行し、企業のコンプライアンスを調査し、市場の透明性を促進し、投資家の教育を行います。
FINRA はデータ分析を適用して、米国の株式取引の 99％、オプション取引の 65％ など、毎日 750 億もの市場イベントを監督し、インサイダー取引や不当な利益を得るための戦略を暴いています。FINRA は最近、技術インフラストラクチャの重要部分を アマゾン ウェブ サービス (AWS) に移行し、AWS Lambda サーバーレスコンピューティングを導入してデータの検証をより効果的にしています。
FINRA の注文監視追跡システム (OATS) は、全米市場システム (NMS) のすべての株式および店頭売買 (OTC) の持分証券の注文、見積もり、取引イベントの統合監査証跡の一部で、 会員企業の取引を監視するために使用されています。FINRA は、OATS データと他の市場データを使用して、各オーダーの受領または発信から実行またはキャンセルまでのライフサイクルを作成し、会員企業の取引実績を監視しています。ブローカーディーラーは 毎日の OATS の電子データを FINRA に提出しなければならず、これは 50,000 ファイルを越えます。FINRA はデータを受領するとすぐに検証し、200 以上のルールに従って完全で正確に形式に合っていることを確認します。このシステムは毎日最大 5,000 億の検証を実行します。処理需要は経時的に大きく変化し、取引量の増加を促進する市場の状況に応じて 2 倍、3 倍になります。
FINRA は、OATS をホストするのに適切なソリューションにたどり着くため、可能性のあるアーキテクチャについて詳細な比較を行う必要がありました。さまざまなオプションをテストするためAmazon Elastic Compute Cloud (Amazon EC2) で稼働する Apache Ignite、Amazon Elastic MapReduce (Amazon EMR) を使用した Apache Spark、AWS Lambda の 3 つの概念実証が構築されました。スケーラビリティ、データのパーティション、モニタリング、パフォーマンス、コスト、メンテナンス要件などの基準に基づいて、検証アプリケーションに最適な選択肢は AWS Lambda であることが、データによって実証されました。「リアルタイム処理モデルに移行するという組織全体の目標があります」と FINRA のテクノロジーシニアディレクター、Tim Griesbach 氏は言います。「AWS Lambda は、他の基準を満たすほかに、その長期的なビジョンにも適していました」
セキュリティは選択プロセスの重要な要素でした。「当社には非常に厳しいデータ保護要件があります」と Griesbach 氏は言います。「当社のセキュリティチームは、インフラストラクチャ、ソフトウェア、サービスをレビューするために AWS と緊密に連携しました。そして、これらの要件に準拠した方法でシステムを構築できることが分かりました」。 これらの標準には、移動中のデータを暗号化すること、つまり FINRA がプレーン HTTP 接続を使用して情報を転送するのを防ぐことと、保管時にサーバー側の管理キー暗号化を使用することが含まれます。
FINRA は、システムがピーク負荷を処理できるようにするためのテストを含めて、わずか 3 ヶ月でソリューションを開発しました。データは、ファイル転送プロトコル (FTP) 経由で Amazon Simple Storage Service (Amazon S3) に取り込まれます。AWS Lambda 関数が検証を実行します。FINRA は、AWS Lambda プロセスのコントローラーとして、元の検証アーキテクチャの一部を再利用しました。コントローラーは Amazon EC2 上で動作し、AWS Lambda に送られるデータフィードとそこから送信される通知の両方を管理します。
コントローラーは外部データソースも管理します。ブロカーディーラーによって提出されたデータに加えて、検証システムは銘柄記号のリファレンスファイルなどのリファレンスデータも使用します。コントローラーは、外部ソースの取得中に一部のタスクが停止してもデータキュー実行を継続するため、企業は AWS Lambda のデータキャッシュ機能を活用して可能な限り処理時間を短縮できます。
このシステムは、入力/出力通知用のAmazon Simple Queue Service (Amazon SQS) を使用しており、サービスを調整するメッセージングに大きく依存しています。さらに、FINRA はAmazon Virtual Private Cloud (Amazon VPC) を使用してシステムを複数のテストアカウントと製品アカウントに分割し、ライブ検証プロセスをエラーから保護しています。
FINRA アーキテクチャ図解
「AWS Lambda を使用してコスト効率を 2 倍に向上させました」と、Griesbach 氏は報告しています。「私たちは使用した分に対してのみ支払い、オンプレミスのサーバーインフラストラクチャーを管理する必要はないのです」。 組織は、きわめて高速な処理時間を実現しました。FINRA のテクニカルプロジェクトマネージャー、Rohit Malhotra 氏は言います。「以前のシステムでは、平均で 3 分以内にブローカー・ディーラーに検証結果が返却され、ピーク時には 7 分以内でした。AWS Lambda をベースとするサーバーレス処理によって、ボリュームにかかわらず 1 分以内に結果を返却しています」。 さらに、組織はデータエラーについてより詳細をブロカーディーラーに提供できます。
FINRA は コントローラーをマイクロサービスに置き換えることで、AWS Lambda サーバーレスコンピューティングをソリューション全体に導入する予定です。 更に、ウェブアプリケーション、データ処理、分析などの他のアプリケーションをクラウドに移行させることも検討しています。AWS Lambda を使用することで、FINRA はブロカーディーラーとより効果的に連携し、市場を透明かつ公正に保つという使命をより効率的に果たすことができます。
AWS Lambda などのサービスを利用したサーバーレスアプリケーションの構築について、詳細をご覧ください。