Nasdaq Menggunakan AWS untuk Memelopori Penyimpanan Data Bursa Saham di Cloud

Nasdaq merupakan perusahaan teknologi dan layanan keuangan multinasional yang memiliki dan mengoperasikan Bursa Efek Nasdaq. Nasdaq mengoperasikan total 27 pasar, depositori efek sentral, dan lembaga kliring untuk berbagai kelas aset di Amerika Utara dan Eropa. Nasdaq adalah rumah bagi hampir 4.000 perusahaan yang terdaftar secara global di seluruh pasarnya dan juga menyediakan teknologi yang sangat penting untuk para operator infrastruktur pasar lainnya yang berlokasi di 50 negara.

Berdasarkan volumenya, Bursa Efek Nasdaq adalah waralaba ekuitas terbesar secara global, dan mengelola pencocokan pembeli dan penjual dengan volume dan kecepatan tinggi, sambil menyediakan pengumpanan data penawaran harga untuk saham dalam perdagangan yang dimasukkan secara elektronik. Nasdaq mengandalkan aplikasi internal untuk mengambil dan menyimpan semua data pertukaran yang dilindungi. “Data ini mencakup pesanan, penawaran, perdagangan, dan pembatalan,” kata Robert Hunt, vice president of software engineering Nasdaq. Setiap malam, Nasdaq menerima miliaran catatan saham yang perlu dimuat untuk proses penagihan dan pelaporan sebelum pasar dibuka keesokan paginya.

Karena platform perdagangan otomatis telah memasuki pasar, kecepatan dan volume transaksi telah berkembang. Pada tahun 2014, untuk meningkatkan skala dan performa serta menurunkan biaya operasional, Nasdaq beralih dari gudang data on-premise warisan ke gudang data Amazon Web Services (AWS) yang didukung oleh klaster Amazon Redshift. Antara tahun 2014 dan 2018, klaster Amazon Redshift ini berkembang menjadi 70 simpul saat perusahaan tersebut memperluas solusi untuk mendukung semua pasar Amerika Utara. Pada tahun 2018, solusi tersebut menyerap data pasar keuangan dari ribuan sumber setiap malam, mulai dari 30 miliar hingga 55 miliar catatan dan melebihi 4 terabita.

Seiring berjalannya waktu, pertumbuhan data menyebabkan perubahan dalam pendekatan untuk mengelola data tersebut untuk analitik. Pemrosesan batch dalam semalam yang berjalan di gudang data telah menimbulkan tantangan dalam memproses volume yang sangat besar untuk memenuhi tenggat waktu yang ketat. Para pengguna mengandalkan data untuk menyelesaikan penagihan, pelaporan, dan pengawasan. “Ketika volatilitas pasar meningkat pada awal tahun 2018, volume data untuk gudang data meningkat secara substansial dan mencapai puncaknya pada sekitar 55 miliar catatan per hari pada tahun 2018,” kata Hunt.

Praktik perdagangan yang lebih canggih menyebabkan pertumbuhan data yang besar dan sangat penting bagi Nasdaq untuk mulai merencanakan pengembangan arsitektur baru untuk terus mencapai standar performa dan keunggulan operasional yang diharapkan ekosistem. “Kami harus memuat dan menyerap 30 miliar catatan saham dalam jangka waktu di antara penutupan pasar dan keesokan paginya. Pemuatan data telah menunda pengiriman laporan kami,” kata Hunt. “Kami harus dapat menulis atau memuat data ke dalam solusi penyimpanan data kami dengan sangat cepat tanpa mengganggu pembacaan dan kueri data pada saat yang bersamaan.”

Pada tahun 2018, Nasdaq memilih untuk membangun fondasi danau data yang baru di Amazon Simple Storage Service (Amazon S3), yang memungkinkan perusahaan untuk memisahkan komputasi dan penyimpanan serta menskalakan setiap fungsi secara independen. Dalam deployment gudang data tradisional, penskalaan kapasitas penyimpanan sering mengharuskan perusahaan untuk menskalakan kapasitas komputasi pada saat yang bersamaan karena aplikasi dan penyimpanan terhubung dengan erat, dan modifikasi perangkat keras di lokasi juga diperlukan untuk setiap perubahan pada rasio keduanya. “Selain fleksibilitas yang menyertai pemisahan komputasi dan penyimpanan, Amazon S3 memiliki properti penskalaan yang lebih baik dalam hal menulis dan membaca set data besar secara bersamaan,” kata Hunt. “Amazon S3 memberi kami solusi yang memungkinkan untuk meniadakan pertentangan antara pemuatan data dan proses kueri.”

Apa yang dimulai sebagai solusi yang berfokus pada performa telah menjadi danau data serbaguna yang dibagi di antara beberapa tim, sehingga menciptakan manfaat tambahan bagi bisnis tersebut.