Bazaarvoice Mengurangi Biaya Inferensi Machine Learning sebesar 82% Menggunakan Inferensi Nirserver Amazon SageMaker

Dengan kantor pusat di Austin, Texas, dan kantor di seluruh dunia, Bazaarvoice menggunakan ML untuk mengotomatiskan moderasi konten untuk pengecer dan merek perusahaan. Perusahaan mengumpulkan, menyindikasikan, dan memoderasi ulasan, konten sosial, foto, dan video, yang dapat digunakan pelanggan untuk meningkatkan halaman produk mereka dan mendorong penjualan. Bazaarvoice juga menggunakan ML untuk menyempurnakan konten ini dengan informasi semantik untuk membantu klien mengkategorikan konten dan mengumpulkan wawasan.

Bazaarvoice ingin meningkatkan skalabilitas, kecepatan, dan efisiensinya, tetapi menemui kesulitan dengan solusi ML lamanya yang lambat. Misalnya, setiap kali perusahaan perlu memasukkan klien baru atau melatih model baru, perusahaan harus mengedit beberapa file model secara manual, mengunggahnya, dan menunggu sistem mendaftarkan perubahan. Prosesnya memakan waktu sekitar 20 menit dan rentan terhadap kesalahan. Selain itu, arsitekturnya tidak dirancang untuk mendukung pertumbuhan skala perusahaan secara efisien: setiap mesin yang mendukung hampir 1.600 modelnya membutuhkan RAM sebesar 1 TB. “Biayanya cukup tinggi, dan karena dibangun sebagai monolit, arsitekturnya tidak dapat diskalakan otomatis, yang merupakan salah satu tujuan utama kami,” kata Lou Kratz, principal research engineer di Bazaarvoice. Ketangkasan juga penting untuk mendukung klien Bazaarvoice yang makin bertambah dan untuk melakukan eksperimen pada model ML. “Kami ingin dapat meningkatkan jumlah model dalam produksi sebanyak 10 kali lipat tanpa harus terganggu oleh batas memori,” kata Kratz.

Bazaarvoice mempertimbangkan untuk membangun solusi hosting nirserver sendiri, tetapi proyek seperti itu akan mahal dan memerlukan banyak tenaga. Sebagai gantinya, perusahaan tersebut mengadopsi Inferensi Nirserver Amazon SageMaker —opsi inferensi yang dibuat khusus yang memudahkan bisnis untuk men-deploy dan menskalakan model ML—untuk mengurangi beban operasional bagi timnya. “Proyek ini adalah awal dari penyatuan deployment model kami,” kata Edgar Trujillo, senior ML engineer di Bazaarvoice. Perusahaan mulai mengirim lalu lintas ke sistem barunya pada Desember 2021, dan menangani semua lalu lintas produksi pada Februari 2022.

Menggunakan Inferensi Nirserver memudahkan Bazaarvoice untuk menerapkan model dan memindahkannya ke titik akhir khusus jika model mengalami lalu lintas tinggi. Oleh karena itu, perusahaan berhasil meningkatkan throughput sekaligus mengurangi biaya. Dengan memigrasikan semua model di 12.000 klien ke Inferensi Nirserver, 82 persen biaya inferensi ML dapat dihemat. Bazaarvoice menganalisis dan menyempurnakan jutaan konten per bulan, yang menghasilkan puluhan juta panggilan bulanan ke SageMaker, atau sekitar 30 panggilan inferensi per detik. Tetapi sebagian besar model ML-nya dipanggil oleh klien hanya sekali setiap beberapa menit, jadi tidak masuk akal bagi Bazaarvoice untuk mengalokasikan sumber daya khusus. “Kami membutuhkan fleksibilitas beralih antar-host khusus untuk model besar dan mahal dan opsi berbiaya rendah untuk model yang lebih jarang digunakan,” kata Kratz. Menggunakan Inferensi Nirserver, perusahaan dapat menaikkan atau menurunkan skala dengan mulus untuk menyesuaikan permintaan, meningkatkan efisiensi, dan menghemat biaya. “Kemenangan besar bagi kami adalah kami tidak perlu mengelola server atau membayar waktu komputasi yang tidak kami gunakan,” kata Kratz. “Dan kami dapat mengikuti semua konten yang masuk sehingga klien melihatnya dimoderasi dan disempurnakan secara tepat waktu.”

Karena Bazaarvoice mengirimkan konten lebih cepat, pelanggannya dapat menampilkan konten itu lebih cepat untuk pengguna akhir baru. Dengan menggunakan SageMaker, waktu yang dibutuhkan hanya 5 menit. “Mengirim data klien baru ke model yang ada biasanya memakan waktu 15-20 menit,” kata Kratz. “Sekarang, data langsung terkirim.” Begitu juga men-deploy model baru hanya membutuhkan waktu 5 menit, bukan 20-30 menit. Di AWS, Bazaarvoice telah mengalami peningkatan throughput pengiriman model. Perusahaan dapat membangun model, mengirimkannya, dan menjalankannya di Inferensi Nirserver untuk mengevaluasi kinerjanya sebelum mengirim konten apa pun ke sana, sehingga mengurangi risiko penggunaan konten langsung. Selain itu, deployment ulang tidak diperlukan ketika konten harus dikirim ke model karena model sudah berjalan di SageMaker. Sebagai gantinya, mereka dapat men-deploy model baru segera setelah validasi selesai. “Penggunaan Amazon SageMaker telah sangat meningkatkan kemampuan kami untuk bereksperimen dan menghasilkan model baru dengan cepat dan murah,” kata Dave Anderson, technical fellow di Bazaarvoice. “Kami memiliki fleksibilitas untuk mendorong proposisi nilai kami ke depan, dan itu menarik.” Perusahaan telah membantu ilmuwan datanya bergerak lebih cepat dan telah menambah nilai lebih bagi pelanggan.

Ketika Bazaarvoice memasukkan konten ke salah satu model ML-nya, model mengeluarkan nilai kepercayaan dan menggunakannya untuk memutuskan konten. Pada arsitektur perusahaan sebelumnya, Bazaarvoice harus mengirimkan model baru setiap kali ingin mengubah logika keputusan. Bazaarvoice mulai menggunakan Amazon Elastic Container Service (Amazon ECS)—layanan orkestrasi kontainer terkelola sepenuhnya yang memudahkan bisnis untuk menerapkan, mengelola, dan menskalakan aplikasi kontainer—untuk menangani logika keputusan di luar model ML. “Memisahkan logika keputusan sangat bermanfaat karena tim operasi konten sekarang dapat memperoleh hasil dan membuat keputusan secara instan,” kata Kratz. “Mereka tidak harus mengirimkan model baru dan menunggu deployment dan pembaruannya.”

Bazaarvoice telah memperoleh penghematan biaya yang signifikan sambil meningkatkan pengalaman pengembangan ML untuk timnya dan meningkatkan apa yang ditawarkannya kepada pelanggannya. Perusahaan berencana untuk membawa lebih banyak manfaat bagi pelanggan dengan menggunakan API Inferensi Nirserver SageMaker untuk meningkatkan akses cepat. “ML menjadi norma di industri ini—Anda tidak dapat bersaing tanpanya,” kata Kratz. “Dengan menggunakan Inferensi Nirserver SageMaker, kami dapat melakukan ML secara efisien dalam skala besar, dengan cepat mengeluarkan banyak model dengan biaya yang tidak mahal dan dengan pengeluaran operasional yang rendah.”