Sistem Machine Learning untuk memprediksi anomali transaksi bagi organisasi sektor keuangan Thailand

Latar belakang permasalahan

Tantangan dalam kasus ini adalah mengetahui lebih awal bahwa transaksi pada sistem transaksi keuangan berskala besar akan mengalami anomali, alih-alih baru menyadarinya setelah masalah terjadi. Pelanggan adalah organisasi di sektor keuangan Thailand yang mengelola sistem kerja dan perangkat TI di beberapa pusat komputer. Pelanggan membutuhkan sistem Machine Learning (pembelajaran mesin) yang menganalisis, memperkirakan, dan memberi peringatan ketika volume transaksi atau waktu respons transaksi mulai menyimpang dari kondisi normal.

Sistem transaksi keuangan berskala besar harus berjalan terus-menerus. Ketika waktu respons mulai melambat, dampaknya menjangkau banyak pengguna pada saat yang sama. Nilai prediksi di muka membantu tim pengelola sistem memiliki waktu untuk memeriksa di jalur pengiriman dan penerimaan transaksi atau bank mana anomali mulai muncul, sebelum memutuskan cara menanganinya.

Persyaratan dan batasan

Sistem harus melakukan prediksi berdasarkan data transaksi nyata milik pelanggan dan tidak boleh memengaruhi layanan sistem yang ada. Persyaratan dan batasan utama adalah sebagai berikut.

• Sistem baru harus bekerja bersama sistem yang ada tanpa memengaruhi layanan. Pelanggan menetapkan hal ini sejak awal proyek.
• Sistem ML berjalan di server milik pelanggan, baik server operasional (Production) maupun server pengembangan dan pengujian (Development).
• Data transaksi harus dikonversi formatnya dan dibersihkan sebelum digunakan untuk melatih model. Pada tahap awal, memperoleh data yang lengkap dan mendapatkan akses ke data merupakan pekerjaan yang memakan banyak waktu.
• Dokumen persyaratan proyek merupakan dokumen rahasia milik pelanggan.

Mengapa kami memilih model LSTM dan memasangnya terpisah dari sistem pengiriman dan penerimaan transaksi

Kami memilih LSTM karena merupakan jaringan saraf tiruan yang sesuai untuk data yang berurutan menurut waktu, dan waktu respons transaksi merupakan data jenis ini. Kami memasang sistem ML di server yang terpisah dari sistem pengiriman dan penerimaan transaksi karena pelanggan menetapkan bahwa sistem baru tidak boleh memengaruhi layanan. Oleh karena itu, sistem ML menerima data transaksi dari sistem yang ada untuk dianalisis.

1. 1

   Mengumpulkan dan membersihkan data

   Kami mengambil data transaksi dari sistem pengiriman dan penerimaan transaksi milik pelanggan, mengonversi formatnya, memeriksa kesinambungannya, dan membuang data yang tidak dapat digunakan sebelum masuk ke tahap pelatihan model.

2. 2

   Pelatihan model LSTM

   Model mempelajari pola waktu respons transaksi, lalu sistem menyimpan file model dan laporan hasil pelatihan di server.

3. 3

   Prediksi 5 dan 10 menit lebih awal

   Model melakukan prediksi secara keseluruhan, per jalur pengiriman dan penerimaan transaksi, dan per bank. Kami menguji hasil prediksi baik secara retrospektif dengan data lama (Back-test) maupun secara waktu nyata (Real-time).

4. 4

   Menampilkan hasil di dasbor

   Grafik di Grafana Dashboard membandingkan nilai aktual dengan nilai prediksi dan nilai statistik. Tim pengelola sistem dapat memantau dari satu layar.

5. 5

   Menjaga sistem tetap siap digunakan

   Sistem pelatihan ulang model (Retrain) digunakan untuk memperbarui model saat ada data baru. Sistem pencadangan dan pemulihan data serta pengarsipan data lama otomatis membantu mencegah ruang server penuh.

Apa yang dipasang dan dirangkum dalam dokumen penutupan proyek

Pekerjaan yang dipasang di server Production dan Development milik pelanggan dan dirangkum dalam dokumen penutupan proyek adalah sebagai berikut.

• Model LSTM yang telah dilatih, beserta laporan hasil pelatihan
• Sistem prediksi anomali waktu respons transaksi 5 dan 10 menit lebih awal, yang diuji baik secara Back-test maupun Real-time
• Grafana Dashboard yang menampilkan grafik nilai aktual dibandingkan nilai prediksi dan nilai statistik
• Sistem pelatihan ulang model (Retrain)
• Sistem pencadangan dan pemulihan data (Backup & Restore) dan pengarsipan data lama otomatis
• Dokumen desain sistem dan dokumen penutupan proyek

Tahapan proyek

Proyek berlangsung dari tahun 2021 hingga tahun 2023 sebagai berikut.

1. Tahun 2021: Proyek dimulai, data transaksi dikumpulkan dan dikonversi untuk pelatihan model.
2. Tahun 2022: Penyusunan dokumen penutupan proyek, lalu memasuki masa pemeliharaan sesuai kontrak.
3. Tahun 2023: Uji coba pelatihan ulang model dengan CNN-LSTM, Random Forest, dan XGBoost untuk membandingkan akurasi pada setiap rentang waktu prediksi.

Hasil yang dapat dikonfirmasi dari dokumen penutupan proyek

Kami mengembangkan sistem Machine Learning yang memprediksi anomali waktu respons transaksi 5 dan 10 menit lebih awal untuk organisasi di sektor keuangan Thailand, dan menyusun dokumen penutupan proyek pada tahun 2022. Dokumen ini merangkum hasil pelatihan model, hasil prediksi Back-test dan Real-time, sistem pencadangan data, serta dokumen desain sistem. Kasus ini tidak memiliki angka hasil pengukuran yang dapat dipublikasikan, sehingga kami hanya melaporkan hal-hal yang didukung dokumen.

Pada tahun 2023, kami menguji coba pelatihan ulang model dengan 3 algoritma lain, yaitu CNN-LSTM, Random Forest, dan XGBoost, untuk membandingkan akurasi pada setiap rentang waktu prediksi. Rekomendasi dari uji coba tersebut adalah melatih model lebih lanjut untuk akurasi yang lebih tinggi dan mempertimbangkan penggunaan data perangkat keras server sebagai input tambahan.

Pelajaran yang kita dapatkan

Pekerjaan ini memberikan 3 prinsip untuk pekerjaan prediksi anomali sistem TI.

• Kesiapan data lebih menentukan jadwal kerja daripada pemilihan model. Dalam pekerjaan ini, memperoleh data transaksi yang lengkap dan mengonversinya agar dapat digunakan merupakan pekerjaan utama pada tahap awal. Karena itu, sebaiknya sepakati hak akses data dan periksa sampel data nyata sebelum menetapkan tenggat pekerjaan.
• Sistem yang tidak boleh memengaruhi layanan sebaiknya menempatkan komponen prediksi di server tersendiri dan menerima data dari sistem utama untuk dianalisis. Pemisahan server memungkinkan pelatihan ulang model tanpa menyentuh sistem utama.
• Model prediksi harus memiliki rencana perawatan setelah pemasangan. Hasil prediksi harus diperiksa baik secara retrospektif maupun waktu nyata, dan sistem pelatihan ulang model harus tersedia sejak awal. Bagian yang pengujiannya belum selesai, seperti HA, harus dinyatakan statusnya dengan jelas dalam dokumen penutupan proyek.

Bagaimana menerapkan pendekatan ini pada sistem Anda

Jika organisasi Anda memiliki data operasional sistem yang berurutan menurut waktu dan membutuhkan peringatan dini, Anda dapat menggunakan pendekatan yang sama dengan kasus ini, yaitu memisahkan sistem prediksi di server Anda sendiri, melatih model dari data nyata, dan menampilkan nilai aktual dibandingkan nilai prediksi di dasbor. Bagian yang perlu disesuaikan adalah data masukan, rentang waktu prediksi, dan metode pengukuran hasil.

• Siapkan hak akses ke data transaksi dan data historis sejak awal, serta periksa kelengkapan dan kesinambungan data.
• Sepakati bersama cara mengukur akurasi, baik secara retrospektif maupun waktu nyata, dan rentang waktu prediksi yang akan digunakan.
• Tetapkan cakupan pekerjaan pemeliharaan setelah pemasangan dengan jelas, misalnya siklus pemeriksaan hasil prediksi dan siklus pelatihan ulang model.
• Pertimbangkan penambahan data perangkat keras server sebagai input model, sesuai rekomendasi dari uji coba pada tahun 2023.