Sistem Machine Learning untuk meramal anomali transaksi bagi organisasi sektor kewangan Thailand
Pelanggan: Organisasi sektor kewangan Thailand
AIOP System menggunakan Machine Learning untuk meramal anomali masa respons transaksi dalam sistem kewangan besar 5 dan 10 minit ke hadapan, secara keseluruhan, mengikut laluan transaksi dan bank. Kami membangunkan dan memasangnya pada pelayan organisasi sektor kewangan Thailand serta menyediakan dokumen penutupan projek pada 2022.
- Data transaksi daripada sistem penghantaran dan penerimaan transaksiPembersihan data sebelum digunakan
- Latihan model LSTMUjian Back-test dan Real-time
- Ramalan keabnormalan 5 dan 10 minit lebih awalKeseluruhan / laluan penghantaran dan penerimaan transaksi / setiap bank
- Grafana DashboardGraf nilai sebenar berbanding nilai ramalan
- Pelayan milik pelangganRetrain dan sandaran/pemulihan data
- Industri
- Kewangan
- Tahun
- 2021–2023
- Skop pekerjaan
- Mereka bentuk, membangunkan dan memasang sistem Machine Learning untuk meramalkan keabnormalan transaksi kewangan pada pelayan Production dan Development milik pelanggan, berserta sistem latihan semula model, sistem sandaran dan pemulihan data, pengarkiban data lama secara automatik, Grafana Dashboard, dokumen reka bentuk sistem, dokumen penutupan projek pada tahun 2022 dan ujian perbandingan 3 model lain pada tahun 2023.
Ringkasan
- AIOP System ialah sistem Machine Learning yang meramalkan keabnormalan masa tindak balas transaksi dalam sistem transaksi kewangan berskala besar 5 dan 10 minit lebih awal, secara keseluruhan, mengikut laluan penghantaran dan penerimaan transaksi, dan mengikut setiap bank.
- Sistem ini dipasang pada pelayan Production dan Development milik pelanggan, berasingan daripada sistem penghantaran dan penerimaan transaksi, berserta sistem latihan semula model (Retrain), sistem sandaran dan pemulihan data, dan graf pada Grafana Dashboard.
- Kami menyediakan dokumen penutupan projek pada tahun 2022, kemudian projek memasuki tempoh penyelenggaraan mengikut kontrak. Sistem yang terus berfungsi apabila sebuah mesin mengalami gangguan (HA) pula masih dalam pengujian pada tempoh penutupan projek.
- Pada tahun 2023, kami menguji latihan semula model dengan 3 algoritma lain (CNN-LSTM, Random Forest dan XGBoost) untuk membandingkan ketepatan bagi setiap tempoh ramalan.
- Sistem ini menyediakan nilai ramalan dan graf, manakala keputusan tindakan terletak pada pasukan pentadbir sistem.
Masalah di tapak
Pelanggan menyelenggara sistem kerja dan peralatan IT di beberapa pusat komputer, dan mahu mengetahui lebih awal apabila jumlah transaksi atau masa tindak balas transaksi mula menyimpang daripada kebiasaan, bukannya hanya menyedarinya selepas masalah berlaku. Sistem baharu mesti berfungsi bersama sistem sedia ada tanpa menjejaskan perkhidmatan.
Apa yang kami lakukan
Kami membangunkan sistem AIOP yang menggunakan model LSTM (rangkaian neural untuk data mengikut urutan masa) untuk meramalkan keabnormalan masa tindak balas transaksi (Response Time) 5 dan 10 minit lebih awal, serta memaparkan nilai sebenar berbanding nilai ramalan pada Grafana Dashboard (skrin paparan graf). Sistem ini dipasang pada pelayan operasi sebenar (Production) dan pelayan pembangunan dan pengujian (Development) milik pelanggan, berasingan daripada sistem penghantaran dan penerimaan transaksi, berserta sistem latihan semula model (Retrain) dan sistem sandaran dan pemulihan data.
Hasil
Kami menyediakan dokumen penutupan projek (Closing Project) pada tahun 2022, yang merumuskan hasil latihan model, hasil ramalan secara retrospektif (Back-test) dan masa nyata (Real-time), sistem sandaran data dan dokumen reka bentuk sistem. Selepas itu, projek memasuki tempoh penyelenggaraan mengikut kontrak. Pada tahun 2023, kami menguji latihan semula model dengan 3 algoritma lain untuk membandingkan ketepatan bagi setiap tempoh ramalan.
Latar belakang masalah
Cabaran kes ini ialah mengetahui lebih awal bahawa transaksi dalam sistem transaksi kewangan berskala besar akan menjadi tidak normal, bukannya hanya menyedarinya selepas masalah berlaku. Pelanggan ialah sebuah organisasi dalam sektor kewangan Thailand yang menyelenggara sistem kerja dan peralatan IT di beberapa pusat komputer. Pelanggan memerlukan sistem Machine Learning (pembelajaran mesin) yang menganalisis, meramalkan dan memberikan amaran apabila jumlah transaksi atau masa tindak balas transaksi mula menyimpang daripada kebiasaan.
Sistem transaksi kewangan berskala besar mesti beroperasi secara berterusan. Apabila masa tindak balas mula menjadi perlahan, kesannya sampai kepada ramai pengguna pada masa yang sama. Nilai ramalan awal memberikan masa kepada pasukan pentadbir sistem untuk memeriksa laluan penghantaran dan penerimaan transaksi atau bank mana yang mula mengalami keabnormalan, sebelum memutuskan cara untuk menanganinya.
Apakah itu AIOps
AIOps ialah penggunaan AI dan Machine Learning untuk membantu pasukan IT memantau sistem, contohnya dengan mengesan corak tidak normal daripada data operasi sistem, kemudian memaklumkan pasukan sebelum pengguna terjejas. Dalam kes ini, sistem tersebut dinamakan AIOP System.
Keperluan dan kekangan
Sistem ini mesti membuat ramalan daripada data transaksi sebenar pelanggan dan tidak boleh menjejaskan perkhidmatan sistem sedia ada. Keperluan dan kekangan utama adalah seperti berikut.
- Sistem baharu mesti berfungsi bersama sistem sedia ada tanpa menjejaskan perkhidmatan. Pelanggan menetapkan perkara ini sejak awal projek.
- Sistem ML berjalan pada pelayan milik pelanggan, iaitu pelayan operasi sebenar (Production) dan pelayan pembangunan dan pengujian (Development).
- Data transaksi perlu ditukar format dan dibersihkan sebelum digunakan untuk melatih model. Pada peringkat awal, usaha mendapatkan data yang lengkap dan mengakses data mengambil banyak masa.
- Dokumen keperluan projek merupakan maklumat sulit pelanggan.
Mengapa kami memilih model LSTM dan memasangnya berasingan daripada sistem penghantaran dan penerimaan transaksi
Kami memilih LSTM kerana ia ialah rangkaian neural yang sesuai untuk data mengikut urutan masa, dan masa tindak balas transaksi ialah data jenis ini. Kami memasang sistem ML pada pelayan yang berasingan daripada sistem penghantaran dan penerimaan transaksi kerana pelanggan menetapkan bahawa sistem baharu tidak boleh menjejaskan perkhidmatan. Oleh itu, sistem ML menerima data transaksi daripada sistem sedia ada untuk dianalisis.
- 1
Pengumpulan dan pembersihan data
Kami menukar format data transaksi daripada sistem penghantaran dan penerimaan transaksi pelanggan, memeriksa kesinambungannya dan membuang data yang tidak boleh digunakan, sebelum menghantarnya ke peringkat latihan model.
- 2
Latihan model LSTM
Model mempelajari corak masa tindak balas transaksi, kemudian sistem menyimpan fail model dan laporan hasil latihan pada pelayan.
- 3
Ramalan 5 dan 10 minit lebih awal
Model membuat ramalan secara keseluruhan, mengikut laluan penghantaran dan penerimaan transaksi, dan mengikut setiap bank. Kami menguji hasil ramalan secara retrospektif dengan data lama (Back-test) dan secara masa nyata (Real-time).
- 4
Paparan pada papan pemuka
Graf pada Grafana Dashboard membandingkan nilai sebenar dengan nilai ramalan dan nilai statistik. Pasukan pentadbir sistem boleh memantaunya dari satu skrin.
- 5
Memastikan sistem sedia digunakan
Sistem latihan semula model (Retrain) digunakan untuk melaraskan model apabila terdapat data baharu. Sistem sandaran dan pemulihan data serta pengarkiban data lama secara automatik membantu mengelakkan ruang pelayan daripada penuh.
Perkara yang dipasang dan dirumuskan dalam dokumen penutupan projek
Kerja yang dipasang pada pelayan Production dan Development milik pelanggan dan dirumuskan dalam dokumen penutupan projek adalah seperti berikut.
- Model LSTM yang telah dilatih, berserta laporan hasil latihan
- Sistem ramalan keabnormalan masa tindak balas transaksi 5 dan 10 minit lebih awal, yang diuji secara Back-test dan Real-time
- Grafana Dashboard yang memaparkan graf nilai sebenar berbanding nilai ramalan dan nilai statistik
- Sistem latihan semula model (Retrain)
- Sistem sandaran dan pemulihan data (Backup & Restore) dan pengarkiban data lama secara automatik
- Dokumen reka bentuk sistem dan dokumen penutupan projek
Status sistem HA
Sistem ini juga direka bentuk untuk terus berfungsi apabila sebuah mesin mengalami gangguan (High Availability atau HA), tetapi pada tempoh penutupan projek, HA masih dalam pengujian pada mesin pelanggan. Oleh itu, kami tidak mengira HA sebagai kerja yang telah siap.
Peringkat projek
Projek ini dilaksanakan dari tahun 2021 hingga tahun 2023 seperti berikut.
- Tahun 2021: Projek bermula, data transaksi dikumpulkan dan ditukar format untuk melatih model
- Tahun 2022: Dokumen penutupan projek disediakan, kemudian projek memasuki tempoh penyelenggaraan mengikut kontrak
- Tahun 2023: Ujian latihan semula model dengan CNN-LSTM, Random Forest dan XGBoost untuk membandingkan ketepatan bagi setiap tempoh ramalan
Hasil yang dapat disahkan daripada dokumen penutupan projek
Kami membangunkan sistem Machine Learning yang meramalkan keabnormalan masa tindak balas transaksi 5 dan 10 minit lebih awal untuk sebuah organisasi dalam sektor kewangan Thailand, dan menyediakan dokumen penutupan projek pada tahun 2022. Dokumen ini merumuskan hasil latihan model, hasil ramalan secara Back-test dan Real-time, sistem sandaran data dan dokumen reka bentuk sistem. Kes ini tidak mempunyai angka pengukuran yang boleh didedahkan, oleh itu kami hanya melaporkan perkara yang disokong oleh dokumen.
Pada tahun 2023, kami menguji latihan semula model dengan 3 algoritma lain, iaitu CNN-LSTM, Random Forest dan XGBoost, untuk membandingkan ketepatan bagi setiap tempoh ramalan. Cadangan daripada ujian ini ialah melatih model dengan lebih lanjut untuk mendapatkan ketepatan yang lebih tinggi, dan mempertimbangkan penggunaan data perkakasan pelayan sebagai input tambahan.
Apakah yang kita pelajari
Kerja ini memberikan 3 prinsip untuk kerja ramalan keabnormalan sistem IT.
- Kesediaan data lebih menentukan jadual kerja berbanding pemilihan model. Dalam kerja ini, usaha mendapatkan data transaksi yang lengkap dan menukarnya supaya boleh digunakan merupakan tugas utama pada peringkat awal. Oleh itu, hak akses data wajar dipersetujui dan sampel data sebenar wajar diperiksa sebelum menetapkan tarikh penyerahan kerja.
- Bagi sistem yang tidak boleh menjejaskan perkhidmatan, bahagian ramalan wajar diasingkan pada pelayannya sendiri dan menerima data daripada sistem utama untuk dianalisis. Pengasingan pelayan membolehkan model dilatih semula tanpa menyentuh sistem utama.
- Model ramalan mesti mempunyai pelan penyelenggaraan selepas pemasangan. Hasil ramalan mesti diperiksa secara retrospektif dan masa nyata, dan sistem latihan semula model mesti ada sejak awal. Bahagian yang belum selesai diuji, seperti HA, mesti dinyatakan statusnya dengan jelas dalam dokumen penutupan projek.
Cara menggunakan pendekatan ini pada sistem anda
Jika organisasi anda mempunyai data operasi sistem mengikut urutan masa dan memerlukan isyarat amaran awal, anda boleh menggunakan pendekatan yang sama seperti kes ini, iaitu mengasingkan sistem ramalan pada pelayan anda sendiri, melatih model daripada data sebenar, dan memaparkan nilai sebenar berbanding nilai ramalan pada papan pemuka. Perkara yang perlu disesuaikan ialah data input, tempoh ramalan dan kaedah pengukuran hasil.
Bahagian yang boleh digunakan semula dan bahagian yang perlu diubah suai
| Bahagian sistem | Boleh digunakan semula | Perlu diubah suai apabila |
|---|---|---|
| Data input | Data masa tindak balas transaksi mengikut urutan masa | Jika sistem anda menyimpan data dalam format berbeza atau data lampau tidak berterusan, data perlu diperiksa dan ditukar terlebih dahulu |
| Model | LSTM untuk data siri masa, dan perbandingan dengan algoritma lain | Jika data atau tempoh ramalan berbeza daripada kes ini, model perlu dilatih dan dibandingkan semula |
| Tempoh ramalan | 5 dan 10 minit lebih awal | Jika pasukan anda memerlukan masa persediaan yang berbeza daripada ini, tempoh dan kaedah pengukuran hasil perlu dipersetujui semula |
| Paparan | Grafana Dashboard yang membandingkan nilai sebenar dengan nilai ramalan | Jika pasukan anda sudah menggunakan alat pemantauan lain, lokasi paparan nilai ramalan perlu dipersetujui |
| Pemasangan dan penyelenggaraan | Pelayan milik pelanggan, sistem Retrain dan sistem sandaran data | Jika belum ada pelayan berasingan atau memerlukan HA, perancangan dan pengujian tambahan diperlukan |
- Sediakan hak akses kepada data transaksi dan data lampau sejak awal, dan periksa kelengkapan serta kesinambungan data
- Persetujui bersama cara mengukur ketepatan, secara retrospektif dan masa nyata, serta tempoh ramalan awal yang akan digunakan
- Tetapkan skop kerja penyelenggaraan selepas pemasangan dengan jelas, contohnya kitaran semakan hasil ramalan dan kitaran latihan semula model
- Pertimbangkan untuk menambah data perkakasan pelayan sebagai input model, mengikut cadangan daripada ujian pada tahun 2023
Baca seterusnya
- Predictive Analytics: analisis dan ramalan daripada data sebenar
- Perkhidmatan penyepaduan data dan pembangunan AI untuk organisasi
- Perkhidmatan penjagaan dan penyelenggaraan sistem
- Kes pemusatan data pengeluaran dengan sistem DTS
- Artikel: Bagaimana ramalan trend dengan AI membantu kilang membuat perancangan
- Artikel: Membeli AI Server sendiri atau menyewa GPU awan, yang mana lebih berbaloi
Teknologi yang digunakan
Soalan Sering Ditanya
Apakah yang diramalkan oleh sistem ini, dan berapa minit lebih awal
Sistem ini meramalkan anomali masa tindak balas transaksi (Response Time) 5 dan 10 minit lebih awal, secara keseluruhan, mengikut laluan penghantaran dan penerimaan transaksi, dan mengikut bank. Sistem memberikan nilai ramalan dan graf, manakala keputusan tentang cara menanganinya terletak pada pasukan pentadbir sistem.
Adakah sistem sedia ada perlu diubah suai?
Dalam kes ini, sistem ML dipasang pada pelayan Production dan Development pelanggan, berasingan daripada sistem penghantaran dan penerimaan transaksi, dan menerima data transaksi daripada sistem tersebut untuk dianalisis. Keperluan agar perkhidmatan tidak terjejas telah ditetapkan oleh pelanggan sejak awal. Bagi sistem anda, kami perlu melihat sistem sebenar terlebih dahulu sebelum dapat menyatakan bahagian yang perlu diubah suai.
Model AI jenis apakah yang digunakan?
Sistem dalam kes ini menggunakan model LSTM yang sesuai untuk data yang tersusun mengikut masa. Pada tahun 2023, kami mencuba melatih semula model dengan 3 algoritma lain (CNN-LSTM, Random Forest dan XGBoost) untuk membandingkan ketepatan bagi setiap tempoh ramalan.
Bagaimanakah sistem diselenggara selepas pemasangan?
Selepas dokumen penutupan projek disediakan pada tahun 2022, projek memasuki tempoh penyelenggaraan mengikut kontrak. Pada tahun 2023, kami mencuba melatih semula model, dan mengesyorkan latihan model tambahan untuk ketepatan yang lebih tinggi serta mempertimbangkan penggunaan data perkakasan pelayan sebagai input tambahan.
Jika memerlukan sistem seperti ini, berapakah harganya?
Tiada harga piawai. Kami membuat penilaian berdasarkan jenis dan jumlah data, tempoh masa yang perlu diramalkan, serta keadaan pelayan tempat sistem akan dipasang. Hubungi kami untuk mendapatkan sebut harga.
