タイの金融機関向け取引異常を予測するMachine Learningシステム

課題の背景

この事例の課題は、問題が発生してから気づくのではなく、大規模な金融取引システムの取引に異常が起きようとしていることを事前に把握することでした。お客様はタイの金融分野の組織で、複数のコンピューターセンターで業務システムとIT機器を管理しています。お客様が求めていたのは、取引量や取引の応答時間が通常から外れ始めたときに分析、予測、通知を行うMachine Learning（機械学習）システムでした。

大規模な金融取引システムは継続的に稼働する必要があります。応答時間が遅くなり始めると、影響は同時に多数のユーザーに及びます。事前の予測値があれば、システム管理チームは、対応方法を判断する前に、異常がどの取引送受信経路またはどの銀行から始まっているかを確認する時間を確保できます。

要件と制約

システムはお客様の実際の取引データに基づいて予測し、既存システムのサービス提供に影響を与えないことが求められました。主な要件と制約は次のとおりです。

• 新しいシステムは、サービス提供に影響を与えることなく既存システムと連携して動作する必要があります。お客様はこの条件をプロジェクトの開始時から定めていました。
• MLシステムは、お客様のサーバー、すなわち本番サーバー（Production）と開発・テストサーバー（Development）の両方で動作します。
• 取引データは、モデル学習に使用する前に形式変換とクレンジングが必要です。初期段階では、データを漏れなく入手することとデータへのアクセスに多くの時間を要しました。
• プロジェクトの要件文書はお客様の機密情報です。

当社がLSTMモデルを選び、取引送受信システムから分離して導入した理由

当社がLSTMを選んだのは、時間順に並んだデータに適したニューラルネットワークであり、取引の応答時間がこの種のデータであるためです。MLシステムを取引送受信システムとは別のサーバーに導入したのは、新しいシステムがサービス提供に影響を与えてはならないとお客様が定めていたためです。そのため、MLシステムは既存システムから取引データを受け取って分析します。

1. 1

   データの収集とクレンジング

   当社は、お客様の取引送受信システムからの取引データについて、形式の変換、連続性の確認、使用できないデータの除去を行ったうえで、モデル学習の工程に渡します。

2. 2

   LSTMモデルの学習

   モデルは取引の応答時間のパターンを学習し、システムはモデルファイルと学習結果レポートをサーバーに保存します。

3. 3

   5分前および10分前の予測

   モデルは全体、取引送受信経路別、銀行別に予測します。当社は予測結果を、過去データによるバックテスト（Back-test）とリアルタイム（Real-time）の両方でテストしました。

4. 4

   ダッシュボードでの表示

   Grafana Dashboardのグラフで実測値を予測値および統計値と比較でき、システム管理チームは単一の画面で状況を追跡できます。

5. 5

   システムを使用可能な状態に維持

   モデル再学習システム（Retrain）は、新しいデータが得られたときにモデルを調整するために使用します。データバックアップ・復旧システムと古いデータの自動保管は、サーバーの容量が一杯になることを防ぐのに役立ちます。

導入内容とプロジェクト完了文書にまとめた内容

お客様のProductionサーバーおよびDevelopmentサーバーに導入し、プロジェクト完了文書にまとめた作業は次のとおりです。

• 学習済みのLSTMモデルと学習結果レポート
• 取引の応答時間の異常を5分前および10分前に予測するシステム（バックテストとリアルタイムの両方でテスト）
• 実測値と予測値の比較グラフおよび統計値を表示するGrafana Dashboard
• モデル再学習システム（Retrain）
• データバックアップ・復旧システム（Backup & Restore）と古いデータの自動保管
• システム設計書とプロジェクト完了文書

プロジェクトの工程

プロジェクトは2021年から2023年まで、次のとおり実施しました。

1. 2021年: プロジェクトを開始し、モデル学習用の取引データを収集・変換しました。
2. 2022年: プロジェクト完了文書を作成し、その後、契約に基づく保守期間に入りました。
3. 2023年: 予測期間ごとの精度を比較するため、CNN-LSTM、Random Forest、XGBoostでモデルの再学習を試行しました。

プロジェクト完了文書から確認できた成果

当社はタイの金融分野の組織向けに、取引の応答時間の異常を5分前および10分前に予測するMachine Learningシステムを開発し、2022年にプロジェクト完了文書を作成しました。この文書には、モデル学習の結果、バックテストとリアルタイムの予測結果、データバックアップシステム、システム設計書をまとめています。この事例には公開できる効果測定の数値がないため、当社は文書で確認できる内容のみを報告しています。

2023年には、予測期間ごとの精度を比較するため、別の3種類のアルゴリズム、すなわちCNN-LSTM、Random Forest、XGBoostでモデルの再学習を試行しました。この試行から得られた提言は、より高い精度を目指してモデルの追加学習を行うこと、およびサーバーのハードウェアデータを追加の入力として使用することを検討することです。

私たちが学んだこと

この案件からは、ITシステムの異常予測に関する3つの原則が得られました。

• モデルの選択よりも、データの準備状況のほうがスケジュールを左右します。この案件では、取引データを漏れなく入手し、使用できる形に変換することが初期段階の主要な作業でした。そのため、納期を設定する前に、データへのアクセス権について合意し、実データのサンプルを確認することをお勧めします。
• サービス提供に影響を与えてはならないシステムでは、予測部分を専用のサーバーに分離し、メインシステムからデータを受け取って分析する構成をお勧めします。サーバーを分離することで、メインシステムに触れることなくモデルを再学習できます。
• 予測モデルには導入後の管理計画が必要です。予測結果は過去データとリアルタイムの両方で確認する必要があり、モデル再学習システムは最初から備えておく必要があります。HAのようにテストが完了していない部分は、プロジェクト完了文書にその状況を明記する必要があります。

このアプローチを貴社のシステムにどう適用するか

貴社の組織に時間順に並んだシステム稼働データがあり、事前の警告シグナルが必要な場合は、この事例と同じアプローチを利用できます。すなわち、予測システムを貴社のサーバーに分離し、実データからモデルを学習させ、実測値と予測値の比較をダッシュボードに表示します。調整が必要なのは、入力データ、予測期間、評価方法です。

• 取引データと過去データへのアクセス権を最初から準備し、データの完全性と連続性を確認します。
• 精度を過去データとリアルタイムの両方でどのように測定するか、また予測期間をどの程度にするかを共同で取り決めます。
• 導入後の保守範囲を明確に定めます。たとえば、予測結果の確認周期やモデル再学習の周期などです。
• 2023年の試行から得られた提言に基づき、サーバーのハードウェアデータをモデルの入力に追加することを検討します。