鉄鋼業向け FLIRサーマルカメラによる溶鋼スラグ検出ソフトウェア
Slag Carry Over Reportは、FLIRサーマルカメラの画像を受信し、溶鋼流におけるスラグ（Slag）と溶鋼の比率を数値とグラフでリアルタイムに表示する、Linux上の試作ソフトウェアです。スラグがユーザーの設定したレベルに達するとアラームランプを点灯し、後から確認できるよう動画を記録します。当社はこのソフトウェアを開発し、FLIRカメラとの連携動作をテストしました。
- 業界
- 一般製造業
- 業務範囲
- Slag Carry Over Reportソフトウェアは、6項目の要件に従い、注湯中の溶鋼流におけるスラグと溶鋼の比率を測定します · 入力: IEEE 1394aポート経由のFLIRサーマルカメラ画像 · 処理: Linux上のC++とOpenCVによるソフトウェアで溶鋼の赤外線画像の色を解析し、ヒストグラム下のスライダーでユーザーが調整するしきい値に従って溶鋼とスラグを分離し、比率をリアルタイムに算出 · 表示: wxWidgetsの画面に比率グラフ、スラグの時系列グラフ、スラグが設定レベルに達した際のアラームランプ、録画状態ランプを配置 · 記録: 後から確認するための動画とユーザー入力データ。要件では50時間以上の値を記録可能とする · 当社が構築し検証したもの: ソフトウェアと画面設計。FLIRカメラで画像受信と表示をテスト
要約
- Slag Carry Over Reportは、IEEE 1394aポート経由でFLIRサーマルカメラの画像を受信し、スラグと溶鋼の比率をリアルタイムに表示するLinux上の試作ソフトウェアです。
- ソフトウェアは赤外線画像の色から溶鋼とスラグを分離し、ユーザーはヒストグラム下のスライダーでしきい値を調整できます。
- 画面には比率グラフ、スラグの時系列グラフ、スラグが設定レベルに達した際のアラームランプ、録画状態ランプが表示されます。
- 試作の要件では、50時間以上の値を記録でき、後から閲覧できることが定められており、溶解番号（Heat Number）の入力欄も備えています。
- 当社はFLIRカメラを用いて、画像受信、グラフ表示、アラームランプについて試作をテストしました。スラグ分離のしきい値は、アラームランプの使用を開始する前に、現場の実際の注湯画像から設定する必要があります。
現場の課題
溶鋼の表面に浮くスラグは、注湯中に溶鋼流に混ざって流出することがあり、これをSlag Carry Overと呼びます。この試作の課題は、熱画像からスラグと溶鋼の比率をリアルタイムに測定し、数値とグラフで表示して、スラグが設定レベルに達したときに警告することです。
当社の取り組み
当社はSlag Carry Over ReportソフトウェアをLinux上のC++で開発し、IEEE 1394aポート経由でFLIRカメラの画像を受信できるようにしました。ソフトウェアは赤外線画像の色を解析して溶鋼とスラグを分離し、しきい値はユーザーがヒストグラム下のスライダーで調整できます。そのうえで比率グラフ、スラグの時系列グラフ、アラームランプを表示し、動画を記録します。
- FLIRサーマルカメラIEEE 1394aポート経由
- Slag Carry Over ReportソフトウェアLinux上（C++ / OpenCV）
- 溶鋼とスラグの分離赤外線画像の色から
- 比率グラフと時系列グラフ
- アラームランプ＋動画記録
実ワークでの試験結果
プログラムの画面キャプチャから、この試作がFLIRカメラの画像を受信し、溶鋼とスラグの比率グラフ、時系列グラフ、アラームランプ、録画状態ランプを表示できることが確認できます。この結果はFLIRカメラを用いたソフトウェアのテストによるものであり、溶鋼とスラグを分離するしきい値は、現場の実際の注湯画像から設定する必要があります。
課題の背景
この案件の課題は、注湯中の溶鋼流にスラグがどの程度混入して流出しているかを測定し、数値とグラフでリアルタイムに表示することです。使用するデータはサーマルカメラ（Thermal Camera）の画像で、画像内の各点の温度を色で示します。この案件の画面設計はMinimize Slag Carry Over Programと名付けられており、スラグの混入流出を最小限に抑えることを目標としています。
Slag Carry Overとは
スラグ（Slag）は、溶融した鋼の表面に浮いている不純物です。炉や容器から溶鋼を注ぐ際、スラグの一部が溶鋼流に混ざって流出することがあります。この混入流出をSlag Carry Overと呼びます。
要件と制約
この試作は6項目の要件に従って動作し、Linux OS上でIEEE 1394aポート（FireWire）経由でFLIRカメラの画像を受信する必要があります。6項目の要件は次のとおりです。
- 溶鋼の赤外線画像の色を解析する
- スラグと溶鋼の比率を算出する
- リアルタイムに動作する
- スラグが指定レベルに達したときに警告するよう設定できる
- 50時間以上の値を記録でき、後から閲覧できる
- ユーザーが入力した基本情報を記録する
ソフトウェアは熱画像でスラグと溶鋼をどのように分離するのですか
ソフトウェアは赤外線画像の色を解析してスラグと溶鋼を分離し、画像の各部分をユーザーが設定したしきい値に従って溶鋼（Steel）またはスラグ（Slag）に分類します。両方のしきい値はヒストグラム（画像の色値の分布グラフ）下のスライダーで調整できるため、ユーザーは実際の画像の色値分布を見てからしきい値を設定できます。
当社はソフトウェアをC++で開発し、OpenCV（画像処理）とwxWidgets（プログラム画面）のライブラリを使用しました。処理の流れは次のとおりです。
- 1
熱画像をリアルタイムに受信
FLIRカメラがIEEE 1394aポート経由でLinuxコンピューターに画像を送信します。
- 2
溶鋼とスラグの分離
ソフトウェアは赤外線画像の色を解析し、ユーザーが設定したしきい値に従って画像の各部分をSteelまたはSlagに分離します。
- 3
比率と傾向の算出
ソフトウェアはスラグと溶鋼の比率を算出し、スラグの値を時系列（Slag / Time）で追跡して、スラグの混入流出が増える時間帯を把握できるようにします。
- 4
警告と記録
スラグが設定レベルに達するとプログラムが画面上で警告し、後から確認できるよう動画を記録します。
当社が構築し検証したもの
当社はSlag Carry Over Report試作ソフトウェアと、プログラムの構成要素を定めた画面設計を開発し、FLIRカメラでテストしました。プログラム画面の構成要素は次のとおりです。
- FLIRカメラのライブ熱画像、測定枠、最高・最低・平均温度
- SteelとSlagのしきい値スライダー付きヒストグラム
- 溶鋼とスラグの比率の棒グラフ、スラグの時系列グラフ
- アラームランプ（Alarm）、録画状態ランプ（Recording）、Videoボタン
- 溶解番号（Heat Number）、重量、備考の入力欄
- スラグ重量と比率の表示欄
FLIRカメラでのテスト結果
テスト結果は、FLIRカメラの画像を受信中のプログラム画面キャプチャと、FLIRカメラで動作するプログラムのデモ動画として記録しました。この結果は画像受信、比率グラフ、時系列グラフ、アラームランプ、録画状態ランプを示すものです。溶鋼とスラグを分離するしきい値は金属の種類、カメラの角度、撮影距離によって異なるため、各現場の実際の注湯画像で設定とテストを行う必要があります。
実運用の前に
この手法を導入する前に、現場調査を行い、実際の画像からしきい値を設定し、実際の注湯でテストする必要があります。
私たちが学んだこと
この案件から得られる熱画像測定の原則は、しきい値は調整でき目に見えること、数値は各回の注湯に紐づけること、アラームランプは人が判断するための合図であることです。各項目の詳細は次のとおりです。
- 熱画像内の対象を分離するしきい値は画面上で調整でき、ユーザーが設定の根拠となるデータを確認できるようにすべきです。この試作では、しきい値スライダーをヒストグラムの下に配置しました。
- 画像から得た数値は、その回の注湯データに紐づけることで、後から検証に使えます。この試作では、溶解番号、重量、備考の入力欄をグラフや録画状態ランプと同じ画面に配置しています。
- アラームランプは人が判断するための合図です。この試作では画面上のランプです。実運用の前に、誰が合図を受け取り、ランプ点灯時に何をするかを定める必要があります。
この手法をお客様の工場に適用する方法
貴工場で溶融金属を注ぐ工程があり、スラグの比率を数値で確認したい場合、この試作と同じ手法を利用できます。サーマルカメラの画像を受信し、調整可能なしきい値に従って画像の各部分を分離し、グラフを表示して、後から確認できるよう記録を残す手法です。調整が必要なのは、カメラからの画像受信と、現場の実際の画像から設定するしきい値です。
再利用できる部分と調整が必要な部分
| システムの部分 | 再利用可能 | 調整が必要になる場合 |
|---|---|---|
| 画像受信 | Linux上でのIEEE 1394aポート経由によるFLIRカメラの画像受信 | カメラが別機種の場合や別のポートを使う場合は、先にカメラからの画像受信部分を調整する必要があります |
| 溶鋼とスラグの分離 | 赤外線画像の色解析と、ヒストグラム下のしきい値スライダー | 金属の種類、カメラの角度、撮影距離が異なる場合は、現場の実際の画像からしきい値を再設定する必要があります |
| 表示と警告 | 比率グラフ、時系列グラフ、画面上のアラームランプ | 警告信号を他の機器に送る場合は、先に追加の設計とテストが必要です |
| 記録 | 動画記録と、溶解番号、重量、備考の入力欄 | 工場で保存すべきデータがこれと異なる場合は、データ項目と保存期間を改めて定める必要があります |
- カメラの設置位置は、溶鋼流がはっきり見え、熱、煙、粉塵を防げる必要があります
- アラームランプの使用を開始する前に、複数回の注湯の実画像を収集し、しきい値の設定とテストに使用します
- 注湯中に誰が画面を監視し、誰が警告を受け取り、誰が履歴データを閲覧するかを明確に取り決めます
使用する技術
よくある質問
このシステムではどのようなカメラとソフトウェアを使用していますか
FLIRサーマルカメラをIEEE 1394aポート経由でLinuxコンピューターに接続して使用します。ソフトウェアはC++で開発し、画像処理にOpenCV、プログラム画面にwxWidgetsを使用しています。
システムは溶鋼にスラグが混入していることをどのように判別しますか
ソフトウェアは赤外線画像の色を解析し、ヒストグラム下のスライダーでユーザーが調整したしきい値に従って溶鋼部分とスラグ部分を分離します。その後、比率グラフと時系列グラフを表示します。スラグが設定レベルに達すると、画面上のアラームランプが点灯します。
データを保存して後から確認できますか
はい。試作の要件では、50時間以上の値を記録でき、後から閲覧できることが定められています。プログラムは動画を記録でき、溶解番号（Heat Number）、重量、備考の入力欄があります。
テスト前に工場側で何を準備する必要がありますか
溶鋼流がはっきり見え、熱、煙、粉塵を防げるカメラ設置位置が必要です。また、複数回の注湯の実画像を収集してしきい値の設定とテストに使用し、注湯中に誰が画面を監視し、誰が警告を受け取り、誰が履歴データを閲覧するかを取り決めておく必要があります。
価格と開発期間はどのくらいですか
価格と開発期間はカメラの機種、設置箇所、記録するデータによって異なるため、固定の数値はありません。現場調査の後の見積書と作業計画をご希望の場合は、当社までお問い合わせください。
