一般製造向け、カメラとAIによるワークの色調検査プログラム(IKS2 Shading)

課題の背景

この取り組みの課題は、検査者に左右されない基準でワークの色の合否を判定することです。多くの工場では今なお色調を目視で選別しており、作業者によって同じワークの判定が一致しないことがあり、人手による選別には多くの労力と時間がかかります。

当社はIKS2 Shadingを試作プログラムとして自社開発しました。当社のプレゼンテーション資料では、応用例としてラベル、タイル、カーペットの色調検査を挙げています。

要件と制約

プログラムは実際のワーク画像から基準を設定でき、ユーザー自身が新しい標準色調を追加できる必要があります。試作の主な要件は次のとおりです。

• 良品ワークと不良品ワークの画像を基準設定のデータとして使用します。
• 新しいサンプル画像セットでモデルを学習させることで、プログラミングなしで画面から新しい標準色調を追加できます。
• 検査結果を良品（OK）または不良品（NG）としてサマリーレポートとともに表示します。
• 色データをデータベースに保存し、履歴の参照と基準の調整に使用します。

主な制約は画像に起因します。画像内の色の値は照明によって変化し、得られる基準の良し悪しは学習に使うサンプル画像次第です。そのため、サンプル画像は実際に発生する色調の範囲を網羅する必要があり、どのようなワークを良品とするかをチームで事前に合意しておく必要があります。

良品ワークと不良品ワークの画像からプログラムに基準を学習させる方式を選んだ理由

この方式を選んだのは、現場の問いが「色は合格か不合格か」であり、その答えはチームがすでに選別したサンプルワークの中にあるためです。そこでプログラムは、サンプル画像の色を数値に変換し、その数値から良品と不良品をグループ分けします。新しい標準色調が必要になった場合、チームはプログラムを修正せずに新しいサンプル画像セットを追加できます。

AIが担うのは色データのグループ分けのみです。基準の選択にはFuzzy Logic（ファジィ論理。はい・いいえで明確に分けられない値を扱って推論する手法）を使用します。良品と不良品のサンプル画像はユーザーが指定し、OK / NGの結果は判断の材料として使用します。処理手順は次のとおりです。

1. 1

   良品と不良品のサンプル画像を撮影

   ユーザーは色調が合格のワークと不合格のワークを撮影し、サンプルとして保存します。この画像セットが、プログラムが基準の設定に使用するデータです。

2. 2

   画像のフィルタリングと色の値の並べ替え

   プログラムは画像をフィルタリングし、赤、緑、青の値をヒストグラム（Histogram: 画像内の色の値の分布を示すグラフ）に基づいて並べ替え、重要な色データのみを選択します。

3. 3

   画像の特徴の統合

   すべての色チャンネルの色データを、画像の特徴を表す数値セットに統合します（Feature Extraction: 画像の重要な特徴を数値として抽出すること）。これにより、各画像を比較できるようになります。

4. 4

   AIによる色調のグループ分け

   AIがK-means Clusteringでデータをグループ分けして良品ワークと不良品ワークのグループを分け、各グループの代表値を保存して次のワークの判定に使用します。

5. 5

   基準の選択と結果の出力

   Fuzzy Logicが統計的に良好な結果を示すグループを判定基準として選択します。プログラムは良品（OK）または不良品（NG）の結果を表示し、サマリーレポートを出力して、色データをデータベースに保存します。

システムの構成要素

IKS2 Shadingは、基準の学習、検査、データ保存を単一のプログラムにまとめた意思決定支援システム（Decision Support System）のソフトウェアです。IKS2 Shadingは各ワークを良品（OK）または不良品（NG）の2つの結果のいずれかに判定し、色データをデータベースに保存します。試作の構成要素は次のとおりです。

• 基準学習部: 良品ワークと不良品ワークの画像を受け取り、色調のグループと各グループの代表値を作成します。
• 検査・結果表示部: 新しいワークの画像を基準と比較し、結果をOKまたはNGで表示します。
• サマリーレポート: ワークの選別結果をOKとNGのグループにまとめます。
• 色データベース: ワークの色データを保存し、後から参照できるようにします。
• 新しい標準色調の追加画面: プログラミングなしでサンプル画像セットを追加し、モデルを再学習できます。

当社が構築したもの

当社はIKS2 Shadingを、画像からの基準学習からOK / NGの結果表示までの工程を備えた試作プログラム（PoC: 概念実証）として開発し、色調自動検査プログラム（IKS2 Shading）の著作権情報を2018年に知的財産局へ届け出ました。著作権情報の届出は著作物の情報を記録するものであり、登録やプログラムの品質認証ではありません。

色調判定の精度は、ワーク、照明、学習に使うサンプル画像セットによって異なります。評価に使う指標は不良検出率と誤報率で、各工場のワークと撮影ポイントで測定する必要があります。

私たちが学んだこと

この取り組みから得られた、カメラによる色調検査の原則は次のとおりです。

• 色の基準は、チームが合意したサンプル画像から始まります。プログラムが良品と不良品の画像から学習する場合、得られる基準の一貫性はサンプル画像の選別の一貫性と同程度になります。そのため、チームはモデルを学習させる前に良品の定義を一致させておく必要があります。
• AIを動かす前に色を数値に変換し、AIがどの部分を担うかを明確にします。この取り組みでは、AIが色データをグループ分けし、Fuzzy Logicが基準を選択し、人がサンプル画像を指定します。また、基準を見直す際に参照できる色データをデータベースに保持しています。
• 照明は基準の一部です。画像内の色の値は照明によって変化するため、ある照明条件で設定した基準は、その地点の照明でテストするまで別の撮影ポイントには適用できません。

この手法をお客様の工場に適用する方法

貴社の工場で梱包や顧客への出荷の前にワークの色調を選別する必要がある場合、この事例の手法を利用できます。良品ワークと不良品ワークの画像から基準を学習させ、色を数値に変換し、グループ分けしてOK / NGを判定する手法です。調整が必要なのは照明、カメラ、貴社のワークのサンプル画像セットで、まず貴社の実際のワークでテストする必要があります。