AIカメラは、タイの自動車部品製造業者が使用するトレイセット内の部品が完全であるかをチェックします。

課題の背景

この事例の課題は、部品キッティングトレイ(Bento)を組立ラインへ送る前に、サブ部品が揃っているかを検査することです。作業者はワーク型式(P/No.はワーク型式のコードです)ごとのリストに従い、サブ部品をトレイに入れます。同じトレイには、レバー(Lever)や複数型式のプレートなど、複数種類のサブ部品が入ります。

ワーク型式ごとに固有のサブ部品リストがあります。そのためカメラは、そのトレイがどの型式のものかを把握したうえで、画像内で見つかった部品をその型式のリストと照合する必要があります。目標は、部品が不足したトレイを、組立ラインに届く前のキッティング工程で発見することです。

要件と制約

プロトタイプはトレイ搬送カート上で動作し、各トレイにどの部品が入るべきかを把握している必要があります。主な要件と制約は次のとおりです。

• トレイ搬送カートに設置し、トレイごとに検査します
• 同じトレイ内の複数種類のサブ部品を、そのワーク型式の部品リストと照合して検査します
• すべての画像に同じ照明が必要なため、プロトタイプは専用のエリアライト(Area Light)とバーライト(Bar Light)を備え、リレー(信号でオン・オフを切り替える電気スイッチ)経由で制御します
• プロトタイプの範囲ではワークデータを3型式(P/No.)と定め、型式リストをプログラムにあらかじめ設定します
• 新しい部品や型式に対応できるよう、ユーザーがプログラム画面から画像を追加収集し、新しいモデルファイルをアップロードできる設計です

キッティングトレイの部品をAIカメラで検査する仕組み

トレイ搬送カート上のカメラがトレイごとに撮影し、NVIDIA Jetson Xavierボード上のYOLOモデル(画像内の物体を検出するモデル)が、画像内にどのサブ部品があるかを検出します。プログラムはその結果をその型式の部品リストと照合し、不足部品をタブレットに表示します。

この課題には物体検出モデルが適しています。各トレイについて問うのは、画像内にどの部品があるかだからです。検出された部品のリストが得られれば、プログラムはそれを型式のリストと直接照合できます。当社は、すべての画像に同じ照明が当たるよう、撮影前に照明を点灯し撮影後に消灯する設計にしました。

1. 1

   型式ごとの部品リストを準備

   このプロトタイプでは、ワーク型式(P/No.)のリストに加え、各トレイのサブ部品リストと、タブレットで閲覧できる仕様書をあらかじめ設定します。

2. 2

   トレイごとに撮影

   ユーザーはトレイがカメラの下にあるときにボタンを押します。当社は、システムが照明を点灯し、撮影してから消灯するように設計しました。

3. 3

   AIモデルによる画像検査

   NVIDIA Jetson XavierボードがYOLOモデルを実行し、画像内にどの部品があるかを検出します。

4. 4

   不足部品を表示

   タブレットに、そのトレイで検出されなかったサブ部品のリストを表示します。ユーザーは次のトレイへ進むことも、前のトレイに戻って確認することもできます。

5. 5

   モデルの学習と調整

   ユーザーがプログラム画面から画像または動画を記録します。その後、当社がnimitFlow上の手順で動画を画像に変換し、画像にラベルを付け、モデルを学習させ、新しいモデルファイルをプログラムにアップロードします。

システムの構成要素

プロトタイプは、トレイ搬送カート上のハードウェア、タブレット上のCamera Inspectionプログラム、nimitFlow上のモデル学習・テスト手順の3つで構成されます。設計文書とチームのチェックリストに基づく内容は次のとおりです。

• ハードウェア:12 mmレンズ付きカメラ、NVIDIA Jetson Xavierボード、照明コントローラー(リレー)経由で接続したエリアライトとバーライト、表示用タブレット
• Camera Inspectionプログラム:ワーク型式の仕様書の閲覧、カメラ映像の確認、トレイごとの検査、不足部品の表示、モデル学習用の画像または動画の記録、モデルファイルのアップロード
• nimitFlow上の手順:動画から画像への変換、Label Studio(オープンソースの画像ラベリングプログラム)による画像ラベリング(Labeling)、データセットの変換、YOLOモデルの学習、モデルファイルのエクスポート、結果のテストとメールでのレポート送信

このプロトタイプでは、モデルの学習は当社が行います。タブレット上のプログラムは、現場のユーザーがトレイを検査し、画像を追加収集できるように設計しました。また、nimitFlow上のモデルテスト手順について、社内向けマニュアルの初版を2025年8月に作成しました。

当社が構築したものと、プロトタイプの次の段階

当社は2025年4月〜8月にプロトタイプを1セット構築しました。トレイ搬送カート上にハードウェアを組み立て、プログラムのメイン画面を開発し、nimitFlow上にモデル学習・テスト手順を作成しました。最新の記録によると、モデルは一部の種類のサブ部品について学習済みです。

プロトタイプの次の段階は、すべてのサブ部品についてモデルを学習させ、合否基準に基づき実際のトレイで結果を測定し、チームのチェックリストに沿って次の部分を開発することです。

• 生産中のワーク型式を既存システムから自動取得(プロトタイプではあらかじめ設定した型式リストを使用)
• プログラムからの照明のオン・オフ操作と照明状態の表示
• ネットワーク設定画面
• 検査結果の確認ボタン
• 検査結果の履歴保存

私たちが学んだこと

この案件から、部品が揃っているかを検査するAIカメラの案件に向けた3つの原則が得られました。

• モデル学習用の画像を収集する前に、照明と背景を安定させる必要があります。学習に使う画像は、実際の検査時と同じ照明と背景で撮影すべきです。この案件では、一部の部品の背景を黒から白に変更すべきであることを記録しました。そのため、大量の画像を収集する前に照明と背景を取り決めておくべきです。
• 生産中の型式の部品リストは検査の一部であり、付加的な作業ではありません。検査結果が正しくなるのは、プログラムがどの型式を生産中かを把握している場合です。このプロトタイプではあらかじめ設定した型式リストを使用しており、既存システムからのデータ取得は未完了の作業です。そのため、既存システムとの連携は最初から計画に含めるべきです。
• 開発完了はテスト合格と同じではありません。チームのチェックリストはどの部分が完成したかを示しますが、システムの検査がどの程度正しいかは示しません。実運用の前に、部品不足トレイの検出率や誤警報率などの合否基準を定め、実際のトレイで測定する必要があります。

このアプローチを貴社のキッティングラインに適用する方法

貴社の工場で組立ラインへ送る前に部品をトレイに揃えている場合、この事例と同じアプローチを使えます。トレイごとに撮影し、モデルで部品を検出して、生産中の型式のリストと照合する方法です。調整が必要なのはモデル、照明、既存システムとの連携で、これらは貴社のワークと現場によって異なります。

プロジェクトを始める前に、次の事項を準備してください。

• トレイの部品不足が多い少数の型式から始め、検査結果に確信が持ててから型式を追加します(このプロトタイプでは範囲を3型式と定めました)。
• 各型式の各トレイのサブ部品リストを準備し、生産中の型式データがどのシステムにあるかを特定します。
• モデル学習用の画像を収集する前に、撮影箇所の照明と背景を取り決めます。
• 開始前に、合否基準とテストに使うトレイのセットを共同で定めます。