Kamera AI memeriksa jika bahagian dalam tempat penempatan set lengkap, untuk pengeluar bahagian kenderaan di Thailand.

Latar belakang masalah

Cabaran kes ini ialah memeriksa sama ada dulang kit komponen (Bento) mempunyai semua subkomponen sebelum dihantar ke barisan pemasangan. Pekerja mengambil subkomponen dan memasukkannya ke dalam dulang mengikut senarai setiap varian bahan kerja (P/No. ialah kod varian bahan kerja). Satu dulang mengandungi beberapa jenis subkomponen, seperti tuil (Lever) dan plat daripada beberapa varian.

Setiap varian bahan kerja mempunyai senarai subkomponennya sendiri, jadi kamera perlu mengetahui varian bagi dulang tersebut, kemudian membandingkan komponen yang ditemui dalam imej dengan senarai bagi varian itu. Matlamatnya ialah menemui dulang yang kekurangan komponen di titik penyediaan kit, sebelum dulang dihantar sampai ke barisan pemasangan.

Keperluan dan kekangan

Prototaip perlu berfungsi pada troli pengangkut dulang dan perlu mengetahui komponen yang sepatutnya ada dalam setiap dulang. Keperluan dan kekangan utama adalah seperti berikut.

• Dipasang pada troli pengangkut dulang dan boleh memeriksa satu dulang pada satu masa.
• Memeriksa beberapa jenis subkomponen dalam satu dulang, dengan membandingkannya dengan senarai komponen varian bahan kerja tersebut.
• Setiap imej mesti mendapat pencahayaan yang sama, oleh itu set prototaip mempunyai lampu panel (Area Light) dan lampu bar (Bar Light) sendiri yang dikawal melalui geganti (suis elektrik yang dihidupkan dan dimatikan melalui isyarat).
• Skop prototaip menetapkan data bahan kerja untuk 3 varian (P/No.), dengan senarai varian ditetapkan terlebih dahulu dalam program.
• Program direka bentuk supaya pengguna boleh mengumpul imej tambahan dan memuat naik fail model baharu daripada skrin program, bagi menyokong komponen atau varian baharu.

Bagaimana kamera AI memeriksa komponen dalam dulang kit

Kamera pada troli pengangkut dulang merakam imej setiap dulang, kemudian model YOLO (model pengesanan objek dalam imej) pada papan NVIDIA Jetson Xavier mengenal pasti subkomponen yang terdapat dalam imej. Program membandingkan hasilnya dengan senarai komponen varian tersebut, kemudian memaparkan komponen yang kurang pada tablet.

Model pengesanan objek sesuai untuk cabaran ini kerana soalan bagi setiap dulang ialah komponen apa yang ada dalam imej. Setelah senarai komponen yang ditemui diperoleh, program boleh terus membandingkannya dengan senarai bagi varian tersebut. Kami mereka bentuk sistem supaya lampu dihidupkan sebelum merakam imej dan dimatikan selepas merakam, supaya setiap imej mendapat pencahayaan yang sama.

1. 1

   Sediakan senarai komponen setiap varian

   Prototaip ini menetapkan senarai varian bahan kerja (P/No.) terlebih dahulu, bersama senarai subkomponen setiap dulang dan helaian spesifikasi yang boleh dibuka pada tablet.

2. 2

   Rakam imej setiap dulang satu demi satu

   Pengguna menekan butang apabila dulang berada di bawah kamera. Kami mereka bentuk sistem untuk menghidupkan lampu, merakam imej, kemudian mematikan lampu.

3. 3

   Model AI memeriksa imej

   Papan NVIDIA Jetson Xavier menjalankan model YOLO untuk mengenal pasti komponen yang terdapat dalam imej.

4. 4

   Paparkan komponen yang kurang

   Tablet memaparkan senarai subkomponen yang tidak dikesan dalam dulang tersebut. Pengguna boleh menekan untuk ke dulang seterusnya atau kembali melihat dulang sebelumnya.

5. 5

   Latih dan laraskan model

   Pengguna merakam imej atau video daripada skrin program. Kemudian kami menggunakan proses pada nimitFlow untuk menukar video kepada imej, melabel imej, melatih model dan memuat naik fail model baharu kembali ke dalam program.

Komponen sistem

Set prototaip terdiri daripada 3 bahagian, iaitu perkakasan pada troli pengangkut dulang, program Camera Inspection pada tablet, serta proses latihan dan ujian model pada nimitFlow. Senarai berdasarkan dokumen reka bentuk dan senarai semak pasukan adalah seperti berikut.

• Perkakasan: kamera berkanta 12 mm, papan NVIDIA Jetson Xavier, lampu panel dan lampu bar yang disambungkan melalui unit kawalan lampu (geganti), dan tablet paparan.
• Program Camera Inspection: melihat helaian spesifikasi varian bahan kerja, melihat imej daripada kamera, memeriksa satu dulang pada satu masa, memaparkan komponen yang kurang, merakam imej atau video untuk melatih model, dan memuat naik fail model.
• Proses pada nimitFlow: menukar video kepada imej, melabel imej (Labeling) dengan Label Studio (program pelabelan imej sumber terbuka), menukar set data, melatih model YOLO, mengeksport fail model, serta menguji hasil dan menghantar laporan melalui e-mel.

Dalam prototaip ini, kami sendiri yang melatih model, manakala program pada tablet direka bentuk supaya pengguna di lokasi kerja boleh memeriksa dulang dan mengumpul imej tambahan. Selain itu, kami menyediakan versi pertama manual dalaman untuk proses ujian model pada nimitFlow pada Ogos 2025.

Apa yang kami bina, dan langkah seterusnya selepas prototaip

Kami membina 1 set prototaip dalam tempoh April–Ogos 2025: memasang perkakasan pada troli pengangkut dulang, membangunkan skrin utama program, serta membina proses latihan dan ujian model pada nimitFlow. Menurut rekod terkini, model telah dilatih dengan sebahagian jenis subkomponen.

Langkah seterusnya selepas prototaip ialah melatih model untuk semua subkomponen, mengukur hasil dengan dulang sebenar berdasarkan kriteria lulus–gagal, dan membangunkan bahagian berikut mengikut senarai semak pasukan.

• Mengambil secara automatik daripada sistem sedia ada varian bahan kerja yang sedang dikeluarkan (prototaip menggunakan senarai varian yang ditetapkan terlebih dahulu)
• Menghidupkan dan mematikan lampu daripada program, dan memaparkan status lampu
• Skrin tetapan rangkaian
• Butang pengesahan keputusan pemeriksaan
• Penyimpanan sejarah keputusan pemeriksaan

Apakah yang kita pelajari

Kerja ini memberikan 3 prinsip untuk projek kamera AI yang memeriksa sama ada komponen lengkap atau tidak.

• Pencahayaan dan latar belakang mesti stabil sebelum mengumpul imej untuk melatih model. Imej latihan sepatutnya dirakam di bawah pencahayaan dan latar belakang yang sama seperti semasa pemeriksaan sebenar. Dalam kerja ini, kami merekodkan bahawa latar belakang bagi sesetengah jenis komponen patut ditukar daripada hitam kepada putih, oleh itu pencahayaan dan latar belakang patut dipersetujui sebelum mengumpul imej dalam jumlah yang banyak.
• Senarai komponen bagi varian yang sedang dikeluarkan ialah sebahagian daripada pemeriksaan, bukan kerja tambahan. Keputusan pemeriksaan akan betul apabila program mengetahui varian yang sedang dikeluarkan. Prototaip ini menggunakan senarai varian yang ditetapkan terlebih dahulu, dan pengambilan data daripada sistem sedia ada masih merupakan kerja yang belum selesai. Oleh itu, penyepaduan dengan sistem sedia ada patut dirancang dari awal lagi.
• Siap dibangunkan belum bermakna lulus ujian. Senarai semak pasukan menunjukkan bahagian yang telah siap dibina, tetapi tidak menunjukkan sejauh mana ketepatan pemeriksaan sistem. Sebelum penggunaan sebenar, kriteria lulus–gagal perlu ditetapkan, seperti kadar pengesanan dulang yang kekurangan komponen dan kadar amaran palsu, kemudian diukur dengan dulang sebenar.

Cara menggunakan pendekatan ini pada barisan penyediaan kit anda

Jika kilang anda menyusun komponen ke dalam dulang sebelum dihantar ke barisan pemasangan, anda boleh menggunakan pendekatan yang sama seperti kes ini, iaitu merakam imej setiap dulang, membiarkan model mengesan komponen, kemudian membandingkannya dengan senarai bagi varian yang sedang dikeluarkan. Bahagian yang perlu disesuaikan ialah model, pencahayaan dan penyepaduan dengan sistem sedia ada, yang bergantung pada bahan kerja dan lokasi kerja anda.

Sebelum memulakan projek, sediakan perkara berikut

• Mulakan dengan sebilangan kecil varian yang dulangnya kerap kekurangan komponen, kemudian barulah tambah varian apabila yakin dengan keputusan pemeriksaan (prototaip ini menetapkan skop sebanyak 3 varian).
• Sediakan senarai subkomponen bagi setiap dulang dalam setiap varian, dan nyatakan sistem yang menyimpan data varian yang sedang dikeluarkan.
• Persetujui pencahayaan dan latar belakang di titik rakaman imej sebelum mengumpul imej untuk melatih model.
• Tetapkan bersama kriteria lulus–gagal dan set dulang yang digunakan untuk ujian sebelum bermula.