Kamera AI memeriksa apakah bagian dalam tray set lengkap, untuk produsen komponen otomotif di Thailand.

Latar belakang permasalahan

Tantangan dalam kasus ini adalah memeriksa apakah baki kitting komponen (Bento) berisi subkomponen lengkap sebelum dikirim ke lini perakitan. Karyawan mengambil subkomponen dan memasukkannya ke baki sesuai daftar setiap tipe benda kerja (P/No. adalah kode tipe benda kerja). Satu baki berisi beberapa jenis subkomponen, misalnya tuas (Lever) dan pelat dari beberapa tipe.

Setiap tipe benda kerja memiliki daftar subkomponennya sendiri, sehingga kamera harus mengetahui baki tersebut milik tipe yang mana, lalu membandingkan komponen yang ditemukan dalam gambar dengan daftar untuk tipe itu. Tujuannya adalah menemukan baki yang kekurangan komponen di titik kitting, sebelum baki dikirim ke lini perakitan.

Persyaratan dan batasan

Prototipe harus bekerja pada troli pengangkut baki dan harus mengetahui komponen apa yang seharusnya ada di setiap baki. Persyaratan dan batasan utamanya adalah sebagai berikut.

• Dipasang pada troli pengangkut baki dan dapat memeriksa baki satu per satu
• Memeriksa beberapa jenis subkomponen dalam satu baki dengan membandingkannya terhadap daftar komponen tipe benda kerja tersebut
• Setiap gambar harus mendapat pencahayaan yang sama, sehingga set prototipe memiliki lampu panel (Area Light) dan lampu batang (Bar Light) sendiri yang dikendalikan melalui relay (sakelar listrik yang dinyalakan dan dimatikan dengan sinyal)
• Cakupan prototipe menetapkan data benda kerja untuk 3 tipe (P/No.) dan daftar tipe disiapkan terlebih dahulu di dalam program
• Program dirancang agar pengguna dapat mengumpulkan gambar tambahan dan mengunggah file model baru dari halaman program, untuk mendukung komponen atau tipe baru

Cara kerja kamera AI dalam memeriksa komponen pada baki kitting

Kamera pada troli pengangkut baki memotret baki satu per satu, lalu model YOLO (model deteksi objek pada gambar) pada papan NVIDIA Jetson Xavier mencari subkomponen apa saja yang ada dalam gambar. Program membandingkan hasilnya dengan daftar komponen tipe tersebut, lalu menampilkan komponen yang kurang pada tablet.

Model deteksi objek cocok untuk tantangan ini karena pertanyaan pada setiap baki adalah komponen apa saja yang ada dalam gambar. Setelah daftar komponen yang ditemukan diperoleh, program dapat langsung membandingkannya dengan daftar untuk tipe tersebut. Kami merancang sistem agar menyalakan lampu sebelum memotret dan mematikannya setelah memotret, supaya setiap gambar mendapat pencahayaan yang sama.

1. 1

   Menyiapkan daftar komponen setiap tipe

   Prototipe ini menyiapkan daftar tipe benda kerja (P/No.) terlebih dahulu, beserta daftar subkomponen setiap baki dan lembar spesifikasi yang dapat dibuka pada tablet.

2. 2

   Memotret baki satu per satu

   Pengguna menekan tombol saat baki berada di bawah kamera. Kami merancang sistem agar menyalakan lampu, memotret, lalu mematikan lampu.

3. 3

   Model AI memeriksa gambar

   Papan NVIDIA Jetson Xavier menjalankan model YOLO untuk mencari komponen apa saja yang ada dalam gambar.

4. 4

   Menampilkan komponen yang kurang

   Tablet menampilkan daftar subkomponen yang tidak terdeteksi dalam baki tersebut. Pengguna dapat menekan tombol untuk beralih ke baki berikutnya atau kembali melihat baki sebelumnya.

5. 5

   Melatih dan menyesuaikan model

   Pengguna merekam gambar atau video dari halaman program. Selanjutnya kami menggunakan alur kerja di nimitFlow untuk mengonversi video menjadi gambar, melabeli gambar, melatih model, dan mengunggah kembali file model baru ke program.

Komponen sistem

Set prototipe terdiri atas 3 bagian, yaitu perangkat keras pada troli pengangkut baki, program Camera Inspection pada tablet, dan alur pelatihan serta pengujian model di nimitFlow. Rinciannya menurut dokumen desain dan daftar periksa tim adalah sebagai berikut.

• Perangkat keras: kamera berlensa 12 mm, papan NVIDIA Jetson Xavier, lampu panel dan lampu batang yang terhubung melalui unit kendali lampu (relay), serta tablet untuk tampilan
• Program Camera Inspection: melihat lembar spesifikasi tipe benda kerja, melihat gambar dari kamera, memeriksa baki satu per satu, menampilkan komponen yang kurang, merekam gambar atau video untuk melatih model, dan mengunggah file model
• Alur kerja di nimitFlow: mengonversi video menjadi gambar, melabeli gambar (Labeling) dengan Label Studio (program pelabelan gambar open source), mengonversi dataset, melatih model YOLO, mengekspor file model, serta menguji hasil sekaligus mengirim laporan melalui email

Dalam prototipe ini, kami sendiri yang melatih model, sedangkan program pada tablet dirancang agar pengguna di lapangan dapat memeriksa baki dan mengumpulkan gambar tambahan. Selain itu, kami menyusun panduan internal edisi pertama untuk alur pengujian model di nimitFlow pada Agustus 2025.

Yang kami bangun dan tahap berikutnya setelah prototipe

Kami membangun 1 set prototipe pada periode April–Agustus 2025: merakit perangkat keras pada troli pengangkut baki, mengembangkan halaman utama program, dan membangun alur pelatihan serta pengujian model di nimitFlow. Menurut catatan terakhir, model telah dilatih dengan sebagian jenis subkomponen.

Tahap berikutnya setelah prototipe adalah melatih model untuk semua subkomponen, mengukur hasil pada baki sungguhan berdasarkan kriteria lulus–tidak lulus, dan mengembangkan bagian-bagian berikut sesuai daftar periksa tim.

• Mengambil tipe benda kerja yang sedang diproduksi dari sistem yang ada secara otomatis (prototipe menggunakan daftar tipe yang disiapkan terlebih dahulu)
• Menyalakan dan mematikan lampu dari program, serta menampilkan status lampu
• Halaman pengaturan jaringan
• Tombol konfirmasi hasil pemeriksaan
• Penyimpanan riwayat hasil pemeriksaan

Pelajaran yang kita dapatkan

Pekerjaan ini memberikan 3 prinsip untuk pekerjaan kamera AI yang memeriksa kelengkapan komponen.

• Pencahayaan dan latar belakang harus stabil sebelum mengumpulkan gambar untuk melatih model. Gambar pelatihan sebaiknya diambil dengan pencahayaan dan latar belakang yang sama seperti saat pemeriksaan sesungguhnya. Dalam pekerjaan ini, kami mencatat bahwa latar belakang untuk sebagian jenis komponen sebaiknya diubah dari hitam menjadi putih, sehingga pencahayaan dan latar belakang sebaiknya disepakati sebelum mengumpulkan gambar dalam jumlah besar.
• Daftar komponen tipe yang sedang diproduksi adalah bagian dari pemeriksaan, bukan pekerjaan tambahan. Hasil pemeriksaan akan benar apabila program mengetahui tipe yang sedang diproduksi. Prototipe ini menggunakan daftar tipe yang disiapkan terlebih dahulu, dan pengambilan data dari sistem yang ada masih menjadi pekerjaan yang tertunda, sehingga integrasi dengan sistem yang ada sebaiknya direncanakan sejak awal.
• Selesai dikembangkan belum berarti lulus pengujian. Daftar periksa tim menunjukkan bagian mana yang sudah selesai dibangun, tetapi tidak menunjukkan seberapa benar sistem memeriksa. Sebelum penggunaan sesungguhnya, kriteria lulus–tidak lulus harus ditetapkan, misalnya tingkat deteksi baki yang kekurangan komponen dan tingkat peringatan keliru, lalu diukur pada baki sungguhan.

Cara menerapkan pendekatan ini pada lini kitting Anda

Jika pabrik Anda menata komponen ke dalam baki sebelum dikirim ke lini perakitan, Anda dapat menggunakan pendekatan yang sama dengan kasus ini, yaitu memotret baki satu per satu, meminta model mendeteksi komponen, lalu membandingkannya dengan daftar untuk tipe yang sedang diproduksi. Bagian yang perlu disesuaikan adalah model, pencahayaan, dan integrasi dengan sistem yang ada, yang bergantung pada benda kerja dan kondisi lapangan Anda.

Sebelum memulai proyek, siapkan hal-hal berikut.

• Mulailah dari sejumlah kecil tipe yang bakinya sering kekurangan komponen, lalu tambahkan tipe setelah yakin dengan hasil pemeriksaan (prototipe ini menetapkan cakupan 3 tipe)
• Siapkan daftar subkomponen setiap baki pada setiap tipe, dan tentukan sistem tempat data tipe yang sedang diproduksi berada
• Sepakati pencahayaan dan latar belakang titik pemotretan sebelum mengumpulkan gambar untuk melatih model
• Tetapkan bersama kriteria lulus–tidak lulus dan set baki untuk pengujian sebelum memulai