Perangkat lunak kios sapa pelanggan dengan pengenalan wajah (Greeting Kiosk) dan sistem back-office pengelolaan promosi untuk bisnis ritel

Latar belakang permasalahan

Tantangan dalam kasus ini adalah menguji coba layar iklan yang dapat berinteraksi dengan pelanggan, dalam proyek percontohan (Pilot Project) sebuah bisnis ritel. Layar iklan pada umumnya menayangkan satu rangkaian konten yang sama kepada semua orang yang lewat, sehingga tim pemasaran tidak mengetahui promosi mana yang cocok untuk siapa dan seberapa banyak orang yang tertarik pada layar tersebut.

Tim pemasaran membutuhkan kios yang menyapa pelanggan lalu menawarkan promosi yang sesuai dengan orangnya, dapat mengubah iklan dan promosi sendiri tanpa harus menunggu programmer, serta menampilkan statistik penggunaan kios. Kami bergabung dalam proyek ini sebagai subkontraktor dari perusahaan konsultan, dengan tugas mengembangkan perangkat lunak kios dan sistem back-office.

Persyaratan dan batasan

Kios harus bekerja bersama sistem yang sudah dimiliki proyek, dan penggunaan gambar wajah harus dibatasi sejak tahap desain. Persyaratan dan batasan utamanya adalah sebagai berikut.

• Layar dirancang untuk layar sentuh vertikal 55 inci
• Pengenalan wajah hanya untuk anggota yang telah mendaftarkan wajah dan mengonfirmasi penayangan data di kios pendaftaran. Untuk yang bukan anggota, hanya jenis kelamin dan rentang usia yang diperkirakan dari wajah yang dapat digunakan.
• Data yang disimpan harus dienkripsi, dan pengiriman data harus menggunakan protokol yang aman.
• Kios harus terhubung dengan AI engine (program AI untuk pengenalan wajah) dan Membership API (saluran penghubung ke sistem keanggotaan) milik proyek.
• Jika kamera mendeteksi beberapa wajah sekaligus, sistem harus memilih orang yang paling dekat dengan kios.
• Jenis produk untuk promosi ditetapkan sejak awal, karena penambahan atau penghapusan jenis di kemudian hari berdampak pada desain layar.
• Pengenalan wajah dapat dijadwalkan aktif dan nonaktif sesuai jam operasional toko, untuk mengurangi beban server saat toko tutup.

Bagaimana kios memilih promosi untuk setiap pelanggan

Kios memilih promosi dengan mencocokkan profil pelanggan dengan label kriteria yang dipasang tim pemasaran pada setiap promosi, yaitu jenis kelamin, rentang usia, rentang waktu, serta anggota atau bukan anggota. AI engine bertugas mengenali wajah dan memperkirakan jenis kelamin dan rentang usia, sedangkan pemilihan promosi menggunakan aturan berdasarkan label yang ditentukan tim pemasaran.

Cara ini memisahkan tugas dengan jelas. AI memberikan informasi tentang siapa yang berdiri di depan kios, tim pemasaran memutuskan promosi mana yang ditampilkan kepada siapa, dan aturannya dapat diubah sendiri melalui sistem back-office. Langkah kerja kios adalah sebagai berikut.

1. 1

   Mode iklan (Ads Mode) saat menunggu pelanggan

   Kios memutar gambar diam atau video iklan secara berulang sesuai urutan yang diatur di sistem back-office, dengan pilihan layar penuh maupun tidak layar penuh.

2. 2

   Kamera mendeteksi wajah

   Ketika ada orang yang masuk ke jarak tangkap kamera, sistem mendeteksi wajah. Jika ditemukan beberapa orang sekaligus, sistem akan memilih orang yang paling dekat dengan kios.

3. 3

   Mengenali anggota atau memperkirakan kelompok pelanggan

   Gambar wajah dikirim ke AI engine untuk dibandingkan dengan wajah anggota yang telah terdaftar. Jika anggota, sistem mengambil data melalui Membership API untuk membuat profil pelanggan. Jika bukan anggota, sistem menggunakan jenis kelamin dan rentang usia yang diperkirakan oleh AI engine sebagai gantinya.

4. 4

   Menyapa dan menampilkan promosi (Promotion Mode)

   Layar menampilkan halaman sambutan beserta suara sapaan, lalu menampilkan promosi yang label kriterianya cocok dengan profil. Pelanggan dapat menekan layar untuk melihat promosi berdasarkan jenis produk. Jika bukan anggota, layar akan mengajak untuk mendaftar guna memperoleh hak istimewa.

5. 5

   Mengakhiri penggunaan dan mencatat statistik

   Ketika pelanggan menekan tombol akhiri penggunaan atau berjalan meninggalkan layar, kios menampilkan halaman terima kasih, mencatat riwayat penggunaan (Activity Log) ke basis data, lalu kembali memutar iklan seperti semula.

Hasil serah terima

Kami menyerahkan aplikasi web 2 bagian yang dikembangkan dengan PHP, Python, HTML, JavaScript, dan basis data MySQL, beserta instalasi dan pengujian. Komponen yang diserahkan adalah sebagai berikut.

• Layar Greeting Kiosk: mode iklan, mode promosi, halaman sambutan, halaman terima kasih, dan pencatatan Activity Log
• Pengelolaan iklan: menambah, mengedit, dan menghapus iklan berupa gambar atau video, baik layar penuh maupun tidak layar penuh
• Pengelolaan promosi: memasang label kriteria jenis kelamin, rentang usia, rentang waktu, serta anggota atau bukan anggota, dipisahkan menurut jenis produk
• Pengaturan kios: tema layar untuk pagi dan siang, serta pratinjau layar kios sebelum dipublikasikan
• Dasbor statistik: jumlah pengguna yang dipisahkan antara anggota dan bukan anggota, durasi penggunaan kios, frekuensi anggota kembali menggunakan kios, dan berapa kali setiap promosi dibuka, beserta ekspor data ke file CSV
• Pengelolaan pengguna sistem back-office
• Dokumen desain dan skrip pengujian penerimaan (UAT, yaitu pengujian yang digunakan pelanggan untuk memutuskan penerimaan pekerjaan)

Hasil yang dapat dikonfirmasi

Kami menyerahkan perangkat lunak, melakukan instalasi, dan melakukan pengujian sesuai lingkup pekerjaan. Pelanggan menyelesaikan pengujian sistem pada 27 Desember 2019, dan proyek ditutup sebagai pekerjaan yang telah selesai pada tahun 2020.

Kasus ini merupakan proyek percontohan. Kami tidak memiliki angka pengukuran hasil pemasaran, seperti penjualan atau jumlah pengguna kios, sehingga kami hanya melaporkan status pekerjaan yang didukung dokumen.

Pelajaran yang kita dapatkan

Pekerjaan ini memberikan prinsip berikut untuk sistem yang menggunakan gambar wajah pelanggan dan harus terhubung dengan sistem pihak lain.

• Privasi harus tercantum dalam persyaratan sejak awal. Sistem sebaiknya hanya mengenali orang yang telah mendaftar dan memberikan persetujuan, sedangkan untuk orang lain hanya menggunakan informasi kelompok umum seperti jenis kelamin dan rentang usia, dan data yang disimpan harus dienkripsi.
• Kasus uji (Test Case) harus dikaitkan dengan persyaratan yang disepakati sebelum pengembangan dimulai. Masalah yang ditemukan dalam pekerjaan ini adalah kasus uji tidak sesuai dengan spesifikasi. Jika kasus uji dikaitkan dengan persyaratan sejak awal, pengujian penerimaan tidak perlu ditafsirkan ulang di kemudian hari.
• Kios dapat bekerja sepenuhnya ketika semua sistem eksternal siap. Dalam pekerjaan ini, ada perangkat lunak sisi pemasaran dari vendor lain yang tidak dapat digunakan secara nyata, sehingga sebaiknya penanggung jawab setiap sistem ditentukan dan kesiapannya diperiksa sejak tahap awal proyek.

Cara menerapkan pendekatan ini pada pekerjaan Anda

Jika bisnis Anda sudah memiliki sistem keanggotaan dan membutuhkan layar di toko yang menawarkan promosi sesuai kelompok pelanggan, Anda dapat menggunakan pendekatan yang sama dengan kasus ini, yaitu memisahkan kios, sistem pengenalan wajah, dan sistem back-office, lalu membiarkan tim pemasaran mengendalikan sendiri aturan pemilihan promosi. Bagian yang perlu disesuaikan bergantung pada sistem yang Anda miliki dan ukuran layar yang digunakan.

• Minta tim pemasaran menyimpulkan terlebih dahulu setiap promosi cocok untuk siapa, karena kriteria inilah yang digunakan sistem untuk memilih promosi.
• Tetapkan jenis produk untuk promosi sejak awal.
• Sepakati siapa yang bertanggung jawab atas AI engine, sistem keanggotaan, kios pendaftaran, dan perangkat lunak kios, lalu tulis kasus uji yang sesuai dengan persyaratan sebelum pengembangan.
• Jadwalkan aktif dan nonaktifnya pengenalan wajah sesuai jam operasional toko.