Perisian kiosk sapaan pelanggan dengan pengecaman wajah (Greeting Kiosk) dan sistem bahagian belakang pengurusan promosi untuk perniagaan runcit
Greeting Kiosk ialah perisian kiosk skrin sesentuh 55 inci yang memainkan iklan semasa menunggu, dan apabila mengesan pelanggan akan menyapa lalu memaparkan promosi mengikut profil. Kiosk ini mengecam wajah hanya bagi ahli yang telah mendaftar dan memberikan persetujuan. Kami membangunkan perisian skrin kiosk dan sistem bahagian belakang untuk pasukan pemasaran, bagi projek perintis sebuah perniagaan runcit pada tahun 2019–2020.
- Industri
- Perkhidmatan
- Tahun
- 2019–2020
- Skop pekerjaan
- Mereka bentuk dan membangunkan perisian 2 bahagian, iaitu skrin Greeting Kiosk untuk skrin sesentuh 55 inci dan sistem bahagian belakang CMS & Kiosk Configuration, termasuk pemasangan dan pengujian, beserta dokumen reka bentuk dan skrip ujian penerimaan (UAT), sebagai subkontraktor kepada sebuah syarikat perunding
Ringkasan
- Greeting Kiosk ialah perisian kiosk skrin sesentuh 55 inci yang memainkan iklan secara berulang semasa menunggu, dan apabila kamera mengesan pelanggan, kiosk akan menyapa lalu memaparkan promosi mengikut profil.
- Kiosk mengecam wajah hanya bagi ahli yang telah mendaftarkan wajah dan memberikan persetujuan, melalui AI engine projek. Bagi bukan ahli, sistem hanya menggunakan jantina dan julat umur yang dianggarkan oleh AI engine.
- Kiosk memilih promosi dengan membandingkan profil pelanggan dengan label syarat yang diletakkan oleh pasukan pemasaran, jadi pasukan pemasaran dapat menentukan sendiri promosi mana dipaparkan kepada siapa.
- Sistem bahagian belakang CMS & Kiosk Configuration membolehkan pasukan pemasaran menukar iklan, promosi dan tema skrin sendiri, beserta papan pemuka statistik dan eksport fail CSV.
- Kami membangunkan perisian 2 bahagian ini sebagai subkontraktor. Pelanggan selesai menguji sistem pada 27 Disember 2019, dan projek ditutup sebagai kerja yang telah siap pada tahun 2020.
Masalah di tapak
Pasukan pemasaran perniagaan runcit ingin mencuba skrin iklan yang menyapa pelanggan dan menawarkan promosi yang sepadan dengan individu, bukannya menayangkan satu set iklan yang sama kepada semua orang. Pasukan itu perlu dapat menukar kandungan pada kiosk sendiri dan melihat statistik penggunaan kiosk, manakala penggunaan imej wajah mesti dihadkan kepada ahli yang memberikan persetujuan sahaja.
Apa yang kami lakukan
Kami membangunkan aplikasi web 2 bahagian, iaitu skrin Greeting Kiosk yang bertukar antara mod iklan dan mod promosi, serta sistem bahagian belakang CMS & Kiosk Configuration yang digunakan oleh pasukan pemasaran untuk mengurus kandungan dan melihat statistik. Kiosk disambungkan kepada AI engine projek untuk mengecam wajah ahli, dan mendapatkan data ahli melalui Membership API.
- Kamera pada Greeting KioskMengesan wajah pelanggan
- AI engine pengecaman wajahAhli atau jantina/julat umur
- Membership APIMendapatkan data ahli
- Mod promosi pada skrin sesentuhSapaan + promosi mengikut profil
- CMS & Kiosk ConfigurationPengurusan kandungan + papan pemuka
Hasil
Kami menyerahkan perisian, memasang dan mengujinya mengikut skop kerja. Pelanggan selesai menguji sistem pada 27 Disember 2019, dan projek ditutup sebagai kerja yang telah siap pada tahun 2020.
Latar belakang masalah
Cabaran kes ini ialah mencuba skrin iklan yang boleh berinteraksi dengan pelanggan, dalam projek perintis (Pilot Project) sebuah perniagaan runcit. Skrin iklan biasa menayangkan satu set kandungan yang sama kepada semua orang yang lalu, jadi pasukan pemasaran tidak tahu promosi mana sesuai dengan siapa, dan tidak tahu sejauh mana orang berminat dengan skrin tersebut.
Pasukan pemasaran mahukan kiosk yang menyapa pelanggan lalu menawarkan promosi yang sepadan dengan individu, boleh menukar iklan dan promosi sendiri tanpa menunggu pengaturcara, dan dapat melihat statistik penggunaan kiosk. Kami menyertai projek ini sebagai subkontraktor kepada sebuah syarikat perunding, dengan tanggungjawab membangunkan perisian kiosk dan sistem bahagian belakang.
Apakah kegunaan pengecaman wajah (Face Recognition) dalam kes ini?
Pengecaman wajah ialah proses sistem AI membandingkan imej wajah yang ditangkap oleh kamera dengan wajah yang telah didaftarkan. Dalam kes ini, ia digunakan untuk mengenal pasti ahli mana yang berdiri di hadapan kiosk bagi memilih promosi yang sepadan dengan individu, dan tidak digunakan untuk mengenal pasti identiti orang awam yang tidak berdaftar.
Keperluan dan kekangan
Kiosk perlu berfungsi bersama sistem sedia ada projek, dan penggunaan imej wajah perlu dihadkan sejak peringkat reka bentuk. Keperluan dan kekangan utama adalah seperti berikut.
- Antara muka skrin direka untuk paparan sesentuh 55 inci menegak
- Wajah hanya dicam bagi ahli yang telah mendaftarkan wajah dan mengesahkan paparan maklumat di kiosk pendaftaran. Bagi bukan ahli, hanya jantina dan julat umur yang dianggarkan daripada wajah boleh digunakan.
- Data yang disimpan mesti disulitkan, dan penghantaran data mesti menggunakan protokol yang selamat
- Kiosk mesti disambungkan kepada AI engine (program AI untuk pengecaman wajah) dan Membership API (saluran sambungan ke sistem keahlian) projek
- Jika kamera mengesan beberapa wajah serentak, sistem mesti memilih orang yang paling hampir dengan kiosk
- Kategori produk bagi promosi ditetapkan sejak awal kerana penambahan atau pembuangan kategori kemudian akan menjejaskan reka bentuk skrin
- Masa untuk mengaktifkan dan menyahaktifkan pengecaman wajah boleh dijadualkan mengikut waktu perniagaan kedai, bagi mengurangkan beban pelayan semasa kedai ditutup
Bagaimana kiosk memilih promosi untuk setiap pelanggan?
Kiosk memilih promosi dengan membandingkan profil pelanggan dengan label syarat yang diletakkan oleh pasukan pemasaran pada setiap promosi, iaitu jantina, julat umur, tempoh masa, dan sama ada ahli atau bukan ahli. AI engine berperanan mengecam wajah serta menganggarkan jantina dan julat umur, manakala pemilihan promosi menggunakan peraturan berdasarkan label yang ditetapkan oleh pasukan pemasaran.
Kaedah ini memisahkan peranan dengan jelas: AI memberikan maklumat tentang siapa yang berdiri di hadapan kiosk, pasukan pemasaran menentukan promosi mana dipaparkan kepada siapa, dan boleh menukar peraturan sendiri melalui sistem bahagian belakang. Langkah kerja kiosk adalah seperti berikut.
- 1
Mod iklan (Ads Mode) semasa menunggu pelanggan
Kiosk memainkan imej pegun atau video iklan secara berulang mengikut urutan yang ditetapkan dalam sistem bahagian belakang, dengan pilihan paparan skrin penuh atau bukan skrin penuh.
- 2
Kamera mengesan wajah
Apabila seseorang memasuki jarak yang dapat dirakam oleh kamera, sistem mengesan wajah. Jika beberapa orang dikesan serentak, sistem akan memilih orang yang paling hampir dengan kiosk.
- 3
Mengecam ahli atau menganggarkan kumpulan pelanggan
Imej wajah dihantar kepada AI engine untuk dibandingkan dengan wajah ahli yang telah didaftarkan. Jika ahli, sistem mendapatkan data melalui Membership API untuk membina profil pelanggan. Jika bukan ahli, sistem menggunakan jantina dan julat umur yang dianggarkan oleh AI engine sebagai ganti.
- 4
Menyapa dan memaparkan promosi (Promotion Mode)
Skrin memaparkan halaman sambutan beserta suara sapaan, kemudian memaparkan promosi yang label syaratnya sepadan dengan profil. Pelanggan boleh menekan untuk melihat promosi mengikut kategori produk. Jika bukan ahli, skrin akan mengajak pelanggan mendaftar untuk menerima keistimewaan.
- 5
Menamatkan penggunaan dan merekod statistik
Apabila pelanggan menekan untuk menamatkan penggunaan atau beredar dari skrin, kiosk memaparkan halaman terima kasih, merekod sejarah penggunaan (Activity Log) ke dalam pangkalan data, kemudian kembali memainkan iklan seperti biasa.
Hasil penyerahan
Kami menyerahkan aplikasi web 2 bahagian yang dibangunkan dengan PHP, Python, HTML, JavaScript dan pangkalan data MySQL, termasuk pemasangan dan pengujian. Komponen yang diserahkan adalah seperti berikut.
- Skrin Greeting Kiosk: mod iklan, mod promosi, halaman sambutan, halaman terima kasih dan rekod Activity Log
- Pengurusan iklan: menambah, menyunting dan memadam iklan berbentuk imej atau video, sama ada skrin penuh atau bukan skrin penuh
- Pengurusan promosi: meletakkan label syarat jantina, julat umur, tempoh masa, dan ahli atau bukan ahli, mengikut kategori produk
- Tetapan kiosk: tema skrin waktu pagi dan waktu petang, serta pratonton skrin kiosk sebelum diterbitkan
- Papan pemuka statistik: bilangan pengguna yang diasingkan antara ahli dan bukan ahli, tempoh penggunaan kiosk, kekerapan ahli kembali menggunakan kiosk, dan bilangan kali setiap promosi dibuka untuk dilihat, beserta eksport data sebagai fail CSV
- Pengurusan pengguna sistem bahagian belakang
- Dokumen reka bentuk dan skrip ujian penerimaan (UAT ialah ujian yang digunakan oleh pelanggan untuk memutuskan penerimaan kerja)
Hasil yang dapat disahkan
Kami menyerahkan perisian, memasang dan mengujinya mengikut skop kerja. Pelanggan selesai menguji sistem pada 27 Disember 2019, dan projek ditutup sebagai kerja yang telah siap pada tahun 2020.
Kes ini ialah projek perintis. Kami tidak mempunyai angka pengukuran hasil pemasaran, seperti jualan atau bilangan pengguna kiosk, maka kami hanya melaporkan status kerja yang disahkan oleh dokumen.
Apakah yang kita pelajari
Kerja ini memberikan prinsip berikut bagi sistem yang menggunakan imej wajah pelanggan dan perlu disambungkan kepada sistem pihak lain.
- Privasi mesti dimasukkan dalam keperluan sejak awal. Sistem sepatutnya mengecam hanya orang yang telah mendaftar dan memberikan persetujuan, manakala bagi orang lain, hanya maklumat kumpulan umum seperti jantina dan julat umur digunakan, dan data yang disimpan mesti disulitkan.
- Kes ujian (Test Case) mesti dikaitkan dengan keperluan yang dipersetujui sebelum pembangunan bermula. Masalah yang ditemui dalam kerja ini ialah kes ujian tidak sepadan dengan spesifikasi. Apabila kes ujian dikaitkan dengan keperluan sejak awal, ujian penerimaan kerja tidak perlu ditafsir semula kemudian.
- Kiosk berfungsi sepenuhnya apabila semua sistem luaran bersedia. Dalam kerja ini, terdapat perisian bahagian pemasaran daripada vendor lain yang tidak dapat digunakan secara sebenar, jadi pihak yang bertanggungjawab bagi setiap sistem perlu ditetapkan dan kesediaannya diperiksa sejak peringkat awal projek.
Cara menggunakan pendekatan ini pada kerja anda
Jika perniagaan anda sudah mempunyai sistem keahlian dan memerlukan skrin di hadapan kedai yang menawarkan promosi mengikut kumpulan pelanggan, anda boleh menggunakan pendekatan yang sama seperti kes ini, iaitu mengasingkan kiosk, sistem pengecaman wajah dan sistem bahagian belakang, kemudian membiarkan pasukan pemasaran mengawal sendiri peraturan pemilihan promosi. Bahagian yang perlu disesuaikan bergantung pada sistem yang anda miliki dan saiz skrin yang digunakan.
Bahagian yang boleh digunakan semula dan bahagian yang perlu diubah suai
| Bahagian sistem | Boleh digunakan semula | Perlu diubah suai apabila |
|---|---|---|
| Skrin kiosk | Mod iklan dan mod promosi, halaman sambutan dan halaman terima kasih | Jika skrin anda berbeza saiz atau orientasi daripada skrin menegak 55 inci, antara muka skrin perlu direka semula |
| Pengecaman wajah | Sambungan kepada AI engine melalui API dan syarat pengecaman hanya bagi ahli yang memberikan persetujuan | Jika projek anda belum mempunyai AI engine atau proses pendaftaran dan permohonan persetujuan, perkara ini perlu dipilih dan disediakan terlebih dahulu |
| Pemilihan promosi | Perbandingan profil dengan label syarat jantina, julat umur, tempoh masa dan ahli | Jika anda membahagikan kumpulan pelanggan dengan syarat lain, label syarat perlu ditambah dan skrin bahagian belakang perlu diperiksa |
| Sistem keahlian | Pengambilan data ahli melalui Membership API | Jika sistem keahlian anda tidak mempunyai API, saluran sambungan perlu disediakan terlebih dahulu |
| Sistem bahagian belakang dan statistik | Pengurusan iklan, promosi, tema dan papan pemuka beserta eksport CSV | Jika anda memerlukan penunjuk lain, senarai penunjuk perlu dipersetujui sebelum reka bentuk |
- Minta pasukan pemasaran merumuskan dahulu setiap promosi sesuai untuk siapa, kerana syarat inilah yang digunakan oleh sistem untuk memilih promosi
- Tetapkan kategori produk bagi promosi sejak awal
- Persetujui siapa yang bertanggungjawab atas AI engine, sistem keahlian, kiosk pendaftaran dan perisian kiosk, kemudian tulis kes ujian supaya sepadan dengan keperluan sebelum pembangunan
- Jadualkan masa mengaktifkan dan menyahaktifkan pengecaman wajah mengikut waktu perniagaan kedai
Teknologi yang digunakan
Soalan Sering Ditanya
Adakah kiosk mengecam wajah setiap pelanggan yang lalu?
Tidak. Kiosk hanya mengecam ahli yang telah mendaftarkan wajah dan mengesahkan paparan maklumat di kiosk pendaftaran. Bagi bukan ahli, sistem hanya menggunakan jantina dan julat umur yang dianggarkan oleh AI engine daripada wajah, untuk memilih promosi dan mengajak mereka mendaftar.
Bolehkah pasukan pemasaran menukar iklan dan promosi sendiri?
Boleh, melalui sistem bahagian belakang CMS & Kiosk Configuration. Pasukan pemasaran boleh menambah, menyunting dan memadam iklan berbentuk imej atau video, mengurus promosi beserta label syarat, menetapkan tema skrin waktu pagi dan waktu petang, serta membuat pratonton skrin kiosk sebelum diterbitkan.
Apakah statistik yang dikumpulkan oleh sistem?
Kiosk merekodkan setiap penggunaan, kemudian memaparkannya pada papan pemuka, seperti bilangan pengguna yang diasingkan antara ahli dengan bukan ahli, tempoh penggunaan kiosk, kekerapan ahli kembali menggunakannya, dan bilangan kali setiap promosi dibuka untuk dilihat. Data boleh dilihat mengikut jam, hari, minggu atau bulan, dan data mentah boleh dieksport sebagai fail CSV.
Bahagian manakah dalam sistem ini yang dibangunkan oleh Inspektion?
Kami membangunkan perisian skrin Greeting Kiosk dan sistem bahagian belakang CMS & Kiosk Configuration, kemudian menyambungkannya dengan AI engine pengecaman wajah dan Membership API projek, termasuk memasang dan menguji sistem.
Jika memerlukan kiosk seperti ini, berapakah harganya?
Kerja ini dibangunkan mengikut keperluan setiap projek, oleh itu tiada harga standard. Harga bergantung pada fungsi yang diperlukan, sistem sedia ada yang perlu disambungkan seperti sistem keahlian atau AI engine, dan bilangan kiosk. Hubungi kami untuk mendapatkan sebut harga.
