Data Lakehouse & Pipeline

Data Lakehouse menyimpan data mentah dan data siap analisis dalam satu sistem. Data Lakehouse & Pipeline kami menyatukan data dari sistem yang ada, berkas, dan perangkat pengumpul data ke repositori pusat ini. Data melewati pemeriksaan kualitas per lapisan, aksesnya dapat dikontrol, dan asalnya dapat ditelusuri. Data yang sama kemudian digunakan untuk pelaporan, analitik, dan AI, termasuk Predictive Analytics dan Enterprise KM Chatbot.

Banyak organisasi menyimpan data di tempat terpisah: basis data ERP/MES, berkas Excel, perangkat NAS, dan peralatan lini produksi. Integrasi sering bergantung pada skrip terjadwal yang sulit dipelihara, sehingga laporan lambat dan asal angkanya sulit ditelusuri. Setiap memulai proyek AI, data harus dikumpulkan dan dibersihkan kembali.

• Satukan data — hubungkan peralatan pabrik, aplikasi Inspektion yang mengirim data melalui nimitFlow, dan ERP/MES yang ada ke satu repositori pusat.
• Kurangi Data Silos — ubah data yang terpisah di berbagai sistem menjadi satu kumpulan data yang telah diperiksa kualitasnya.
• Menjadi fondasi sistem lain — sediakan data lapisan Gold untuk Predictive Analytics, Enterprise KM Chatbot, dan alat BI.

Data Lakehouse & Pipeline bekerja dalam 5 langkah: menghubungkan sumber, menyimpan data mentah, memvalidasi dan membersihkan, menyiapkan data untuk digunakan, serta memungkinkan pengguna mencari data. Perangkat lunak lapisan data bersifat Open Source, sementara nimitFlow bersama Prometheus/Grafana memantau sistem.

1. 1

   Hubungkan sumber data

   Terima data dari basis data SQL (seperti Oracle, PostgreSQL, dan MS SQL), API, berkas, Google Sheets, serta perangkat IoT menggunakan Apache Airflow untuk pekerjaan berkala dan Apache Kafka untuk aliran berkelanjutan atau pengambilan perubahan (CDC).

2. 2

   Bronze — simpan data mentah

   Simpan data dalam format sumber (Schema-on-read) agar dapat diproses ulang saat aturan berubah.

3. 3

   Silver — validasi dan bersihkan

   Apache Spark memvalidasi, membersihkan, dan menghapus duplikasi sesuai aturan kualitas data (Data Quality Rule), lalu menyimpannya dalam tabel Iceberg.

4. 4

   Gold — data siap digunakan

   Agregasikan dan perkaya data sesuai kebutuhan bisnis agar siap untuk laporan BI, analitik, dan AI/ML.

5. 5

   Gunakan data dan pantau sistem

   Pengguna mencari data dengan SQL melalui Trino / Dremio dan menghubungkan Tableau, Power BI, atau Jupyter Notebook. Tim TI memantau semua lapisan dalam satu tampilan melalui nimitFlow bersama Prometheus/Grafana serta menerima peringatan melalui LINE atau email.

Penyimpanan (Storage) dipisahkan dari komputasi (Compute), sehingga kapasitas dan sumber daya pemrosesan dapat ditambah secara terpisah sesuai beban kerja tanpa menghentikan sistem. Tabel Iceberg mendukung pembaruan ACID (transaksi disimpan sepenuhnya atau tidak sama sekali), Time Travel untuk melihat kondisi data sebelumnya, dan perubahan skema tanpa membuat ulang tabel.

Dalam arsitektur ini, data berada pada server organisasi Anda (On-Premise), dan pengguna hanya dapat mengakses sesuai izin perannya. Data terpusat memerlukan kontrol akses yang lebih ketat, sehingga autentikasi, otorisasi, enkripsi, dan pencatatan akses dirancang sejak awal, sebagaimana dijelaskan di bawah.

• Autentikasi — Keycloak menghubungkan akun Active Directory / LDAP dan menyediakan Single Sign-On untuk aplikasi organisasi melalui OIDC/SAML (standar login bersama), dengan autentikasi multifaktor (MFA).
• Otorisasi — Apache Ranger menetapkan izin secara terpusat pada tingkat basis data, tabel, kolom, dan baris sesuai peran pengguna (kontrol akses berbasis peran, RBAC).
• Lindungi data sensitif — samarkan atau ganti data pribadi pada tingkat kolom (Masking / Tokenization).
• Enkripsi — data tersimpan menggunakan AES-256; transfer data menggunakan TLS 1.2 atau lebih baru.
• Audit — catat setiap akses dan perubahan izin, dengan opsi meneruskan log ke sistem pemantauan keamanan (SIEM) organisasi.
• Asal data — OpenMetadata menyediakan Data Catalog (katalog data), Business Glossary (glosarium bisnis), dan Data Lineage (asal-usul data) tingkat kolom.

Data Lakehouse cocok bagi organisasi dengan data di banyak sistem yang membutuhkan laporan dari data yang sama dan harus menyimpannya secara internal. Jika volume atau sumber data masih terbatas, basis data pusat atau nimitFlow mungkin sudah cukup untuk memulai. Jika mesin belum mengumpulkan data, perangkat pengumpul atau sistem sumber harus tersedia terlebih dahulu, misalnya InSensor untuk data sensor. Kami menilai volume data dan jumlah sistem sumber sebelum mengusulkan pendekatan.

Kami pernah mengintegrasikan data produksi dan manajemen untuk produsen komponen otomotif di Thailand serta menyiapkan data transaksi untuk melatih model Machine Learning bagi organisasi sektor keuangan Thailand. Belum ada proyek dengan arsitektur Data Lakehouse pada halaman ini yang diserahkan; arsitekturnya berasal dari proposal terbaru kami. Pekerjaan berikut adalah pengalaman data terkait, bukan proyek Data Lakehouse yang telah diserahkan.

• Pada 2022–2023, kami memindahkan situs data produksi untuk 11 lini ke server VMware pusat pabrik bagi produsen komponen otomotif di Thailand. Tim TI pabrik memisahkan jaringan kantor dan produksi sesuai kebijakan keamanan. Pekerjaan server dilakukan bersama tim TI pelanggan, yang menetapkan alamat IP, port, dan izin pemasangan.
• Pada 2023–2024, kami mengembangkan aplikasi web basis data pusat di Google Cloud untuk produsen komponen otomotif yang sama. Aplikasi menyatukan KPI, kerugian internal, produk cacat, hasil produksi, penjualan, dan laba dari berbagai berkas laporan dalam satu situs. Fase pertama ditandatangani penerimaannya pada 2023; modul klaim pelanggan masih disempurnakan dan datanya divalidasi pada awal 2024.
• Pada 2021–2023, kami mengembangkan sistem Machine Learning untuk organisasi sektor keuangan Thailand. Data transaksi pembayaran dibersihkan dan digunakan untuk melatih model yang memprediksi anomali waktu respons 5 dan 10 menit ke depan. Sistem dipasang pada server pelanggan, terpisah dari pemrosesan transaksi. Dokumen penutupan proyek disiapkan pada 2022, kemudian dilanjutkan dengan pemeliharaan sesuai kontrak.

Pelajaran yang kita dapatkan

Kebijakan keamanan TI menentukan lokasi data dan jaringan yang boleh mengaksesnya. Dalam kedua proyek integrasi data produsen komponen otomotif, tim TI pelanggan menetapkan jaringan, izin pemasangan, dan pemeriksaan keamanan sistem cloud. Karena itu, perancangan harus melibatkan tim TI sejak awal.

Angka dari laporan lama harus diperiksa terhadap sumber aslinya sebelum digunakan untuk mengambil keputusan. Validasi data dan perubahan berdasarkan masukan pengguna berlanjut setelah penyerahan pertama, sehingga perlu direncanakan sejak awal. Pekerjaan AI dimulai dengan pembersihan data sebelum pelatihan model, dan sistem baru sebaiknya dipisahkan dari operasi utama agar layanan tidak terganggu.

Apa artinya bagi Anda?

Proyek Data Lakehouse Anda dimulai dengan meninjau sistem sumber dan kebijakan keamanan bersama tim TI. Kami kemudian membangun pipeline Bronze hingga Gold dengan data percontohan. Anda membandingkan angka pada lapisan Gold dengan laporan yang digunakan, lalu memperluas ke sumber lain setelah angkanya sesuai.

Tahapan proyek dan hasil serah terima

Kami merencanakan proyek Data Lakehouse dalam 5 tahap: desain terperinci; pemasangan server dan platform; integrasi data serta konfigurasi keamanan; pengujian dan mulai operasional; serta dukungan setelah peluncuran dan transfer pengetahuan. Dukungan intensif setelah peluncuran (Hypercare) dan transfer pengetahuan dapat dimasukkan dalam ruang lingkup yang disepakati agar tim TI Anda dapat mengambil alih operasional.

1. 1

   Desain terperinci

   Konfirmasikan kebutuhan; siapkan desain tingkat tinggi dan terperinci (HLD/LLD), matriks izin, kebijakan retensi data, dan rencana pengujian.

2. 2

   Pasang server dan platform

   Pasang perangkat keras dan Linux, perkuat keamanan sesuai CIS Benchmark, lalu pasang komponen platform.

3. 3

   Integrasikan data dan konfigurasikan keamanan

   Bangun pipeline Bronze hingga Gold dengan data percontohan, hubungkan SSO, dan atur izin, enkripsi, serta audit.

4. 4

   Uji dan mulai operasional

   Lakukan pengujian penerimaan pengguna (UAT), perbaiki kekurangan, lalu terapkan ke lingkungan produksi.

5. 5

   Dukungan setelah peluncuran dan transfer pengetahuan

   Tetapkan masa dukungan setelah peluncuran dan lokakarya untuk setiap tim dalam ruang lingkup yang disepakati.

Dokumen serah terima dibuat dalam bahasa Thai dengan istilah teknis bahasa Inggris: desain sistem, panduan pemasangan, panduan administrasi, panduan operasi harian, panduan pemantauan, dokumen konfigurasi peringatan, panduan pemecahan masalah, dokumen UAT, dokumentasi As-Built, dan materi pelatihan.