Data Lakehouse & Pipeline

Data Lakehouse menyimpan data mentah dan data sedia analisis dalam satu sistem. Data Lakehouse & Pipeline kami menyatukan data daripada sistem sedia ada, fail dan peranti pengumpul data ke repositori pusat ini. Data melalui pemeriksaan kualiti mengikut lapisan, aksesnya boleh dikawal dan asalnya boleh dijejaki. Data yang sama kemudian digunakan untuk pelaporan, analitik dan AI, termasuk Predictive Analytics dan Enterprise KM Chatbot.

Banyak organisasi menyimpan data di tempat berasingan: pangkalan data ERP/MES, fail Excel, peranti NAS dan peralatan barisan pengeluaran. Penyepaduan sering bergantung pada skrip berjadual yang sukar diselenggara, menyebabkan laporan lambat dan asal angka sukar dijejaki. Setiap kali memulakan projek AI, data perlu dikumpulkan dan dibersihkan semula.

• Satukan data — hubungkan peralatan kilang, aplikasi Inspektion yang menghantar data melalui nimitFlow dan ERP/MES sedia ada kepada satu repositori pusat.
• Kurangkan Data Silos — tukarkan data yang terpisah dalam pelbagai sistem kepada satu set data yang telah diperiksa kualitinya.
• Menjadi asas sistem lain — bekalkan data lapisan Gold kepada Predictive Analytics, Enterprise KM Chatbot dan alat BI.

Data Lakehouse & Pipeline berfungsi dalam 5 langkah: menghubungkan sumber, menyimpan data mentah, mengesahkan dan membersihkan, menyediakan data untuk digunakan serta membolehkan pengguna mencari data. Perisian lapisan data ialah Open Source, manakala nimitFlow bersama Prometheus/Grafana memantau sistem.

1. 1

   Hubungkan sumber data

   Terima data daripada pangkalan data SQL (seperti Oracle, PostgreSQL dan MS SQL), API, fail, Google Sheets serta peranti IoT menggunakan Apache Airflow untuk tugas berkala dan Apache Kafka untuk aliran berterusan atau pengambilan perubahan (CDC).

2. 2

   Bronze — simpan data mentah

   Simpan data dalam format sumber (Schema-on-read) supaya boleh diproses semula apabila peraturan berubah.

3. 3

   Silver — sahkan dan bersihkan

   Apache Spark mengesahkan, membersihkan dan membuang pendua mengikut peraturan kualiti data (Data Quality Rule), kemudian menyimpannya dalam jadual Iceberg.

4. 4

   Gold — data sedia digunakan

   Agregatkan dan perkaya data mengikut keperluan perniagaan supaya sedia untuk laporan BI, analitik dan AI/ML.

5. 5

   Gunakan data dan pantau sistem

   Pengguna mencari data menggunakan SQL melalui Trino / Dremio dan menghubungkan Tableau, Power BI atau Jupyter Notebook. Pasukan IT memantau semua lapisan dalam satu paparan melalui nimitFlow bersama Prometheus/Grafana serta menerima amaran melalui LINE atau e-mel.

Storan (Storage) diasingkan daripada pengkomputeran (Compute), supaya kapasiti dan sumber pemprosesan boleh ditambah secara berasingan mengikut beban kerja tanpa menghentikan sistem. Jadual Iceberg menyokong kemas kini ACID (transaksi disimpan sepenuhnya atau tidak langsung), Time Travel untuk melihat keadaan data terdahulu dan perubahan skema tanpa membina semula jadual.

Dalam seni bina ini, data berada pada pelayan organisasi anda (On-Premise), dan pengguna hanya boleh mengakses mengikut kebenaran peranan mereka. Data berpusat memerlukan kawalan akses yang lebih ketat, maka pengesahan, pemberian kuasa, penyulitan dan perekodan akses direka sejak awal seperti disenaraikan di bawah.

• Pengesahan — Keycloak menghubungkan akaun Active Directory / LDAP dan menyediakan Single Sign-On untuk aplikasi organisasi melalui OIDC/SAML (piawaian log masuk bersama), dengan pengesahan berbilang faktor (MFA).
• Pemberian kuasa — Apache Ranger menetapkan kebenaran secara berpusat pada peringkat pangkalan data, jadual, lajur dan baris mengikut peranan pengguna (kawalan akses berasaskan peranan, RBAC).
• Lindungi data sensitif — samarkan atau gantikan data peribadi pada peringkat lajur (Masking / Tokenization).
• Penyulitan — data tersimpan menggunakan AES-256; pemindahan data menggunakan TLS 1.2 atau lebih baharu.
• Audit — rekod setiap akses dan perubahan kebenaran, dengan pilihan menghantar log kepada sistem pemantauan keselamatan (SIEM) organisasi.
• Asal data — OpenMetadata menyediakan Data Catalog (katalog data), Business Glossary (glosari perniagaan) dan Data Lineage (asal-usul data) peringkat lajur.

Data Lakehouse sesuai untuk organisasi yang mempunyai data dalam banyak sistem, memerlukan laporan daripada data yang sama dan perlu menyimpannya secara dalaman. Jika jumlah atau sumber data masih terhad, pangkalan data pusat atau nimitFlow mungkin mencukupi untuk bermula. Jika mesin belum mengumpulkan data, peranti pengumpul atau sistem sumber perlu disediakan dahulu, seperti InSensor untuk data sensor. Kami menilai jumlah data dan bilangan sistem sumber sebelum mencadangkan pendekatan.

Kami pernah menyepadukan data pengeluaran dan pengurusan untuk pengeluar komponen automotif di Thailand serta menyediakan data transaksi untuk melatih model Machine Learning bagi organisasi sektor kewangan Thailand. Belum ada projek dengan seni bina Data Lakehouse pada halaman ini yang diserahkan; seni binanya berasal daripada cadangan terkini kami. Kerja berikut ialah pengalaman data berkaitan, bukan projek Data Lakehouse yang telah diserahkan.

• Pada 2022–2023, kami memindahkan laman data pengeluaran untuk 11 barisan ke pelayan VMware pusat kilang bagi pengeluar komponen automotif di Thailand. Pasukan IT kilang mengasingkan rangkaian pejabat dan pengeluaran mengikut dasar keselamatan. Kerja pelayan dilakukan bersama pasukan IT pelanggan, yang menetapkan alamat IP, port dan kebenaran pemasangan.
• Pada 2023–2024, kami membangunkan aplikasi web pangkalan data pusat di Google Cloud untuk pengeluar komponen automotif yang sama. Aplikasi menyatukan KPI, kerugian dalaman, produk rosak, hasil pengeluaran, jualan dan keuntungan daripada pelbagai fail laporan dalam satu laman. Fasa pertama ditandatangani penerimaannya pada 2023; modul tuntutan pelanggan masih ditambah baik dan datanya disahkan pada awal 2024.
• Pada 2021–2023, kami membangunkan sistem Machine Learning untuk organisasi sektor kewangan Thailand. Data transaksi pembayaran dibersihkan dan digunakan untuk melatih model yang meramalkan anomali masa respons 5 dan 10 minit lebih awal. Sistem dipasang pada pelayan pelanggan, berasingan daripada pemprosesan transaksi. Dokumen penutupan projek disediakan pada 2022, kemudian diteruskan dengan penyelenggaraan mengikut kontrak.

Apakah yang kita pelajari

Dasar keselamatan IT menentukan lokasi data dan rangkaian yang boleh mengaksesnya. Dalam kedua-dua projek penyepaduan data pengeluar komponen automotif, pasukan IT pelanggan menetapkan rangkaian, kebenaran pemasangan dan pemeriksaan keselamatan sistem awan. Oleh itu, reka bentuk perlu melibatkan pasukan IT sejak awal.

Angka daripada laporan lama perlu dibandingkan dengan sumber asal sebelum digunakan untuk membuat keputusan. Pengesahan data dan perubahan berdasarkan maklum balas pengguna berterusan selepas penyerahan pertama, maka perlu dirancang sejak awal. Kerja AI bermula dengan pembersihan data sebelum latihan model, dan sistem baharu wajar diasingkan daripada operasi utama supaya perkhidmatan tidak terganggu.

Apa yang bermaksud untuk anda?

Projek Data Lakehouse anda bermula dengan meninjau sistem sumber dan dasar keselamatan bersama pasukan IT. Kami kemudian membina saluran Bronze hingga Gold menggunakan data perintis. Anda membandingkan angka pada lapisan Gold dengan laporan sedia ada, kemudian meluaskan kepada sumber lain selepas angkanya sepadan.

Peringkat projek dan hasil penyerahan

Kami merancang projek Data Lakehouse dalam 5 peringkat: reka bentuk terperinci; pemasangan pelayan dan platform; penyepaduan data serta konfigurasi keselamatan; pengujian dan mula operasi; serta sokongan selepas pelancaran dan pemindahan pengetahuan. Sokongan intensif selepas pelancaran (Hypercare) dan pemindahan pengetahuan boleh dimasukkan dalam skop yang dipersetujui supaya pasukan IT anda boleh mengambil alih operasi.

1. 1

   Reka bentuk terperinci

   Sahkan keperluan; sediakan reka bentuk peringkat tinggi dan terperinci (HLD/LLD), matriks kebenaran, dasar pengekalan data dan pelan ujian.

2. 2

   Pasang pelayan dan platform

   Pasang perkakasan dan Linux, kukuhkan keselamatan mengikut CIS Benchmark, kemudian pasang komponen platform.

3. 3

   Sepadukan data dan konfigurasikan keselamatan

   Bina saluran Bronze hingga Gold dengan data perintis, hubungkan SSO dan tetapkan kebenaran, penyulitan serta audit.

4. 4

   Uji dan mulakan operasi

   Jalankan ujian penerimaan pengguna (UAT), baiki kecacatan, kemudian laksanakan dalam persekitaran produksi.

5. 5

   Sokongan selepas pelancaran dan pemindahan pengetahuan

   Tetapkan tempoh sokongan selepas pelancaran dan bengkel untuk setiap pasukan dalam skop yang dipersetujui.

Dokumen penyerahan disediakan dalam bahasa Thai dengan istilah teknikal bahasa Inggeris: reka bentuk sistem, panduan pemasangan, manual pentadbiran, panduan operasi harian, manual pemantauan, dokumen konfigurasi amaran, panduan penyelesaian masalah, dokumen UAT, dokumentasi As-Built dan bahan latihan.