Data Lakehouse & Pipeline

Data Lakehouseは生データと分析用データを同じシステムに保存する基盤です。当社のData Lakehouse & Pipelineは、既存の業務システム、ファイル、データ収集機器の情報を統合します。データを層ごとに品質検証し、アクセスを制御し、由来を追跡できます。同じデータをレポート、分析、Predictive AnalyticsやEnterprise KM ChatbotなどのAIに活用できます。

多くの組織では、ERP/MESのデータベース、Excelファイル、NAS、生産ライン機器にデータが分散しています。管理しにくい定期実行スクリプトによる統合は、レポート作成を遅らせ、数値の由来の確認も難しくします。AIを始めるたびに、データの収集とクリーニングをやり直すことになります。

• データを一元化 — 工場設備、nimitFlow経由でデータを送るInspektionアプリ、既存ERP/MESを共通の基盤に接続します。
• Data Silosを削減 — 複数のシステムに分散したデータを、品質検証済みの統合データにまとめます。
• 他のシステムの基盤に — Gold層のデータをPredictive Analytics、Enterprise KM Chatbot、BIツールへ提供します。

Data Lakehouse & Pipelineは5段階で動作します。データソース接続、生データ保存、検証・クリーニング、利用向け整備、ユーザーによる検索です。データ層はOpen Sourceソフトウェアを使い、nimitFlowとPrometheus/Grafanaがシステムを監視します。

1. 1

   データソースを接続

   SQLデータベース（Oracle、PostgreSQL、MS SQLなど）、API、ファイル、Google Sheets、IoT機器からデータを取り込みます。バッチ処理にはApache Airflow、継続的なストリームや変更分の取得（CDC）にはApache Kafkaを使用します。

2. 2

   Bronze — 生データを保持

   元の形式でデータを保持（Schema-on-read）し、ルール変更時に再処理できるようにします。

3. 3

   Silver — 検証とクリーニング

   Apache Sparkがデータ品質ルール（Data Quality Rule）に従って検証、クリーニング、重複除去を行い、Icebergテーブルに保存します。

4. 4

   Gold — 利用可能なデータ

   業務の観点でデータを集約・拡充し、BIレポート、分析、AI/MLに使える形に整えます。

5. 5

   データ利用とシステム監視

   ユーザーはTrino / Dremio経由でSQL検索し、Tableau、Power BI、Jupyter Notebookに接続します。IT部門はnimitFlowとPrometheus/Grafanaを使ってすべての層を一つの画面で監視し、LINEやメールで通知を受け取れます。

StorageとComputeを分離し、システムを停止せずに処理量に合わせて容量と処理リソースを個別に拡張できます。IcebergテーブルはACID更新（変更をすべて確定するか、まったく確定しない）、過去のデータ状態を参照するTime Travel、テーブル再作成を伴わないスキーマ変更に対応します。

この構成ではデータを組織内サーバー（On-Premise）に保存し、ユーザーは役割に応じて許可されたデータだけにアクセスします。一元化されたデータには厳格な管理が必要なため、下記の認証、権限制御、暗号化、アクセス記録を設計段階から組み込みます。

• 認証 — KeycloakでActive Directory / LDAPのアカウントを連携し、OIDC/SAML（共通ログインの標準）を通じて組織のアプリにSingle Sign-Onを提供します。多要素認証（MFA）にも対応します。
• 権限制御 — Apache Rangerでユーザーの役割（RBAC：役割に基づくアクセス制御）に応じたデータベース・テーブル・列・行単位の権限を一元管理します。
• 機密データの保護 — 列単位で個人情報をマスキングまたは置換します（Masking / Tokenization）。
• 暗号化 — 保存データにはAES-256、転送にはTLS 1.2以上を使用します。
• 監査 — すべてのアクセスと権限変更を監査ログに記録し、組織のセキュリティ監視システム（SIEM）に転送できます。
• データの由来 — OpenMetadataでData Catalog（データ目録）、Business Glossary（業務用語集）、列レベルのData Lineage（データの来歴）を管理します。

Data Lakehouseは、複数のシステムのデータから共通のレポートを作り、データを組織内に保持する必要がある組織に適しています。データ量やソースが少ない場合は、統合データベースやnimitFlowだけで始められることがあります。機械にデータ収集機能がなければ、まずセンサーデータを収集するInSensorなどの機器や元システムが必要です。データ量とソースシステム数を評価して構成を提案します。

タイの自動車部品メーカー向けに生産・経営データを統合し、タイの金融分野の組織向けにMachine Learningモデルの学習用取引データを整備してきました。このページのData Lakehouse構成による納入実績はまだなく、当社の最新提案に基づく構成です。以下は関連するデータ業務の実績であり、Data Lakehouseの納入事例ではありません。

• 2022–2023年、タイの自動車部品メーカー向けに、11生産ラインのデータWebサイトを工場の中央VMwareサーバーへ移行しました。工場のIT部門がセキュリティ方針に従って事務所と生産ラインのネットワークを分離したためです。IP、ポート、インストール権限を定める顧客IT部門と共同でサーバー作業を行いました。
• 2023–2024年、同じ自動車部品メーカー向けにGoogle Cloud上の統合データベースWebアプリを開発しました。複数のレポートファイルにあるKPI、社内ロス、不良、生産量、売上、利益を単一サイトに統合しました。初回フェーズは2023年に検収済みで、顧客クレームモジュールは2024年初頭も修正とデータ検証を継続していました。
• 2021–2023年、タイの金融分野の組織向けにMachine Learningシステムを開発しました。決済取引データをクリーニングしてモデルを学習させ、応答時間の異常を5分・10分先まで予測します。顧客サーバーに取引処理システムと分離して設置しました。2022年にプロジェクト完了文書を作成し、その後は契約に基づく保守に移行しました。

私たちが学んだこと

IT部門のセキュリティ方針によって、データの配置先とアクセス可能なネットワークが決まります。自動車部品メーカーの両統合案件では、顧客のIT部門がネットワーク、インストール権限、クラウドシステムのセキュリティ確認項目を定めました。そのため設計段階からIT部門と協働する必要があります。

既存レポートから取り込んだ数値は、意思決定に使う前に原本との照合が必要です。初回納入後もデータ検証とユーザー意見に応じた修正が続くため、最初から計画に含めます。AIではモデル学習前のデータクリーニングが必要であり、サービスへの影響を避けるため新システムを基幹業務から分離することが望まれます。

あなたにとって何を意味するのか？

Data Lakehouseプロジェクトは、お客様のIT部門と元システム・セキュリティ方針を調査することから始まります。まず試験用データでBronzeからGoldまでのパイプラインを構築します。Gold層の数値を既存レポートと照合し、一致してから他のデータソースへ拡張します。

プロジェクトの工程と納品物

Data Lakehouseを5段階で計画します。詳細設計、サーバー・プラットフォーム設置、データ連携・セキュリティ設定、テスト・運用開始、開始後の支援と知識移管です。IT部門が運用を引き継げるよう、運用開始後の集中支援（Hypercare）と知識移管を合意する業務範囲に含められます。

1. 1

   詳細設計

   要件を確認し、基本・詳細設計（HLD/LLD）、権限表、データ保持方針、テスト計画を作成します。

2. 2

   サーバーとプラットフォームを設置

   ハードウェアとLinuxを設置し、CIS Benchmarkに基づくセキュリティ設定後、プラットフォームの各要素を導入します。

3. 3

   データ連携とセキュリティ設定

   試験用データでBronzeからGoldまでのパイプラインを構築し、SSO連携、権限、暗号化、監査を設定します。

4. 4

   テストと運用開始

   ユーザー受入テスト（UAT）を行い、不具合を修正して本番環境へ移行します。

5. 5

   運用開始後の支援と知識移管

   合意する業務範囲で、運用開始後の支援期間と各チーム向けワークショップを定めます。

納品文書は英語の技術用語を残したタイ語で作成します。システム設計書、設置手順書、管理マニュアル、日常運用ガイド、監視マニュアル、通知設定書、障害対応ガイド、UAT文書、実際の構成を記録したAs-Built文書、研修資料が含まれます。