在本部落格中，我們將探討如何使用 Microsoft Fabric 的資料管道從 YugabyteDB 提取資料並處理並將其儲存在 Microsoft Fabric Lakehouse 中。使用資料管道功能，我們將展示 Lakehouse 的增量和完整資料載入。
整合 YugabyteDB 和 Microsoft Fabric 的好處
關於 Microsoft Fabric
Microsoft Fabric是一個綜合平台，旨在簡化組織內的資料攝取、處理和分析。從資料攝取和管道的角度來看，它提供了強大的工具來管理端到端資料流，從不同的來源到可操作的見解。
主要特點：
資料攝取： Microsoft Fabric 支援來自各種來源的即時和大量資料攝取，包括本機資料庫、雲端儲存、物聯網設備和 SaaS 應用程式。這種靈活性使我們能夠將來自多個流的資料集中到一個統一的環境中，以進行分析。
數據管道：該平台提供了設計和自動化數 巴拿馬 電話號碼庫 據管道的高級功能。您可以建立管理資料擷取、轉換和載入 (ETL/ELT) 的工作流程，確保資料乾淨、豐富並可供分析或商業智慧工具使用。
即時處理： Fabric 與 Azure 串流分析等工具集成，支援即時資料處理。這對於需要即時洞察的應用程式至關重要，例如監控、營運智慧和即時決策。
可擴充性和彈性： Microsoft Fabric 旨在處理大規模資料操作，根據工作負載需求自動擴展資源。它還整合了容錯功能，確保您的資料管道即使在發生故障時也能保持運作。
自動化和監控：您可以使用用於調度、觸發和監控管道的工具來端到端地自動化資料工作流程。 Fabric 提供強大的監控和警報功能，讓您能夠保持資料流程的運作狀況和效能。
關於 YugabyteDB
YugabyteDB是一款專為雲端原生應用程式設計的高效能分散式 SQL 資料庫。它將 SQL 關係模型的優點與分散式資料庫的可擴展性和彈性結合。這使得它非常適合需要全局資料分佈、高可用性和強一致性的現代應用程式。 YugabyteDB 建立在高度可擴展的架構之上，可以跨多個區域處理大量資料和高
交易量，同時保持對資料的低延遲存取。
主要特點：
多雲：跨公有雲、私有雲和混合雲無縫運行，以確保靈活性並避免供應商鎖定
地理分佈：使用支援同步或非同步複製的靈活設計模式在全球範圍內分佈數據
多 API：選擇熟悉的 PostgreSQL API 或受 Cassandra 啟發的增強 API
連接管理：透過內建連接池促進連接創建並支援更多連接
可觀察性：即時存取任何雲端上資料庫叢集的綜合監控和警報
本機安全性：透過端對端加密、高級身份驗證和安全第一的設計來保護您的數據
整合 YugabyteDB 和 Microsoft Fabric 的價值
YugabyteDB 和 Microsoft Fabric 讓企業保持交易資料的完整性和一致性，同時利用 Fabric 的資料處理和分析功能。這種整合可以簡化資料管道，確保資料從事務系統順利流向分析平台。
全面的 HTAP 解決方案：YugabyteDB 有效處理事務數據，而 Microsoft Fabric 可用於卸載和分析這些數據。這提供了進階分析和見解，而不影響交易系統的效能
這種整合對於需要從即時交易資料中獲得即時洞察的應用程式至關重要，例如詐欺偵測、客戶行為分
析和營運監控。
利用 Fabric 的資料湖庫功能來儲存、處理和分析源自 YugabyteDB 交易的大型資料集。這使得能夠對當前和歷史數據進行高級分析、機器學習和人工智慧工作負載。
透過有效利用這兩個平台來優化成本。例如，交易資料可以在 YugabyteDB 中處理，並且僅移至 Microsoft Fabric 進行資源密 什麼是bigcommerce？價格、優勢與意見 (2024) 集分析處理，從而避免不必要的成本。
關鍵用例
將 Microsoft Fabric 與 YugabyteDB CDC 和增量拉取相集成，提供了一個功能強大的端到端資料智慧平台，該平台在處理複雜的即時業務挑戰方面具有無與倫比的能力。
此解決方案不僅使企業能夠做出更明智、更快速的決策，還能推動創新和競爭優勢。透過利用 Fabric Lakehouse、Fabric Pipelines、資料科學功能和即時中心的綜合優勢，組織可以轉變其營運方式，在快速變化的市場中提供卓越的價值和成果。以下用例範例說明了所提供的功能
0近實時信用風險管理及貸款審批
挑戰：
貸款機構需要快速、準確地評估信用風險，以便在管理風險的同時提供具競爭力的貸款。傳統方法通常依賴過時的數據，導致貸款過於保守或違約風險增加。
解決方案：
透過利用從 YugabyteDB 到 Microsoft Fabric 的增量拉取管道，貸方可以轉變其信用風險管理流程：
近乎即時的資料整合：金融資料（包括信用評分、收入驗證、支出模式和經濟指標）均在 YugabyteDB 中捕獲，並逐步拉入 Fabric 的 Lakehouse。
信用風險分析： Fabric Pipelines 處理這些資料並將其輸入到 Fabric 資料科學環境中的機器學習模型中。這些模型根據歷史數據和即時變化（例如突然的收入損失或市場波動）來評估信用度。
即時貸款決策：即時中心提供即 台灣數據 時信用風險評估，使信貸員能夠立即做出批准或拒絕決定。這加快了貸款審批流程，並確保決策基於最新數據。
動態利率：根據即時評估，系統可以動態調整利率，在管理風險的同時提供有競爭力的定價。
業務影響：
更快的貸款審批：即時信用風險評估加快了貸款審批流程，提高了客戶滿意度並提高了轉換率。
準確的風險管理：動態風險評估確保提供的貸款具有適當的風險緩衝，減少違約。
競爭優勢：透過動態定價提供即時貸款決策的能力在貸款市場上提供了顯著的競爭優勢。
即時環境監測和合規性
挑戰：
石油和天然氣營運對環境有重大影響，公司必須遵守嚴格的法規以盡量減少這種影響。即時監控對於確保合規性和防止環境事故至關重要。
解決方案：
將具有從 YugabyteDB 增量拉取的管道整合到 Microsoft Fabric 中可以實現即時環境監控：
數據收集：環境數據，包括空氣和水質測量值、排放水平和廢物處理記錄，均在 YugabyteDB 中捕獲，並逐步拉入 Fabric Lakehouse。
合規性監控： Fabric Pipelines 處理這些數據並將其與監管標準進行比較，即時識別任何不合規的領域。
事件回應：即時中心會向環境團隊發出任何違反合規行為的警報，以便立即採取糾正措施以防止環境事件的發生。
永續發展報告：該系統還透過提供有關環境績效的詳細 Power BI 報告來支援永續發展計劃，幫助公司
展現對環境管理的承諾。
業務影響：
監管合規性：即時監控確保持續遵守環境法規，避免罰款和法律問題。
風險緩解：主動事件回應可降低環境事故的可能性，保護環境和公司聲譽。
永續發展領導力：透過提高環境績效，公司可以將自己定位為永續發展領域的領導者，從而獲得市場
競爭優勢。
如何使用 Fabric 的資料管道功能將 YugabyteDB 與 Microsoft Fabric Lakehouse 集成
下面的資料整合流程展示了 YugabyteDB 與 Microsoft Fabric 生態系統之間的整合。
數據整合流程
該架構使用 PostgreSQL 連接將 YugabyteDB 與 Microsoft Fabric 整合。
Fabric Data Pipeline 促進從 YugabyteDB 到 Fabric Lakehouse 的增量資料加載，Fabric Lakehouse 是一個用於儲存和分析結構化和非結構化資料的統一平台。在 Lakehouse 中，Delta 表格允許使用 T-SQL 進行高效查詢，而 Fabric 語義資料模型則提供業務友善層以進行更深入的分析。
這種設定可確保無縫資料流、集中儲存和強大的分析功能，從而實現有效的資料驅動決策。