鬼佬大哥大
  • / 5
  • 下載費用:30 金幣  

一種異構數據源數據關聯分析方法.pdf

關 鍵 詞:
一種 數據源 數據 關聯 分析 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
摘要
申請專利號:

CN201510309873.5

申請日:

2015.06.09

公開號:

CN104899295A

公開日:

2015.09.09

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06F 17/30申請日:20150609|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 蘇州國云數據科技有限公司
發明人: 馬曉東; 柯志超; 王云鵬; 董旭旭; 王鵬
地址: 215000江蘇省蘇州市工業園區獨墅湖圖書館C108室
優先權:
專利代理機構: 代理人:
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510309873.5

授權公告號:

||||||

法律狀態公告日:

2018.08.03|||2015.10.07|||2015.09.09

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本案為一種異構數據源數據關聯分析方法,包括以下步驟:(a)多數據源接入及表結構解析;(b)目標單數據源表結構生成;(c)業務建模及查詢SQL生成;(d)模型解析及從多數據源加載數據到目標單數據源;(e)執行查詢并返回結果;(f)多數據源數據同步。本案的異構數據源數據關聯分析方法增加了對多數據源數據的關聯查詢支持,幫助用戶分析/發現異構數據源之間數據的關聯性;具備更好的可擴展性,支持接入企業未來的新型數據源以及新型數據;更好的容災性以及更好的分析性能.同步多數據源數據到目標數據源,可以避免單點故障,利用目標數據源,可以更好的進行性能擴展。

權利要求書

權利要求書
1.  一種異構數據源數據關聯分析方法,其特征在于,包括以下步驟:
(a)多數據源接入及表結構解析:對用戶的不同數據源數據進行接入,分析并解析出各數據源中所有表的表結構;
(b)目標單數據源表結構生成:針對步驟(a)記錄的各個數據源表結構,實現一個針對目標數據源表結構映射的功能,并在目標單數據源中對各個數據源表生成唯一的對應表結構,使各個數據源中表結構遷移到目標單數據源系統中;
(c)業務建模及查詢SQL生成:所述目標單數據源系統接入數據分析平臺進行業務建模、分析,生成業務模型,并針對接入的數據源生成對應的查詢SQL;
(d)模型解析及從多數據源加載數據到目標單數據源:在所述數據分析平臺進行業務建模時,系統解析所述業務模型對應的數據源列表,加載指定數據源中指定表的數據進入所述目標數據源;
(e)執行查詢并返回結果:針對所述目標數據源執行步驟(c)生成的查詢語句后,數據以JSON格式返回,基于該數據做后續分析或者直接使用可視化工具進行展示;
(f)多數據源數據同步:所述多數據源同步數據到所述目標單數據源方法,可選增量同步,或者全量同步。

2.  如權利要求1所述的異構數據源數據關聯分析方法,其特征在于,所述接入的數據源為基于Mysql、Oracle、SqlServer中的一種數據庫。

說明書

說明書一種異構數據源數據關聯分析方法
技術領域
本發明涉及一種數據關聯分析方法,具體涉及一種對異構數據源之間進行關聯分析的方法。
背景技術
現階段很多企業,特別是大型企業,其不同業務數據可能存儲在不同(異構)的數據源中,而且隨著業務的不斷發展,新型的業務模式以及帶來的新的數據存儲方式,都會增加企業使用異構數據源存儲企業的數據的可能性。現階段市面上的數據分析工具,都是針對單獨數據源中數據來進行提取、分析、展示的,在面對企業有多種數據源,需要對多數據源數據進行全方面的,關聯分析的時候,現有數據分析工具就體現出無法滿足業務需求的情況。
發明內容
為克服現有技術的不足,本發明的目的在于采取把異構多數據源中表結構和數據映射到目標單數據源中,使分析平臺可以針對各個異構數據源中匯總的數據進行關聯分析。
為實現上述目的,本發明通過以下技術方案實現:
一種異構數據源數據關聯分析方法,包括以下步驟:
(a)多數據源接入及表結構解析:對用戶的不同數據源數據進行接入,分析并解析出各數據源中所有表的表結構;
(b)目標單數據源表結構生成:針對步驟(a)記錄的各個數據源表結構,實現一個針對目標數據源表結構映射的功能,并在目標單數據源中對各個數據源表生成唯一的對應表結構,使各個數據源中表結構遷移到目標單數據源系統中;
(c)業務建模及查詢SQL生成:所述目標單數據源系統接入數據分析平臺進行業務建模、分析,生成業務模型,并針對接入的數據源生成對應的查詢SQL;
(d)模型解析及從多數據源加載數據到目標單數據源:在所述數據分析平臺進行業務建模時,系統解析所述業務模型對應的數據源列表,加載指定數據源中指定表的數據進入所述目標數據源;
(e)執行查詢并返回結果:針對所述目標數據源執行步驟(c)生成的查詢語句后,數據以JSON格式返回,基于該數據做后續分析或者直接使用可視化工具進行展示;
(f)多數據源數據同步:所述多數據源同步數據到所述目標單數據源方法,可選增量同步,或者全量同步。
優選的是,所述的異構數據源數據關聯分析方法,其中,所述接入的數據源為基于Mysql、Oracle、SqlServer中的一種數據庫。
 本發明的有益效果:
(1)增加了對多數據源數據的關聯查詢支持,幫助用戶分析/發現異構數據源之間數據的關聯性;
(2)更好的可擴展性,支持接入企業未來的新型數據源以及新型數據;
(3)更好的容災性以及更好的分析性能:同步多數據源數據到目標數據源,可以避免單點故障,利用目標數據源,可以更好的進行性能擴展。
附圖說明
圖1為本發明一實施例所述的異構數據源數據關聯分析方法中的方法流程示意圖。
具體實施方式
下面結合附圖對本發明做進一步的詳細說明,以令本領域技術人員參照說明書文字能夠據以實施。
一種異構數據源數據關聯分析方法,請參閱附圖1,包括以下步驟:
(a)多數據源接入及表結構解析:對用戶的不同數據源數據進行接入,分析并解析出各數據源中所有表的表結構;
(b)目標單數據源表結構生成:針對步驟(a)記錄的各個數據源表結構,實現一個針對目標數據源表結構映射的功能,并在目標單數據源中對各個數據源表生成唯一的對應表結構,使各個數據源中表結構遷移到目標單數據源系統中;
(c)業務建模及查詢SQL生成:所述目標單數據源系統接入數據分析平臺進行業務建模、分析,生成業務模型,并針對接入的數據源生成對應的查詢SQL;由于接入的數據源系統可以是多樣的,例如基于Mysql、Oracle、SqlServer等主流的數據庫,為了讓系統能夠適應更多的數據庫或者數據處理系統,系統生成一個SQL對象來適配的更多系統;SQL對象包含了一個查詢相關的重要信息,可以方便的生成不同數據源平臺的查詢語句。
(d)模型解析及從多數據源加載數據到目標單數據源:在所述數據分析平臺進行業務建模時,系統解析所述業務模型對應的數據源列表,加載指定數據源中指定表的數據進入所述目標數據源;
(e)執行查詢并返回結果:針對所述目標數據源執行步驟(c)生成的查詢語句后,數據以JSON格式返回,基于該數據做后續分析或者直接使用可視化工具進行展示;
(f)多數據源數據同步:所述多數據源同步數據到所述目標單數據源方法,可選增量同步,或者全量同步。用戶的異構數據源開啟同步日志,目標數據源進行實時增量同步更新;或者可選擇定期全量更新。本案增加了對多數據源數據的關聯查詢支持,幫助用戶分析/發現異構數據源之間數據的關聯性;具備更好的可擴展性,支持接入企業未來的新型數據源以及新型數據;同時具有更好的容災性以及更好的分析性能:同步多數據源數據到目標數據源,可以避免單點故障,利用目標數據源,可以更好的進行性能擴展。
進一步的,所述接入的數據源為基于Mysql、Oracle、SqlServer中的一種數據庫。
盡管本發明的實施方案已公開如上,但其并不僅僅限于說明書和實施方式中所列運用,它完全可以被適用于各種適合本發明的領域,對于熟悉本領域的人員而言,可容易地實現另外的修改,因此在不背離權利要求及等同范圍所限定的一般概念下,本發明并不限于特定的細節和這里示出與描述的圖例。

關于本文
本文標題:一種異構數據源數據關聯分析方法.pdf
鏈接地址:http://www.wwszu.club/p-6369589.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大