鬼佬大哥大
  • / 6
  • 下載費用:30 金幣  

一種多源異構數據的處理方法.pdf

摘要
申請專利號:

CN201510316367.9

申請日:

2015.06.10

公開號:

CN104899301A

公開日:

2015.09.09

當前法律狀態:

授權

有效性:

有權

法律詳情: 授權|||實質審查的生效IPC(主分類):G06F 17/30申請日:20150610|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 西安數源軟件有限公司
發明人: 高志亮; 高倩; 孫少波; 晁會霞; 常象宇; 崔維庚; 孫陽; 梁寶娟
地址: 710065陜西省西安市高新區錦業路北側創新商務公寓3座10609室
優先權:
專利代理機構: 北京世譽鑫誠專利代理事務所(普通合伙)11368 代理人: 仲伯煊
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510316367.9

授權公告號:

||||||

法律狀態公告日:

2019.04.16|||2016.03.23|||2015.09.09

法律狀態類型:

授權|||實質審查的生效|||公開

摘要

本發明屬于數據處理技術領域,具體涉及一種多源異構數據的處理方法。一種多源異構數據的處理方法,包括以下步驟:(1)、數據提取;(2)、構造SQL語句數據篩選;(3)、通過流程,節點操作實現數據生成;(4)、根據需求將數據推送到客戶端;(5)、根據用戶需要對數據進行融合后,將融合后的數據呈現在顯示設備上。本發明公開了一種多源異構數據的處理方法,其具有以下有益效果:1、數據處理效率高;2、數據過程可視化;3、多源異構數據無縫接入,系統可對不同格式、不同結構的數據進行同步處理。

權利要求書

權利要求書
1.  一種多源異構數據的處理方法,其特征在于,包括以下步驟:
(1)、數據提取;
(2)、構造SQL語句數據篩選;
(3)、通過流程,節點操作實現數據生成;
(4)、根據需求將數據推送到客戶端;
(5)、根據用戶需要對數據進行融合后,將融合后的數據呈現在顯示設備上。

2.  根據權利要求1所述的一種多源異構數據的處理方法,其特征在于,步驟(1)包括以下步驟:
(11)、根據用戶需求選擇數據庫并輸入用戶的數據需求;
(12)、建立數據流程;
(13)、節點化操作。

說明書

說明書一種多源異構數據的處理方法
技術領域
本發明屬于數據處理技術領域,具體涉及一種多源異構數據的處理方法。
背景技術
“互聯網還沒搞清楚的時候,移動互聯來了,移動互聯還沒搞清楚的時候,大數據來了”。大數據應用早已深入到尋常的生活之中,將逐漸成為現代社會基礎設施的一部分,就像公路、鐵路、港口、水電和通信網絡一樣不可或缺。
大數據時代改變了什么?我們工作、生活中的各種場景悄然發生了改變。美國作家羅伯特·斯考伯在《Age of Context》一書中,稱“大數據時代后,下一個科技趨勢就是場景時代!誰能占據場景,就能贏得未來!”
經過多年的信息化建設,在我國政府、企業,智慧城市、數字油田等等都建設強大的數據庫系統,尤其在企業內各級部門都先后建成了各類業務相關的信息化系統,推進了企業信息化的發展;然而,由于建設的多元性,如多期次、多IT商、多格式、多數據庫、多系統、多技術方法等導致數據的多源性。構成了數據的“數據病”。這就是數據庫VS數據庫;信息系統VS信息系統;信息系統VS專業軟件;專業軟件VS專業軟件不能實現數據共享,出現了“數據碎片化”與 “鴻溝”。
目前,在我國據估計數據建設費用投資在萬億元,對于這樣的現狀,不可能推翻重來,也不可能放棄這些數據不用。而按照傳統的做法就是每遇到“數據病”問題,就要采用人工編碼、手工整理數據的方式開發軟件(中間件)做數據接口。但是軟件開發是一個復雜的工程,開發周期長,在龐大數據下,采用人工編碼、手工整理數據的方式實現系統的集成應用與數據運維管理,猶如采用人工勞力的方式建設打通各個島嶼之間的跨海大橋一樣的工作量,非常龐大。
我們發明了一種在整體設計上遵循零代碼原則,用戶不需要了解復雜的編程技術,僅需要排列和組合各種功能節點,即可實現對海量多源異構數據的整合與應用的大數據提取、整理、融合、分析與數據挖掘的重要軟件。
發明內容
發明目的:本發明針對上述現有技術存在的問題做出改進,即本發明公開了一種多源異構數據的處理方法。
技術方案:一種多源異構數據的處理方法,包括以下步驟:
(1)、數據提取;
(2)、構造SQL語句數據篩選;
(3)、通過流程,節點操作實現數據生成;
(4)、根據需求將數據推送到客戶端;
(5)、根據用戶需要對數據進行融合后,將融合后的數據呈現在 顯示設備上。
進一步地,步驟(1)包括以下步驟:
(11)、根據用戶需求選擇數據庫并輸入用戶的數據需求;
(12)、建立數據流程;
(13)、節點化操作。
從各種數據庫中,面對結構化、半結構化和非結構化數據庫的各種數據,包括政府數據、市政數據和專業性超強的數據,只要提出需求,就會按照需求,開始工作。
有益效果:本發明公開了一種多源異構數據的處理方法,其具有以下有益效果:
1、數據處理效率高;
2、數據過程可視化,將業務流與數據流相融合,為IT技術人員與傳統業務領域的專家提供對話、協作平臺,使跨領域的交叉融合。同時,固化的經驗、公式、算法,可形成經典數據分析流程,使得研究方法可繼承、可編排,從而保障數據分析方法的延續性,也避免企業因人才升遷而引發的研究方法的流失;
3、多源異構數據無縫接入,系統可對不同格式、不同結構的數據進行同步處理,通過函數與流程支持Oracle、MySQL、SQL Server等十余種數據庫,FTP、Excel、Word、TEXT、GIS、WIS等文件格式,開放了二次開發接口,用戶可根據需要定制腳本讀入數據;
4、企業級數據整合,一鍵式創建流程。系統提供企業級數據快速接入模塊,可根據企業的數據模型、數據庫字典按專業領域組織數 據,提供關鍵字檢索,實現數據表的快速定位,并提供一鍵式創建流程,訪問企業級數據庫中的數據。系統提供豐富的節點和方法,便于再造企業業務流程;
5、數據呈現方式靈活多樣,用戶可使用報表、統計圖形、專業圖板、空間分布等維度展示數據,挖掘數據之間內在的聯系和規律;
6、面對任何格式與任意數據庫的任何數據智能提取;
7、零編碼、流程編輯器,根據需求自動編輯流程;
8、節點式操作,如同搭積木來完成數據的提取,可做數據整理、融合與可視化。
附圖說明
圖1為本發明公開的一種多源異構數據的處理方法的流程示意圖;
圖2為本發明公開的一種多源異構數據的處理方法的流程圖。
具體實施方式:
下面對本發明的具體實施方式詳細說明。
如圖1和圖2所示,一種多源異構數據的處理方法,包括以下步驟:
(1)、數據提取;
(2)、構造SQL語句數據篩選;
(3)、通過流程,節點操作實現數據生成;
(4)、根據需求將數據推送到客戶端;
(5)、根據用戶需要對數據進行融合后,將融合后的數據呈現在顯示設備上。
進一步地,數據提取包括以下步驟:
(11)、根據用戶需求選擇數據庫并輸入用戶的數據需求;
(12)、建立數據流程;
(13)、節點化操作。
以油田數據為例:某油田企業,由于信息系統不穩定、入庫規則復雜,分析試驗中心有5萬張鑄體薄片圖像,未能及時入庫;給科研人員使用薄片數據進行油氣藏研究帶來了不便。上級部門要求將這些照片數據整理入庫,經過提取井名、深度、與數據庫中樣品批號配對、標準化照片名稱、剔除重復照片、剔除現有數據庫中已有照片、錄入照片索引信息、上傳照片文件等10余個步驟;整理一張薄片照片大約耗費3分鐘,完成5萬張照片大約需要300多個工作日,數據整理工作繁瑣、工作量巨大。
使用多源異構數據的處理方法,構建數據分析處理的流程,僅需要4個小時完成數據整理任務(提高工作效率數百倍)。
上面對本發明的實施方式做了詳細說明。但是本發明并不限于上述實施方式,在所屬技術領域普通技術人員所具備的知識范圍內,還可以在不脫離本發明宗旨的前提下做出各種變化。

關 鍵 詞:
一種 多源異構 數據 處理 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種多源異構數據的處理方法.pdf
鏈接地址:http://www.wwszu.club/p-6373745.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大