鬼佬大哥大
  • / 6
  • 下載費用:30 金幣  

一種HBASE與HIVE的查詢展示方法及系統.pdf

摘要
申請專利號:

CN201510485928.8

申請日:

2015.08.10

公開號:

CN105069110A

公開日:

2015.11.18

當前法律狀態:

實審

有效性:

審中

法律詳情: 實質審查的生效IPC(主分類):G06F 17/30申請日:20150810|||公開
IPC分類號: G06F17/30 主分類號: G06F17/30
申請人: 北京思特奇信息技術股份有限公司
發明人: 金曉飛
地址: 100086北京市海淀區中關村南大街6號中電信息大廈16層
優先權:
專利代理機構: 北京輕創知識產權代理有限公司11212 代理人: 楊立
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201510485928.8

授權公告號:

|||

法律狀態公告日:

2016.01.06|||2015.11.18

法律狀態類型:

實質審查的生效|||公開

摘要

本發明涉及一種Hbase與Hive的查詢展示方法及系統,包括以下步驟:獲取用戶輸入的查詢參數;根據查詢參數對Hbase數據庫或者Hive工具中的信息進行查詢,得到查詢結果;將查詢結果進行顯示。本發明提供了這樣的一個工具可以方便的用戶查詢一些自己想要的數據,避免了使用hive和Hbase數據庫的不方便性。

權利要求書

1.一種Hbase與Hive的查詢展示方法,其特征在于,包括以下步驟:
獲取用戶輸入的查詢參數;
根據查詢參數對Hbase數據庫或者Hive工具中的信息進行查詢,得到
查詢結果;
將查詢結果進行顯示。
2.根據權利要求1所述的Hbase與Hive的查詢展示方法,其特征在于,
所述查詢參數為查詢號碼或SQL語句。
3.根據權利要求1所述的Hbase與Hive的查詢展示方法,其特征在于,
所述根據查詢參數對Hbase數據庫中的信息進行查詢,得到查詢結果具體為:
當所述查詢參數為查詢號碼時,通過Hbase接口訪問Hbase數據庫,根
據查詢號碼通過rowkey對Hbase數據庫中的信息進行查詢;
當所述查詢參數為SQL語句時,通過JDBC的方式調用Hive工具,根據
SQL語句對Hive工具中的信息進行查詢。
4.根據權利要求1所述的Hbase與Hive的查詢展示方法,其特征在于,
所述查詢結果為CSV文件和TXT文本。
5.根據權利要求4所述的Hbase與Hive的查詢展示方法,其特征在于,
所述Hbase與Hive的查詢展示方法中還包括:將查詢結果生成一個ZIP壓
縮包。
6.一種Hbase與Hive的查詢展示系統,其特征在于,包括獲取模塊(1)、
查詢模塊(2)和顯示模塊(3):
所述獲取模塊(1),用于獲取用戶輸入的查詢參數;
所述查詢模塊(2),用于根據查詢參數對Hbase數據庫中的信息進行
查詢,得到查詢結果;
所述顯示模塊(3),用于將查詢結果進行顯示。
7.根據權利要求6所述的Hbase與Hive的查詢展示系統,其特征在于,
所述獲取模塊(1)中的查詢參數為查詢號碼或SQL語句。
8.根據權利要求6所述的Hbase與Hive的查詢展示系統,其特征在于,
所述查詢模塊(2)具體用于:
當所述查詢參數為查詢號碼時,通過Hbase接口訪問Hbase數據庫,根
據查詢號碼通過rowkey對Hbase數據庫中的信息進行查詢;
當所述查詢參數為SQL語句時,通過JDBC的方式調用Hive工具,根據
SQL語句對Hive工具中的信息進行查詢。
9.根據權利要求6所述的Hbase與Hive的查詢展示系統,其特征在于,
所述查詢結果為CSV文件和TXT文本。
10.根據權利要求9所述的Hbase與Hive的查詢展示系統,其特征在于,
還包括壓縮模塊(4),用于將查詢結果生成一個ZIP壓縮包。

說明書

一種Hbase與Hive的查詢展示方法及系統

技術領域

本發明涉及Hbase數據庫和Hive工具,特別涉及一種Hbase與Hive的
查詢展示方法及系統。

背景技術

在大數據時代的背景下,處理的數據都以T級PB級來進行計算,傳統
的技術對處理這樣數量級的數據已經漸漸力不從心,應運而生的就是Hadoop
集群和Hbase、hive等新技術。但是Hbase和hive的操作客戶端不夠友好,
沒有一定大數據平臺使用基礎的人是無法使用的,而且數據的展示也不夠友
好。所以在云詳單的項目中,根據用戶的需求為用戶開發了一個帶有友好界
面的查詢Hbase和hive的工具,將用戶需要查詢的數據保存到CSV文件中
供用戶查看使用。

發明內容

本發明所要解決的技術問題是提供一種方便快速查詢Hive和Hbase數
據庫中的數據的Hbase與Hive的查詢展示方法及系統。

本發明解決上述技術問題的技術方案如下:一種Hbase與Hive的查詢
展示方法,包括以下步驟:

獲取用戶輸入的查詢參數;

根據查詢參數對Hbase數據庫或者Hive工具中的信息進行查詢,得到
查詢結果;

將查詢結果進行顯示。

本發明的有益效果是:隨著云詳單存儲項目等類似大數據項目的不斷發
展,在廣泛使用了Hbase和hive技術后,用戶無法像使用Plsql等工具對
傳統的Oracle數據庫進行查詢和使用。本發明提供了這樣的一個工具可以
方便的用戶查詢一些自己想要的數據,避免了使用hive和Hbase數據庫的
不方便性。

在上述技術方案的基礎上,本發明還可以做如下改進。

所述查詢參數為查詢號碼或SQL語句。

所述根據查詢參數對Hbase數據庫中的信息進行查詢,得到查詢結果具
體為:

當所述查詢參數為查詢號碼時,通過Hbase接口訪問Hbase數據庫,根
據查詢號碼通過rowkey對Hbase數據庫中的信息進行查詢;

當所述查詢參數為SQL語句時,通過JDBC的方式調用hive工具,根據
SQL語句對hive工具中的信息進行查詢。

進一步,所述查詢結果為CSV文件和TXT文本。

進一步,所述Hbase與Hive的查詢展示方法中還包括:將查詢結果生
成一個ZIP壓縮包。

進一步,一種Hbase與Hive的查詢展示系統,包括獲取模塊、查詢模塊
和顯示模塊:

所述獲取模塊,用于獲取用戶輸入的查詢參數;

所述查詢模塊,用于根據查詢參數對Hbase數據庫中的信息進行查詢,
得到查詢結果;

所述顯示模塊,用于將查詢結果進行顯示。

進一步,所述獲取模塊中的查詢參數為查詢號碼或SQL語句。

進一步,所述查詢模塊具體用于:當所述查詢參數為查詢號碼時,通過
Hbase接口訪問Hbase數據庫,根據查詢號碼通過rowkey對Hbase數據庫中
的信息進行查詢;

當所述查詢參數為SQL語句時,通過JDBC的方式調用Hive工具,根據
SQL語句對Hive工具中的信息進行查詢。

進一步,所述查詢結果為CSV文件和TXT文本。

進一步,還包括壓縮模塊,用于將查詢結果生成一個ZIP壓縮包。

附圖說明

圖1為本發明方法步驟流程圖;

圖2為本發明系統結構圖。

附圖中,各標號所代表的部件列表如下:

1、獲取模塊,2、查詢模塊,3、顯示模塊,4、壓縮模塊。

具體實施方式

以下結合附圖對本發明的原理和特征進行描述,所舉實例只用于解釋本
發明,并非用于限定本發明的范圍。

實施例1

如圖1所示,一種Hbase與Hive的查詢展示方法,包括以下步驟:

獲取用戶輸入的查詢參數;

根據查詢參數對Hbase數據庫中的信息進行查詢,得到查詢結果;

將查詢結果進行顯示。

所述查詢參數為查詢號碼或SQL語句。

所述根據查詢參數對Hbase數據庫中的信息進行查詢,得到查詢結果具
體為:當所述查詢參數為查詢號碼時,通過Hbase接口訪問Hbase數據庫,
根據查詢號碼通過rowkey對Hbase數據庫中的信息進行查詢;

當所述查詢參數為SQL語句時,通過JDBC的方式訪問Hbase數據庫,
根據SQL語句通過hive工具對Hbase數據庫中的信息進行查詢。

所述查詢結果為CSV文件和TXT文本。

所述Hbase與Hive的查詢展示方法中還包括:將查詢結果生成一個ZIP
壓縮包。

如圖2所示,一種Hbase與Hive的查詢展示系統,包括獲取模塊1、查
詢模塊2和顯示模塊3:

所述獲取模塊1,用于獲取用戶輸入的查詢參數;

所述查詢模塊2,用于根據查詢參數對Hbase數據庫中的信息進行查詢,
得到查詢結果;

所述顯示模塊3,用于將查詢結果進行顯示。

所述獲取模塊1中的查詢參數為查詢號碼或SQL語句。

所述查詢模塊2具體用于:當所述查詢參數為查詢號碼時,通過Hbase
接口訪問Hbase數據庫,根據查詢號碼通過rowkey對Hbase數據庫中的信
息進行查詢;

當所述查詢參數為SQL語句時,通過JDBC的方式調用Hive工具,根據
SQL語句對Hive工具中的信息進行查詢。

所述查詢結果為CSV文件和TXT文本。

還包括壓縮模塊4,用于將查詢結果生成一個ZIP壓縮包。

在具體實時中,本發明是采用jdbc和HbaseAPI對hive和Hbase進行
查詢,前臺采用J2EE架構,使用友好的頁面進行查詢。

步驟1:在前端輸入查詢的計費號碼或者SQL語句

步驟2:點擊查詢按鈕,將計費號碼或者SQL語句傳到后臺,傳入計費
號碼時通過HbaseAPI訪問Hbase,通過rowkey對Hbase信息進行查詢;
傳入SQL時通過JDBC的方式訪問hive客戶端,通過hive對SQL語句進行
分析查詢。

步驟3:將查詢結果生成CSV文件和一個對應工整的TXT文本,再將CSV
文件和TXT文件生成一個ZIP壓縮包。

步驟4:下載得到查詢結果。

步驟5:查看查詢結果,查詢結果為CSV文件和格式整齊的TXT文本。

通過rowkey的一部分進行設置查詢條件,對Hbase數據庫進行查詢。
例如:使用計費號碼作為查詢條件,計費號碼就為rowkey中的前20位,這
樣就可以通過rowkey快速的查詢到相應的結果。

通過SQL輸入對hive進行查詢。

本發明需要部署在tomcat或者WebLogic下,該主機需要安裝JDK并且
能訪問Hadoop集群。

以上所述僅為本發明的較佳實施例,并不用以限制本發明,凡在本發明
的精神和原則之內,所作的任何修改、等同替換、改進等,均應包含在本發
明的保護范圍之內。

關 鍵 詞:
一種 HBASE HIVE 查詢 展示 方法 系統
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種HBASE與HIVE的查詢展示方法及系統.pdf
鏈接地址:http://www.wwszu.club/p-6386011.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大