鬼佬大哥大
  • / 11
  • 下載費用:30 金幣  

基于SVC的P2PVOD系統視音頻同步方法.pdf

關 鍵 詞:
基于 SVC P2PVOD 系統 音頻 同步 方法
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
摘要
申請專利號:

CN201210271507.1

申請日:

2012.08.01

公開號:

CN102761776B

公開日:

2015.01.14

當前法律狀態:

終止

有效性:

無權

法律詳情: 未繳年費專利權終止IPC(主分類):H04N 21/233申請日:20120801授權公告日:20150114終止日期:20150801|||授權|||實質審查的生效IPC(主分類):H04N 21/233申請日:20120801|||公開
IPC分類號: H04N21/233(2011.01)I; H04N21/234(2011.01)I; H04N21/236(2011.01)I; H04N21/439(2011.01)I; H04N21/4408(2011.01)I 主分類號: H04N21/233
申請人: 重慶大學
發明人: 唐朝偉; 袁楊; 羅秀紅
地址: 400045 重慶市沙坪壩區沙正街174號
優先權:
專利代理機構: 重慶市前沿專利事務所(普通合伙) 50211 代理人: 郭云
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201210271507.1

授權公告號:

|||102761776B||||||

法律狀態公告日:

2016.09.21|||2015.01.14|||2012.12.26|||2012.10.31

法律狀態類型:

專利權的終止|||授權|||實質審查的生效|||公開

摘要

本發明提出了一種基于SVC的P2PVoD系統的視音頻同步方法,屬于多媒體互聯網應用領域。本發明將音頻流復合到SVC視頻流中,并將SVC視頻編碼特征與Bittorrent協議相結合,改進Torrent文件的封裝格式,從而保證了基于SVC的視音頻數據的傳輸同步;采用基于緩存的質量自適應和順序下載相結合的方式,保證了視音頻播放的流暢性并可以提高視音頻播放的品質,實現了SVC視音頻分片的調度同步;以SVC視頻為主媒體流,音頻為從媒體流,播放時以視頻分片的播放時間信息更新同步時鐘,并以該時鐘同步解碼和播放相應音頻分片,從而實現視音頻媒體間的播放同步。

權利要求書

1.一種基于SVC的P2PVoD系統的視音頻同步方法,其特征在于包括以下
步驟:
S1、在服務器端將SVC視頻流按照等時長分割成N個視頻塊,將該N個
視頻塊分別劃分為M層視頻分片,其中各視頻塊中最底層的視頻分片構成視頻
基礎層,其上的每一層視頻分片均構成一個視頻增強層;將音頻流按照等時長
分割成N個音頻層分片;將該音頻層作為該視頻基礎層的下一層,從而生成視
音頻分層分片文件,其中SVC視頻流分割成視頻塊的單位時長與音頻流分割成
音頻層分片的單位時長相等,且N、M均為大于零的整數;
S2、在服務器端,將該視音頻分層分片文件的相關信息封裝至Torrent文件
中;
S3、啟動視音頻分層分片下載線程,客戶端從服務器端下載該Torrent文件,
從該Torrent文件中提取該視音頻分層分片文件的相關信息初始化視頻解碼器和
音頻解碼器;
S4、客戶端下載該視音頻分層分片文件;
S5、客戶端將該視音頻分層分片文件中的SVC視頻數據和音頻數據分別送
往對應的視頻解碼器和音頻解碼器進行解碼,并播放解碼后的視音頻數據。
2.根據權利要求1所述的基于SVC的P2PVoD系統的視音頻同步方法,其
特征在于:在所述步驟S1中音頻層文件名為0;設定空間分層數為Did和質量
分層數Qid,則SVC視頻各分層文件名為DQid=1+16×Did+Qid。
3.根據權利要求1所述的基于SVC的P2PVoD系統的視音頻同步方法,其
特征在于:在所述步驟S2中該Torrent文件的封裝格式增加了音頻采樣率、視
頻幀率、視頻幀數、每個GOP所含視頻幀數、每個視頻分片所含GOP數目、
SVC分層數、音頻層文件長度、音頻層文件標識符、視頻基礎層和各視頻增強
層的長度、視頻基礎層和各視頻增強層標識符、各視音頻分片長度和視音頻分
片總數中至少一個,其中該SVC分層數包括SVC視頻層數和音頻層數。
4.根據權利要求1所述的基于SVC的P2PVoD系統的視音頻同步方法,其
特征在于:在所述步驟S4中根據距離當前的播放時間點tplay的遠近,將視音頻
分層分片文件由近至遠劃分為高優先級區域、中優先級區域和低優先級區域,
其下載優先級逐漸降低。
5.根據權利要求4所述的基于SVC的P2PVoD系統的視音頻同步方法,其
特征在于:在播放視音頻之前,高優先級區域內面向播放時間點tplay一側的部分
視音頻數據緩存于下載緩沖區,且該部分視音頻數據的緩沖時長為PRETIME、下
載層數為Lpre,其中該下載層數Lpre根據網絡帶寬確定且至少包括音頻層和視頻
基礎層。
6.根據權利要求5所述的基于SVC的P2PVoD系統的視音頻同步方法,其
特征在于:客戶端周期性地判斷是否需要重新確定該下載緩沖區的下載層數
Lpre:設定下載緩沖區中待播放視音頻數據的時長為tbuf=tschedule-tplay,其中tschedule
表示當前的下載時間點,tplay表示當前的播放時間點,當tbuf減小至下限閾值時
表示下載速率過慢,為了保證視音頻播放的流暢性,減少下載一層視頻增強層
分片,下載層數減一Lpre--;當tbuf增大至上限閾值時表示下載速率過高,為了提
高視音頻播放的品質,確定增加下載一層視頻增強層分片,下載層數加一Lpre++。
7.根據權利要求4~6中任何一項所述的基于SVC的P2PVoD系統的視音
頻同步方法,其特征在于:該高級優先區域中視音頻數據的下載順序為:音頻
層分片、視頻基礎層分片、視頻增強層分片。
8.根據權利要求1所述的基于SVC的P2PVoD系統的視音頻同步方法,其
特征在于:所述步驟S5由以下步驟組成:
設定播放同步時鐘Tvideo來記錄視頻分片數據的播放時間;
啟動視頻播放線程,從下載緩沖區中獲取緩存的視頻分片數據進行解碼播
放,并更新播放同步時鐘Tvideo;
啟動音頻播放線程,根據播放同步時鐘Tvideo從下載緩沖區中獲取緩存的
音頻分片數據進行解碼播放,從而實現視音頻播放同步。

說明書

基于SVC的P2PVoD系統的視音頻同步方法

技術領域

本發明涉及一種視音頻同步方法,尤其涉及一種基于SVC的P2PVoD系統視音頻同步方法。?

背景技術

隨著寬帶通信的廣泛運用,互聯網上的多媒體應用變得越來越流行。將SVC(Scalable?Video?Coding,可伸縮視頻編碼)應用于P2P(Peer-to-Peer,對等互聯網技術)流媒體系統是解決P2P系統帶寬容量顯著變化和用戶終端異構多樣問題最有前途的方案。SVC允許“視頻序列一次編碼多種解碼”,能夠提供復合時空分辨率和高保真度的視頻流,因此它能有效地滿足P2P系統根據可用帶寬進行碼率調整的要求,同時可以很好地適應不同用戶終端的時空分辨率,為用戶提供更好的服務質量和用戶體驗。?

對于一個完整的基于SVC的P2P流媒體系統來說,SVC視頻流與相應的音頻流之間的同步非常關鍵,同步方法設計的好壞將直接影響系統的整體性能。視音頻的同步與人的視聽覺特性相關,圖1將人的視聽覺主觀評價劃分為5個等級:在聲音超前20ms至聲音落后90ms范圍內,人們感覺不出視聽質量的變化,該范圍被稱為不可覺察范圍;一般將主觀評價下降少于0.5級的范圍稱作可覺察范圍,對應于聲音超前45ms至落后125ms;將主觀評價下降少于1.5級的范圍認為是可接受范圍,對應于聲音超前90ms至落后185ms;在可接受范圍內的視音頻偏移被認為是同步的,但是當主觀評價下降超過1.5級時,視音頻偏移將被認為不同步。?

雖然P2P流媒體系統的視音頻同步已經有比較成熟的解決辦法,比較經典的有基于RTP/RTCP的視音頻同步方法和MPEG-4封裝時間戳同步方法等。但是目前P2P流媒體系統的視音頻同步方法并不適合基于SVC的P2P流媒體系統的視音頻同步需求。?

基于RTP/RTCP協議的視音頻同步一般以音頻為主媒體流,視頻為從媒體流,在接收端基于同一時間軸,通過比較最近播放的音頻幀和視頻幀的播放時間標簽判斷同步關系,對視頻幀采取重復或丟棄的方法實現視音頻同步控制。該同步方法的優點是借助RTP/RTCP協議進行視音頻的封裝傳輸以及同步控制,技術應用成熟廣泛。但是該方法的缺點是它只適合單層視頻流,目前尚沒有將SVC視頻流封裝成RTP數據包的方法,而且該方法需要對每個RTCP?SR(Sender?Reports)報文進行處理,對SVC這種多層視頻流來說,算法復雜度較高。?

MPEG-4封裝同步與基于RTP/RTCP協議的同步類似,也使用時間戳進行視音頻同步控制。MPEG-4的定時模型為其I、B、P幀定義了解碼時間戳(DTS)和合成時間戳(CTS),DTS用來表示解碼時間,當DTS的時刻到來時,訪問單元的解碼將開始,CTS表示合成單元在該時刻開始表現。由于每個視頻幀的表現時間相對于解碼時間都推遲了一個周期T,所以相應音頻幀的解碼也要推遲一個周期。該方法的顯著優點在于MP4可以根據網絡帶寬變化,通過選擇性丟棄B幀或P幀的方式解決網絡擁塞問題,同時對異構終端具有較好的適應性,特別是移動終端。但該方法同樣存在只適合單層視頻流的缺點,將SVC視頻流封裝進MP4的復雜度較高。?

由此可見,目前基于SVC的P2P流媒體系統的視頻流與對應的音頻流還是需要獨立編碼、獨立傳輸、獨立解碼和播放,同時對各個階段進行同步控制最后才能獲得良好的播放效果。?

發明內容

本發明旨在解決現有技術中存在的技術問題,特別創新地提出了一種基于SVC的P2PVoD系統視音頻同步方法,實現了基于SVC的視音頻數據的傳輸同步。?

為了實現本發明的上述目的,本發明提供了一種基于SVC的P2PVoD系統的視音頻同步方法,其特征在于包括以下步驟:?

S1、在服務器端將SVC視頻流按照等時長分割成N個視頻塊,將該N個視頻塊分別劃分為M層視頻分片,其中各視頻塊中最底層的視頻分片構成視頻基礎層,其上的每一層視頻分片均構成一個視頻增強層;將音頻流按照等時長分割成N個音頻層分片;將該音頻層作為該視頻基礎層的下一層,從而生成視音頻分層分片文件,其中SVC視頻流分割成視頻塊的單位時長與音頻流分割成音頻層分片的單位時長相等,且N、M均為大于零的整數;?

S2、在服務器端,將該視音頻分層分片文件的相關信息封裝至Torrent文件中;?

S3、啟動視音頻分層分片下載線程,客戶端從服務器端下載該Torrent文件,從該Torrent文件中提取該視音頻分層分片文件的相關信息初始化視頻解碼器和音頻解碼器;?

S4、客戶端下載該視音頻分層分片文件;?

S5、客戶端將該視音頻分層分片文件中的SVC視頻數據和音頻數據分別送往對應的視頻解碼器和音頻解碼器進行解碼,并播放解碼后的視音頻數據。由此實現了基于SVC的視音頻數據的傳輸同步。?

在所述步驟S1中音頻層文件名為0;設定空間分層數為Did和質量分層數?Qid,則SVC視頻各分層文件名為DQid=1+16×Did+Qid,便于客戶端識別視音頻分層分片文件中的各層文件。?

在所述步驟S2中該Torrent文件的封裝格式增加了音頻采樣率、視頻幀率、視頻幀數、每個GOP所含視頻幀數、每個視頻分片所含GOP數目、SVC分層數、音頻層文件長度、音頻層文件標識符、視頻基礎層和各視頻增強層的長度、視頻基礎層和各視頻增強層標識符、各視音頻分片長度和視音頻分片總數中至少一個,其中該SVC分層數包括SVC視頻層數和音頻層數。對Torrent文件的封裝格式進行改進,保證了SVC視音頻流的同步傳輸。?

在所述步驟S4中根據距離當前的播放時間點tplay的遠近,將視音頻分層分片文件由近至遠劃分為高優先級區域、中優先級區域和低優先級區域,其下載優先級逐漸降低。劃分優先級區域,按順序下載視音頻數據,保證了視音頻播放的流暢性。?

在播放視音頻之前,高優先級區域內面向播放時間點tplay一側的部分視音頻數據緩存于下載緩沖區,且該部分視音頻數據的緩沖時長為PRETIME、下載層數為Lpre,其中該下載層數Lpre根據網絡帶寬確定且至少包括音頻層和視頻基礎層。在播放視音頻之前根據初始網絡帶寬確定下載層數Lpre,緩沖視音頻數據,保證了視頻播放的流暢性。?

客戶端周期性地判斷是否需要重新確定該下載緩沖區的下載層數Lpre:設定下載緩沖區中待播放視音頻數據的時長為tbuf=tschedule-tplay,其中tschedule表示當前的下載時間點,tplay表示當前的播放時間點,當tbuf減小至下限閾值時表示下載速率過慢,為了保證視音頻播放的流暢性,減少下載一層視頻增強層分片,下載層數減一Lpre--;當tbuf增大至上限閾值時表示下載速率過高,為了提高視音頻播放的品質,確定增加下載一層視頻增強層分片,下載層數加一Lpre++。實現了?下載緩沖區的質量自適應調節,進一步保證了視音頻播放的流暢性,并且提高了視音頻播放的品質。?

該高級優先區域中視音頻數據的下載順序為:音頻層分片、視頻基礎層分片、視頻增強層分片。?

所述步驟S5由以下步驟組成:?

設定播放同步時鐘Tvideo來記錄視頻分片數據的播放時間;?

啟動視頻播放線程,從下載緩沖區中獲取緩存的視頻分片數據進行解碼播放,并更新播放同步時鐘Tvideo;?

啟動音頻播放線程,根據播放同步時鐘Tvideo從下載緩沖區中獲取緩存的音頻分片數據進行解碼播放,從而實現視音頻播放同步。?

以SVC視頻為主媒體流,音頻為從媒體流,播放時以視頻分片的播放時間信息更新同步時鐘,并以該時鐘同步解碼和播放相應音頻分片,從而實現視音頻媒體間的播放同步。?

綜上所述,由于采用了上述技術方案,本發明的有益效果是:?

1、將音頻流復合到SVC視頻流中,并將SVC視頻編碼特征與Bittorrent協議相結合,改進Torrent文件的封裝格式,從而保證了基于SVC的視音頻數據的傳輸同步;?

2、采用基于緩存的質量自適應和順序下載相結合的方式,保證了視音頻播放的流暢性并可以提高視音頻播放的品質,實現了SVC視音頻分片的調度同步;?

3、以SVC視頻為主媒體流,音頻為從媒體流,播放時以視頻分片的播放時間信息更新同步時鐘,并以該時鐘同步解碼和播放相應音頻分片,從而實現視音頻媒體間的播放同步。?

本發明的附加方面和優點將在下面的描述中部分給出,部分將從下面的描?述中變得明顯,或通過本發明的實踐了解到。?

附圖說明

本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解,其中:?

圖1是視音頻同步標準示意圖;?

圖2是基于SVC的P2PVoD系統中視音頻分層分片文件的結構示意圖;?

圖3是基于SVC的P2PVoD系統中Torrent文件的封裝格式示意圖;?

圖4是基于SVC的P2PVoD系統中三優先級區域的示意圖。?

具體實施方式

下面詳細描述本發明的實施例,所述實施例的示例在附圖中示出,其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的,僅用于解釋本發明,而不能理解為對本發明的限制。?

本發明主要實現了P2PVoD系統中SVC(Scalable?Video?Coding,可伸縮視頻編碼)視音頻的傳輸同步和播放同步。?

該基于SVC的P2PVoD系統的視音頻同步方法由以下步驟組成:?

S1、為了實現SVC視頻流與音頻流的同步傳輸,如圖2所示,在服務器端將SVC視頻流按照等時長(諸如按照每一秒)分割成N個視頻塊Video?Chunk,將該N個視頻塊Video?Chunk分別劃分為M層視頻分片Video?Piece,其中各視頻塊Video?Chunk中最底層的視頻分片Video?Piece構成視頻基礎層,其上的每一層視頻分片Video?Piece均構成一個視頻增強層;將音頻流按照等時長(諸如?按照每一秒)分割成N個音頻層分片;將該音頻層分片作為視頻基礎層的下一層,從而生成視音頻分層分片文件,其中SVC視頻流分割成視頻塊的單位時長與音頻流分割成音頻層分片的單位時長相等,且N、M均為大于零的整數。?

為了便于客戶端識別視音頻分層分片文件中的各層文件,本發明采用以下方式對各層文件進行命名。音頻層文件名為0;設定空間分層數為Did和質量分層數Qid,則SVC視頻各分層文件名為DQid=1+16×Did+Qid。?

如圖2所示,本實施例中將SVC視頻流劃分為四層,針對視頻基礎層,其文件名為DQid=1+16×Did+Qid=1+16×0+0=1;?

針對視頻第一增強層,其文件名為DQid=1+16×Did+Qid=1+16×0+1=2;?

針對視頻第二增強層,其文件名為DQid=1+16×Did+Qid=1+16×1+0=17;?

針對視頻第三增強層,其文件名為DQid=1+16×Did+Qid=1+16×1+1=18。?

S2、在服務器端,將該視音頻分層分片文件的相關信息封裝至Torrent文件中。與BitTorrent協議定義的Torrent文件類似,基于SVC的P2PVoD系統的Torrent文件也是采用BenCode編碼格式進行編碼。但是由于基于SVC的P2PVoD系統與傳統的P2PVoD系統在數據特征及分片算法等方面存在差別,為了保證SVC視音頻流的同步傳輸,本發明對Torrent文件的封裝格式進行改進。如圖3所示,該Torrent文件的封裝格式增加了音頻采樣率、視頻幀率、視頻幀數、每個GOP(Group?of?Pictures,畫面組)所含視頻幀數、每個視頻分片所含GOP數目、SVC分層數(包括SVC視頻層和音頻層)、音頻層文件長度、音頻層文件標識符、各視頻分層長度和標識符(諸如視頻基礎層文件長度、視頻基礎層文件識別符、視頻第一增強層文件長度、視頻第一增強層文件標識符等)、各視音頻分片長度和視音頻分片總數中至少一個,其中圖中的長度單位為字節。?

S3、啟動視音頻分層分片下載線程,客戶端從服務器下載Torrent文件,從?該Torrent文件中提取該視音頻分層分片文件的相關信息初始化視頻解碼器和音頻解碼器。?

S4、客戶端下載該視音頻分層分片文件,并且根據距離當前的播放時間點tplay的遠近將視音頻分層分片文件由近至遠劃分為高、中、低三個優先級區域,且其下載優先級逐漸降低。?

如圖4所示,高優先級區域(HP:High?Priortiy)的時長為h且距離播放時間點tplay最近。在播放視音頻之前,高優先級區域內面向播放時間點tplay一側的部分視音頻數據緩存于下載緩沖區,且該部分視音頻數據的緩沖時長為PRETIME(諸如5s、10s等)、下載層數為Lpre,其中該緩沖時長PRETIME可以根據實際情況人為設定,初始的下載層數Lpre可以根據初始的網絡帶寬確定且至少包括音頻層和視頻基礎層。?

由于視音頻分層分片文件播放時必須包括音頻層分片和視頻基礎層分片,而視頻增強層分片的作用在于提高視音頻播放的品質,并且在下載SVC視音頻的過程中網絡帶寬會不斷變化,為了保證視音頻播放的流暢性和品質,客戶端周期性地判斷是否需要重新確定該下載緩沖區的下載層數Lpre。設定下載緩沖區中待播放視音頻數據的時長為tbuf=tschedule-tplay,其中tschedule表示當前的下載時間點,tplay表示當前的播放時間點。tbuf隨著下載速率的變化而變化,當下載速率大于播放速率時,tbuf不斷增大;當下載速率小于播放速率時,tbuf不斷減小。當tbuf減小至下限閾值時表示下載速率過慢,為了保證視音頻的流暢播放,在至少下載音頻層分片和視頻基礎層分片的基礎上,減少下載一層視頻增強層分片,下載層數減一Lpre--;當tbuf增大至上限閾值時表示下載速率過高,為了提高視音頻播放的品質,在不超過視頻分層總數的基礎上,增加下載一層視頻增強層分片,下載層數加一Lpre++。?

由于等時長的音頻層分片要比視頻基礎層分片小得多,并且音頻層分片的下載速度更快,因此在高級優先級區域中視音頻數據的下載順序為:音頻層分片,視頻基礎層分片,視頻增強層分片。?

中優先級區域(MP:Middle?Priority)的時長為u且距離當前的播放時間點tplay較近,下載優先級居中。隨著時間的推移會進入高優先級區域,因此是播放的緊急性和稀缺分片擴散速度上的一個折中,采用分層最少優先(Rarest-First)策略。?

低優先級區域(LP:Low?Priority)為剩余調度區域且距離當前的播放時間點tplay最遠,下載優先級最低。為了提高稀缺分片擴散的速度,同樣采用分層最少優先(Rarest-First)策略。?

S5、客戶端客戶端將該視音頻分層分片文件中的SVC視頻數據和音頻數據分別送往對應的視頻解碼器和音頻解碼器進行解碼,并播放解碼后的視音頻數據。由于基于SVC的P2PVoD系統的視頻是SVC視頻流,當出現播放不同步時,對視頻的調整會涉及到數層視頻,處理起來比較復雜,而音頻只有一層,處理起來更簡單可靠,而且如圖1所示人們對聲音落后于圖像比聲音超前于圖像要寬容許多,因此本發明在播放視音頻時,以SVC視頻流為主媒體流,音頻流為從媒體流,同步音頻流到SVC視頻流。因為SVC視頻流的視頻塊Video?Chunk解碼比較復雜,從解碼視頻塊Video?Chunk到播放該視頻塊Video?Chunk會有一定延遲,而解碼相應的音頻分片Audio?Piece則非常快,因此本發明不以解碼一個視頻塊Video?Chunk的時間作為解碼相應音頻分片Audio?Piece的同步時間,而是以開始播放視頻塊Video?Chunk的時間作為解碼對應音頻分片Audio?Piece的同步時間。具體步驟為:?

首先,設定播放同步時鐘Tvideo來記錄視頻分片數據的播放時間;?

接著,啟動視頻播放線程,從下載緩沖區中獲取緩存的視頻分片數據進行解碼播放,并更新播放同步時鐘Tvideo;?

最后,啟動音頻播放線程,根據播放同步時鐘Tvideo從下載緩沖區中獲取緩存的音頻分片數據進行解碼播放,從而實現視音頻播放同步。?

在本說明書的描述中,參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特點包含于本發明的至少一個實施例或示例中。在本說明書中,對上述術語的示意性表述不一定指的是相同的實施例或示例。而且,描述的具體特征、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。?

盡管已經示出和描述了本發明的實施例,本領域的普通技術人員可以理解:在不脫離本發明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型,本發明的范圍由權利要求及其等同物限定。?

關于本文
本文標題:基于SVC的P2PVOD系統視音頻同步方法.pdf
鏈接地址:http://www.wwszu.club/p-6420933.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
鬼佬大哥大