MPEG-7與媒體資產(chǎn)檢索

MPEG-7與媒體資產(chǎn)檢索

1、 引言    隨著電視技術(shù)與IT技術(shù)的不斷融合，以及IT技術(shù)日新月異的發(fā)展，實(shí)現(xiàn)視音頻信息的數(shù)字化管理即所謂的媒體資產(chǎn)管理已成為可能。但要實(shí)現(xiàn)對(duì)龐大的視音頻數(shù)據(jù)進(jìn)行組織、管理及檢索，僅僅有數(shù)字化的視音頻信息是遠(yuǎn)遠(yuǎn)不夠的，這時(shí)便提出了所謂的"元數(shù)據(jù)（Metadata）"技術(shù)。"元數(shù)據(jù)"就是描述數(shù)據(jù)的數(shù)據(jù)，即有關(guān)視音頻信息的描述信息。但現(xiàn)在多數(shù)媒體資產(chǎn)管理系統(tǒng)都是按照傳統(tǒng)的管理信息系統(tǒng)的方式組織和管理元數(shù)據(jù)的，即將視音頻信息進(jìn)行編目，再將編目信息(元數(shù)據(jù))存入數(shù)據(jù)庫以備日后的檢索和管理。這種方式對(duì)于版權(quán)、作者、主題等等文本信息是很有效的，但是要實(shí)現(xiàn)真正的面向內(nèi)容的管理就力不從心了。針對(duì)這一問題，MPEG (Moving Picture Experts Group)推出了基于內(nèi)容的多媒體描述標(biāo)準(zhǔn)MPEG-7。MPEG-7標(biāo)準(zhǔn)重點(diǎn)在于AV(Audiovisual)信息的描述和定義，以明確的結(jié)構(gòu)和語法來定義AV信息的內(nèi)容。它的正式名稱是"多媒體內(nèi)容描述接口(multimedia content description interface)"。通過MPEG-7格式定義的信息，使用者可以有效地搜尋、過濾和定義想要的視音頻資料。 2、 MPEG-7     MPEG-7于2001年推出，它本身并不試圖定義一種新的數(shù)字壓縮方法，而主要是針對(duì)基于內(nèi)容的多媒體描述問題。 2.1 MPEG-7標(biāo)準(zhǔn)的范圍     MPEG-7是MPEG繼MPEG-1、MPEG-2、MPEG-4之后制定的新標(biāo)準(zhǔn)，但它與前三個(gè)標(biāo)準(zhǔn)不同，它超越基于波形或基于樣本、基于壓縮(如MPEG-1和MPEG-2)甚至是基于對(duì)象(如MPEG-4)的表示，也超越具體的存儲(chǔ)方式(如可以應(yīng)用于存儲(chǔ)在磁帶、影片等上模擬信號(hào)也可以應(yīng)用于存儲(chǔ)在磁盤、光盤上的數(shù)字信號(hào)，甚至可應(yīng)用于存在于紙上的圖形、圖片)，其目的是建立一種基于多媒體內(nèi)容的描述方式，以便更有效地支持多媒體資料在產(chǎn)生、存儲(chǔ)、交換、傳輸?shù)冗^程中的各種應(yīng)用，這些應(yīng)用包括搜索引擎、編輯工具和個(gè)性化的檢索機(jī)制等。但MPEG-7并不涉及這些就在具體的應(yīng)用本身，而是僅僅定義了多媒體內(nèi)容的描述方法，圖1是關(guān)于MPEG-7標(biāo)準(zhǔn)內(nèi)容的抽象描述。     MPEG-7對(duì)多媒體信息的描述目前主要包括以下幾個(gè)方面（當(dāng)然，隨著應(yīng)用的不斷深入，MPEG-7也在不斷的擴(kuò)充和完善）： ● 有關(guān)媒體制作方面的信息（如媒體的制作商、標(biāo)題等）；
● 有關(guān)媒體使用方面的信息（如媒體的版權(quán)、使用記錄等）；
● 有關(guān)媒體存儲(chǔ)方面的信息（如媒體的編碼方式、存儲(chǔ)格式等）；
● 有關(guān)媒體時(shí)間域、空間域方面的信息（如媒體中的場景切換、區(qū)域分割等）；
● 有關(guān)媒體特征方面的信息（如媒體的灰度、紋理、音頻特征等）；
● 有關(guān)媒體內(nèi)容表述方面的信息（如媒體中包括的對(duì)象、事件及其之間的相互關(guān)系等）。
2.2 MPEG-7描述
MPEG-7定義了一組的描述方法和工具，主要包含：
● 描述子D (Descriptors)：用來描述多媒體內(nèi)容的各種特征。
● 描述方案DS (Description Schemes)：用來描述D之間的結(jié)構(gòu)及關(guān)系。
● 描述定義語言DDL(Description Definition Language)：用來定義D和DS的語言。     一個(gè)MPEG-7描述(descriptions)由一組DS實(shí)例組成，并與AV素材的內(nèi)容鏈接，以使用戶能夠快速、有效地訪問需要的AV素材。描述可以與AV素材存儲(chǔ)在同一存儲(chǔ)系統(tǒng)中，也可以異地、遠(yuǎn)程存儲(chǔ)。 2.2.1描述子     MPEG-7定義了一組標(biāo)準(zhǔn)的描述子，下表列出的是一些MPEG-7的視覺描述子： 類型 特征 描述子 視覺 結(jié)構(gòu) 網(wǎng)格分布 二維/三維多視圖 時(shí)間序列 三維空間坐標(biāo)系 時(shí)間插值 顏色 顏色空間 顏色量化 顏色直方圖 主顏色 可擴(kuò)展顏色 顏色結(jié)構(gòu) 顏色分布 GOF/GOP顏色 紋理 邊緣直方圖 同類紋理 紋理瀏覽 形狀 對(duì)象范圍 基于區(qū)域的形狀 基于輪廓的形狀 三維形狀 運(yùn)動(dòng) 鏡頭運(yùn)動(dòng) 對(duì)象運(yùn)動(dòng)軌跡 參數(shù)運(yùn)動(dòng) 運(yùn)動(dòng)速度 位置 區(qū)域定位子 時(shí)空定位子 其它 人臉描述子     每個(gè)描述子都定義了標(biāo)準(zhǔn)和非標(biāo)準(zhǔn)兩個(gè)部分，標(biāo)準(zhǔn)部分定義了描述子的語法、語義及其二進(jìn)制的表示法。而操作部分是非標(biāo)準(zhǔn)的部分，許多低層的特征(如顏色直方圖等)都是可以自動(dòng)抽取的，推薦使用的特征抽取及匹配算法都包含在非標(biāo)準(zhǔn)的部分。 2.2.2描述方案     描述方案(DS)定義了各組成部分之間的結(jié)構(gòu)和語義關(guān)系，它由描述子(D)和描述方案(DS)組成，下面是在AV內(nèi)容描述方案中常用到的幾個(gè)概念： ● 語法結(jié)構(gòu)：AV內(nèi)容的物理和邏輯結(jié)構(gòu)，如時(shí)間片斷、空間區(qū)域的基礎(chǔ)結(jié)構(gòu)。
● 語義結(jié)構(gòu)：語義含義的細(xì)分，如時(shí)間事件、空間對(duì)象結(jié)構(gòu)。
● 語法語義鏈接：語法元素與語義元素間的結(jié)合。
一個(gè)頂層的AV描述方案往往是由多個(gè)描述方案組成：
● 一組語法結(jié)構(gòu)描述方案(Syntactic structure DS)：即片斷、區(qū)域、顏色、文本、運(yùn)動(dòng)等物理特征的描述。
● 一組語義結(jié)構(gòu)描述方案(Semantic structure DS)：即對(duì)象、人物或事件等語義特征，如"進(jìn)球"、"射門"、"廣告"等。
● 語法語義鏈接描述方案(Syntactic-semantic links DS)：即語法元素和語義元素之間的關(guān)系。
● 摘要描述方案(Summary DS)：用于不同粒度間的瀏覽。
● 媒體信息描述方案(MetaInfo DS)：有關(guān)作者、出版者等信息的描述，包括內(nèi)容描述方案、信用描述方案、創(chuàng)作目的描述方案、版權(quán)描述方案、出版描述方案等。
● 介質(zhì)信息描述方案(MediaInfo DS)：有關(guān)存儲(chǔ)介質(zhì)的描述，如文件格式、存儲(chǔ)介質(zhì)、壓縮格式、長度等。
● 模式描述方案(Model DS)：提供AV數(shù)據(jù)的分類方法的描述或當(dāng)前AV內(nèi)容和其它內(nèi)容間的通信的不同方法。 圖2是一個(gè)AV描述方案的結(jié)構(gòu)描述： 2.2.3 DDL語言     DDL語言可以創(chuàng)建新的描述方案和描述子，也可以擴(kuò)展或修改現(xiàn)有的描述方案。MPEG-7的DDL語言以XML語言為基礎(chǔ)，但由于XML并不是專門用來作為AV內(nèi)容描述語言來設(shè)計(jì)的，因此MPEG-7在XML的基礎(chǔ)上作了進(jìn)一步的擴(kuò)展。MPEG-7的DDL語言主要包括以下幾個(gè)部分： ● XML語言的結(jié)構(gòu)部分
● XML語言的數(shù)據(jù)類型部分
● MPEG-7的擴(kuò)展部分 DDL語言、描述方案、描述子之間的關(guān)系見圖3。 3、 基于MPEG-7的媒體資產(chǎn)檢索     檢索是媒體資產(chǎn)管理系統(tǒng)中的重要環(huán)節(jié)，沒有效的檢索機(jī)制媒體資產(chǎn)管理也就沒有意義了�；�于MPEG-7建立起來的媒體資產(chǎn)管理系統(tǒng)不僅可以包含傳統(tǒng)的視音頻信息，還可將其它多媒體信息(如做宣傳片時(shí)所建的3D模型等)納入其中，并且可超越存儲(chǔ)方式(無論是在線、近線還是離線)建立檢索機(jī)制。 3.1基于MPEG-7的媒體資產(chǎn)管理系統(tǒng)的結(jié)構(gòu)     雖然 MPEG-7描述不依賴于資料的編碼表示，但是在某種程度上，該標(biāo)準(zhǔn)建立在MPEG-4之上，在MPEG-4中定義的表示方式也非常適合MPEG-7描述的建立。MPEG-4提供對(duì)視聽資料以對(duì)象方式編碼的方法，這些對(duì)象具有一定的時(shí)間(同步)和空間(空間位置和三維感受)關(guān)系。利用MPEG-4編碼，將有可能把描述附加到場景中的元素(VOP)上。因此在媒體資產(chǎn)管理系統(tǒng)中，可將輸入的視頻編碼成高、低兩種碼率的碼流，高碼率的可采用MPEG-2編碼，用于編輯、下載、播出等；低碼率的可采用MPEG-4編碼，檢索、瀏覽以及網(wǎng)絡(luò)上的傳輸。MPEG-7描述建立在MPEG-4編碼之上，MPEG-4編碼與MPEG-2編碼之間用EDL表鏈接。系統(tǒng)結(jié)構(gòu)見圖4。 3.2特征自動(dòng)抽取     一部視頻節(jié)目由一系列場景組成，而場景由鏡頭組成，鏡頭又由幀組成。利用鏡頭邊界檢測算法可將視頻序列分解成鏡頭，如最常用的顏色直方圖法，計(jì)算每兩幀之間的顏色直方圖的分布差，當(dāng)其超過某一閾值時(shí)，就可認(rèn)為這兩幀是兩個(gè)鏡頭的邊界。將場景被分成鏡頭后，就可利用自動(dòng)關(guān)鍵幀抽取算法抽取一個(gè)或多個(gè)關(guān)鍵幀作為鏡頭的代表，供用戶瀏覽。關(guān)鍵幀抽取時(shí)，可先將第一幀作為鏡頭的第一個(gè)關(guān)鍵幀，然后將此關(guān)鍵幀與以后的每一幀作比較，當(dāng)差值超過某一閾值時(shí)，可將這一幀作為新的關(guān)鍵幀，以此類推，直到鏡頭結(jié)束。     鏡頭分解和關(guān)鍵幀抽取完成后就可對(duì)其進(jìn)行靜態(tài)特征(形狀、顏色、紋理等)和運(yùn)動(dòng)特征進(jìn)行自動(dòng)抽取，并生成MPEG-7的標(biāo)準(zhǔn)描述，作為日后檢索的依據(jù)。 3.3人工編目     對(duì)高層的語義描述，是不可能自動(dòng)抽取的，需更多的依賴人機(jī)交互。因此專業(yè)的編目人員是建立高效的檢索機(jī)制所必不可少的。但是面對(duì)多種多樣的用戶需求，僅僅依靠幾個(gè)專業(yè)的編目人員是不可能的，一方面雖然已有了自動(dòng)抽取的大量特征，但詳細(xì)的語義說明仍然是一個(gè)海量的工作；另一方面，每一個(gè)人對(duì)AV素材的理解可能都不盡相同，既使是非常高水平的編目人員也不可能滿足所有用戶的需求。因此"學(xué)習(xí)能力"也就成為對(duì)媒體資產(chǎn)檢索系統(tǒng)的一種更高層的要求。     所謂的"學(xué)習(xí)能力"是指根據(jù)用戶的檢索過程生成新的描述信息的機(jī)制。例如，有一用戶鍵入"98世界杯上巴喬射失的點(diǎn)球"想檢索有關(guān)的AV素材時(shí)，可能以前沒有這樣的描述，所以無法找到。但用戶可能通過"98世界杯"、"點(diǎn)球"等一系列過程最終找到了有關(guān)素材，這時(shí)系統(tǒng)就可將"98世界杯上巴喬射失的點(diǎn)球"這一描述加到這一素材之上，當(dāng)再有用戶鍵入相同信息時(shí)，系統(tǒng)就可快速的找到有關(guān)素材。"學(xué)習(xí)能力"將編目、檢索兩個(gè)完全分立的近程結(jié)合起來，擴(kuò)大了編目能力，也提高了系統(tǒng)的效率，使得每一個(gè)用戶都成為系統(tǒng)的編目人員，大大地減輕了編目人員的工作壓力。     與"學(xué)習(xí)能力"相對(duì)就的是"遺忘能力"。如過每一次檢索都產(chǎn)生新的描述，系統(tǒng)就會(huì)不停地?cái)U(kuò)大，直至最終崩潰。我們先看一看人類的大腦，之所以人類能記意大量的信息是因?yàn)槲覀兺鼌s了更大量的無用信息。因此一個(gè)具有"學(xué)習(xí)能力"的系統(tǒng)必須具有"遺忘能力"，即能夠?qū)㈤L時(shí)間無人使用的描述從系統(tǒng)中刪除的能力。當(dāng)然，系統(tǒng)應(yīng)將描述分出級(jí)別，對(duì)于專業(yè)編目人員建立的系統(tǒng)描述應(yīng)設(shè)為最高級(jí)別，只有通過人工刪除，系統(tǒng)無法自動(dòng)刪除，而對(duì)于由用戶檢索建立起的描述則由系統(tǒng)根據(jù)使用頻率及當(dāng)前系統(tǒng)的負(fù)載情況采用有效的刪除策略。 3.4視頻檢索     基于MPEG-7的檢索機(jī)制支持文本檢索、圖像檢索、音頻檢索等多種檢索方式，允許用戶輸入一幅圖像或在鍵盤上鍵入一段音符來查找相關(guān)素材。但是在實(shí)際應(yīng)用中，由用戶直接輸入圖像是不太現(xiàn)實(shí)的，更多地是由用戶輸入對(duì)圖像的文本描述信息，這一點(diǎn)也進(jìn)一步說明僅有低層的視覺描述而缺少高層語義描述的系統(tǒng)是沒有實(shí)用價(jià)值的。根據(jù)用戶的輸入，系統(tǒng)采用相似匹配的算法檢索到所有相關(guān)的關(guān)鍵幀(編目時(shí)描述信息越詳細(xì)，查詢的結(jié)果也就可能越準(zhǔn)確)，用戶從所有關(guān)鍵幀中選擇可能是自己需要的部分，然后調(diào)入相關(guān)的低碼流的素材進(jìn)行濟(jì)覽，當(dāng)用戶確認(rèn)以后就可通過EDL表調(diào)用高碼流部分進(jìn)行下載輸出。 主要參考文獻(xiàn)：
1、 ISO/IEC JTC1/SC29/WG11 N4031. Overview of the MPEG-7 Standard (version 5.0). José M. Martínez
2、 D-Lib MagazineSeptember 1999. MPEG-7 Behind the Scenes. Jane Hunter
3、 http://www.cbttn.com.《MPEG-7及其在廣播電視中的應(yīng)用》. 張穎輝、陶然、王越、馬越
4、 北京郵電大學(xué)出版社.《MPEG-7標(biāo)準(zhǔn)及其應(yīng)用》.余兆明、李曉費(fèi)、陳來春、

【MPEG-7與媒體資產(chǎn)檢索】相關(guān)文章：

多級(jí)存儲(chǔ)技術(shù)在媒體資產(chǎn)管理系統(tǒng)中的應(yīng)用08-06

實(shí)習(xí)檢索報(bào)告08-16

談?wù)剬幭牡胤轿墨I(xiàn)檢索08-09

信息檢索心得體會(huì)08-20

文獻(xiàn)檢索心得體會(huì)12-06

文獻(xiàn)檢索課學(xué)習(xí)心得04-20

文獻(xiàn)信息檢索心得體會(huì)03-21

信息檢索課的心得體會(huì)04-01

信息檢索課心得體會(huì)04-17