|
 
- UID
- 864567
|
MPEG-7强调的是提供新的视听内容描述方案。因此，文本不是MPEG-7的描述目标，但视听内容可以包含或引用文本。因此，MPEG-7将考虑现有的其他标准组织开发的文本处理方案，并适当地支持这些标准。
四、 如何描述多媒体数据的内容
1.描述原则
在MPEG-7中，考虑了全面的描述原则。
(1) 多重和分层描述
由于描述特征在相应的应用中具有相应的含义，对于不同的用户领域和不同的应用，描述特征将是不同的。
这意味着相同的资料可以使用不同类型的特征进行描述，以适应具体的应用领域。这里涉及到多重描述和分层描述的问题。在描述上，MPEG-7 允许不同的颗粒度，提供不同的鉴别级别。
多重描述就是在多媒体数据生成处理的各阶段，支持对相同资料进行多重描述的能力，并可以把描述附加到相同资料的多份拷贝上。
分层描述基于多媒体资料的抽象级别。分层机制可以允许在不同的抽象级别上描述多媒体内容。抽象级别与特征抽取的方式有关，许多低级特征可以全自动地抽取，而高级特征则需要更多的人工交互。另外，还可以从不同的应用需求角度来描述媒体资料，例如从子对象的角度、运动分析的序列角度、视频的情节结构等角度描述多媒体内容。
描述模式支持不同描述子的分层表示，第N层描述是 N-1层描述的增强、精炼或补充，以便查询能有效地一层一层地处理，支持高效的查询。
(2) 关系描述
用描述模式来表达描述子之间的各种关系，允许描述子在多个描述模式中使用。
MPEG-7支持描述子与不同时间范围相关联，可以是层次型的，即描述子与整个数据和部分时间子集关联;或顺序型的，描述子与时间段顺序关联。
(3) 支持查询方面
支持音频、视觉或其他描述子在交叉模式下的查询，如允许基于视觉描述的查询去检索音频数据或相反的过程。
描述模式支持描述子的优先级，以便更有效地处理查询，同时优先级可以反映信任或可靠级。另外，还可以支持描述子作为句柄，直接引用数据，操纵多媒体资料。
2.多媒体特征类型
MPEG-7支持各种类型的多媒体特征，如:
N维时空特征 对于空间类型，从微观上看，是对象的纹理和形状，从宏观上看，是对象的空间关系和表现空间;时间类型，指对象随时间变化的轨迹，如音乐区段的持续时间等。
客观特征 反映视听数据本身具备的特性。如对象的颜色、形状、纹理、音频频率等。
主观特征 人对视听数据的主观感知。如对情绪(快乐、愤怒)和风格的描述。
产品特征 如记录作者、生产者、导演等信息。
合成信息 包括场景合成、编辑信息、用户的喜好等。
概念 用于描述事件和活动等概念。
在许多情况下，利用文本信息作为描述是可取的。但必须注意到，有用的描述尽可能独立于语言范畴，采用清楚的描述形式，如用作者、影片、地名的文本形式。
除了内容的描述，还需要包含其他类型有关多媒体数据的信息：
形式 如编码模式、数据大小。该信息帮助确定资料是否对用户是“可读”的。
存取资料的条件 可以包含版权、许可证和授权信息以及价格数据。
类别 可以包含父等级，用于归入预定的类。
到其他相关资料的链 支持其他信息与数据的关联。
上下文 资料记录的场合，如“1996年奥运会男子200 米障碍决赛” 中描述的时间和地点。
交互活动 支持交互活动工具，允许说明与描述相关的交互活动。如与广告相关的远程购物中的交互。
MPEG-7数据可以物理上与相关的AV资料在一起或在相同的数据流或在相同的存储系统中，但描述也可以放在全球的任何其他地方。当内容和它的描述不在一个地方时，需要链接AV资料和它们的MPEG-7描述的机制，这些链应该是双向的。
3. 视觉数据的描述
MPEG-7具体对视觉方面的描述子和描述模式有以下方面的要求：
(1) 特征类型
视觉描述允许以下特征(与查询中使用的信息类型有关)：颜色、视觉对象、纹理、轮廓(草图)、形状、静止和动态图像、体积、空间关系(相对于图像和图像序列中的对象空间和拓扑关系，这个关系是空间合成关系)、运动(如视频镜头中的运动，用于利用时间合成信息来检索等方面)、变形(如对象的弯曲)、视觉对象的源和它的特性(如源对象、源事件、源属性、事件、事件属性等)、模型(如MPEG-4 SNHC)。
(2) 利用描述进行数据可视化
MPEG-7数据描述应该容许被索引数据或多或少地粗略可视化。
(3) 可视数据的格式
支持以下可视数据格式：数字视频和电影(例如MPEG- 1/2/4)、模拟视频和电影、电子形式的静态图像(如JPEG)或纸上的图像、图形、3D模型以及与视频关联的编辑数据。
(4) 可视数据类型
可以是自然视频、静态图像、图形、动画、三维模型、编辑信息。
4.听觉数据的描述
同样，对音频数据的描述子和描述模式有以下要求：
(1) 特征类型
频率轮廓线、音频对象、音色、和声、频率特征、振幅包络、时间结构(包括节奏)、文本内容(语音或歌词)、声波近似值(通过哼唱一段旋律或发出一种声音效果来生成)、原型声音(典型的用于示例查询)、空间结构(用于多通道声源，如立体声、5.1通道等，每个声道有特定的映像)、声源和它的特性(例如源对象、源时间、源属性、事件、事件属性和典型的关联场景)、模型(如MPEG-4 SAOL)。
(2) 描述数据的听觉化
类似视觉数据的要求。
(3) 听觉数据格式
数字音频(如MPEG-1音频、CD)、模拟音频(如录音带介质)、MIDI(包括一般的MIDI和Karaoke格式)、基于模型的音频、产品数据。
(4) 听觉数据类
声音轨迹(自然音频场景)、音乐、原子声音效果(如掌声)、语音、符号音频表示(MIDI、SNHC音频)、混音信息(包括效果)。 |
|
