音视频同步问题概述
音视频同步问题是可视对讲中的重点需要解决的问题之一,也是一直以来被模拟门禁产品厂商攻击的一个弱点,因为模拟可视对讲产品都采用专线传输,不存在这个问题。解决同步问题的方法有很多种,其中时间戳是最成熟最完美也是最复杂的解决办法,可以解决任何多媒体领域的音视频同步问题;其原理是选择一个参考时间,在生成数据流时依据参考时间上的时间给每个数据块都打上时间戳;在播放时,读取数据块上的时间戳,同时参考当前时钟上的时间来安排播放,让快于这个参考时间的包等待,丢弃慢于这个参考时间的包。 在基于时间戳的同步机制中,仅仅对不同步的数据进行处理是不完备的,还需要反馈机制,如基于Windows平台的DirectShow就提供这样一个反馈机制,它的质量控制(Quality Control)可以将播放的状态反馈给源,让源端加快或者放慢数据流的速度。
在多媒体文件采集,播放及对同步的要求都非常严格,如果从多媒体文件中分离出音视频数据的数据不同步,音视频的时间差则会越来越大,这是无法忍受的,所以在多媒体文件中,不但要求有同步机制,还要求有反馈机制。
数字可视对讲中的音视频同步方案
在数字可视对讲中,可以考虑的音视频同步方案有两种:一是发送端解决;二是接收端解决。
发送端解决方法比较简单,具体措施是在发送端先将一段时间内采集到音视频数据打包。比如采集到一帧视频图像,将这帧图像与采集这帧视频的时间内采集到的视频数据打成一个包,接收端接收到这个包之后解包分别播放就可以了。可视门铃发送端解决的控制方法比较简单,但是在高清要求清晰度比较高的情况下就不是很理想,清晰度高,意味着每个音视频包数据量就大,能保证同步,却难以保证连续。我们在同一个线程中按照先后顺序发送PCM音频和H.264视频,测试结果表明这种方法确实存在连续问题。
接收端解决方案绕不开的问题是时间戳,接收端根据接收到的音视频数据的时间戳安排播放。时间戳需要一个参考时间,而采集过程中视频的时间是不定的,数字摄像头采集图像的帧率是一个平均值,不宜用来做参考时间,所以只能用音频时间作为参考时间。
声卡编程和声卡驱动的时间机制
门禁可视对讲中音频是双向的。本文的门禁可视对讲方案中,音频的采用PCM(Pulse Code Modulation——脉码调制录音)采集,在网络中传送的也是原始数据,之所以没有对音频数据进行编码处理是基于以下原因:一是S3C6410没有提供对音频的硬编解码,如果使用软件实现编解码,在有限的系统资源条件下难以实现;二是音频数据量较小:采用8000采样率和量化位数为8位的电话语音标准,一秒的音频数据是8K字节,只相当于视频1帧数据的两倍,这对普遍拥有百兆网卡的局域网来说,数据量很小。实验的结果表明,这种简单的处理方式被证明是有效的。
Linux操作系统下音频接口有/dev/dsp,/dev/audio,/dev/Mixer三种。前两种的属性基本相同,DSP是数字信号处理器(Digital Signal Processor)的简称,是用于数字采样(sampling)和数字录音(recording)的设备文件,它对于Linux下的音频编程来讲非常重要。向该设备写数据即意味着激活声卡上的D/A转换器进行放音,而向该设备读数据则意味着激活声卡上的A/D转换器进行录音。目前许多声卡都提供有多个数字采样设备。/dev/audio属性与dsp类似,但更多的用于sun的工作站中,为兼容性考虑,应用中一般使用/dev/dsp作为音频接口。 mixer为混音器,也是声卡设备中相当重要的一部分,它的作用是将多个信号组合或者叠加到一起,但对应用程序来说,这些都无需考虑,但可以通过这个接口调节声卡播放时声音的大小等参数。
无论是Linux下还是Windows下,声卡的编程接口都是由声卡驱动提供的,而驱动都是会考虑到时间机制的,其表现形式就是当声卡驱动没有装好时,使用播放器播放多媒体文件时声音以极快的速度过去了,但是声卡驱动装好之后就很正常了,本文的可视对讲音视频同步解决方案即以此为基础。
分享到:
相关推荐
>微电子技术H无线技术和网络技术的发展为现代...传输中的处理F讨论了帧结构的设计F并在7I,J中实现了无线可视对讲门铃系统的帧同步F最后 对所做的样机系统进行了实地测试F性能稳定H可靠F语音清晰F具有很好的实用价值G
当物业部门需要通知停水、停电通知的时后,不必每家每户跑腿,只要在管理中心上发布一条小区短信……可视对讲不知不觉中改变我们的生活。 楼宇对讲系统作为一项必备的门禁系统,利用对讲识别访客,杜绝闲杂人员随便...
arm项目实战:别墅社区数字可视对讲系统解决方案
将Android手机操作系统用于嵌入式平台,提出一种基于Android平台的可视对讲系统设计方案。阐述了音视频编解码技术,并结合JNI、NDK技术、嵌入式软硬件平台对可视对讲方案进行实现。该系统可以用于楼宇对讲系统。
太川各类型室内机操作,外出防盗设置,主机设置权限
可视对讲 基于Android的可视对讲系统介绍
冠林可视对讲系统调试设置工具,梯口机配置,室内分机配置,人脸采集设备配置工具,小巧实用,无需安装,操作简单。
智能可视对讲系统图
分网络传输部分、音频输入、音频输出、视频输入、视频输出、音频视频压缩、音频波形显示、界面。共创建个线程,音频输入线程、音频输出线程(这两个有WINAPI隐式创建)、音频视频压缩传送线程和主线程。因为音频的...
数字可视对讲方案,产品配置介绍和实施方式说明
主要介绍可视对讲安居宝系统的结构和其组网的方式,对每个关键设备进行解说,告知其用途和功能。
立林可视对讲系统 社区智能化管理系统(2014-09-24)
根据我国住宅小区和高层楼宇多级化、多样化的特点与城市安全技防工作的要求,我公司在结合当今先进的电脑技术、视频技术、数码通讯技术及信息网络技术的最新发展而设计的智能化楼宇对讲保安管理系统。该系统以管理...
冠林科技,冠林可视对讲80系统安装调试手册,梯口机,室内分机安装调试,IP规划,维护,人脸采集设置,组网。
可视对讲系统结构图,针对住宅小区设计。主要在小区大门、楼宇通道门安装楼宇对讲(带门禁、巡更信息点功能),住户手持非接触式IC卡即可自由通过,外界人员不经授权无法进入,保安同时可把门口机作为巡更信息点进行...
系统技术要求,智能可视对讲、联网型,系统要求
基于ARM与Linux的全数字化可视对讲系统的设计与实现.pdf
可视对讲系统PPT课件.pptx
全数字可视对讲终端的设计与实现,李飞,仲元昌,全数字可视对讲系统正逐渐取代模拟可视对讲系统成为住宅小区的标准要求,其核心功能是语音和图像的采集和传输,为了降低系统成本