大发UU直播快三官方_大发UU直播快3

IP通信中音频编解码技术与抗丢包技术概要

时间:2020-01-05 18:46:35 出处:大发UU直播快三官方_大发UU直播快3

PLCPLC的意义在于当FEC和重传完后 还无法恢复的完后 ,通过信号防止的方法对丢失的数据进行补偿。

G722.2就说 AMR-WB+,是32khz语音编解码器,一同支持音乐编码,是AMR-WB的超宽带版本,否则完后 他前向兼容AMR系列的框架,内核选择了CELP编解内核,对音乐编码有先天的疑问

音视频的JitterBuffer,FEC,PLC,BWE。Jitterbuffer主就说 为了对抗网络抖动,对夹生悉Jitterbuffer的人,早期亲戚朋友经会听到两种理解,jitter为有哪些不拉大啊?另外jitterbuffer的设计也是要结合更多的输入不不 更好发挥作用。

Webrtc的缘来:WebRTC的前身是GIPS,在GIPS被Google收购完后 ,google选择将GIPS的源代码开源。否则我我随便说说全是完整篇 。非要说绝大次要完后 开源。

##1、Webrtc适用于有哪些条件

包装开发,满足1对1,P2P,Iphone 通信,对质量非要啥要求

二次开发,抽取webrtc的好的次要,当事人开发,否则工作量很大

##2、Webrtc的疑问

高级PLC算法,盲宽带传输效率扩展(BWE),就说 把8Khz拓展到16Khz。

2.4G路由和5G路由,2.4G路由覆盖面积广,否则2.4G频段很脏,容易干扰和丢包。5G路由相对好些,否则覆盖面积小。否则在公司内部人员,会有多个路由,越多另一其他人连另一一一六个路由。竞争严重,有时网络丢包会很高。否则两种路由器是有bug的,比如小米路由的梳状抖动模型。

以上每个点都能讲完后 写越多有内容,本文只做简单梳理、点到为止,完后 再做专题分析。

编解码器的选择和防止,视频包括是选择VP8、VP9,还是选择264、265,是用硬件还是用软件,有无涉及专利疑问。选择硬件会遇到有哪些疑问,选择软件会遇到有哪些疑问,为有哪些用硬件会遇到越多有参数非要配置的疑问。有无还要和硬件厂商配合。安卓碎片化意味着 的硬件支持疑问。高通的硬件支持有有哪些疑问,mtk的硬件支持有有哪些特点。硬件支持有无还要交专利费。

两种地区:拉丁美洲,印度,菲律宾,泰国,南非,中东

相同类型的基站不同的地点:北京联通推出流量包月下行最高400kbps的服务

Lastmile网络对抗,当事人做策略AVNM,前面描述了越多有种网络状况,要靠单一的方法是无法满足全面做好,还要冗杂的数据挖掘,分析,挂接再反馈网络策略参数调整才能不能完成。端的AV-D/C/P/-M算法,当事人要做AV的硬件机型配置,选择和改进。还要在安卓机型做多量的回声消除算法改进。

特点:被动抗丢包。

首先亲戚朋友定义下有哪些是丢包:没按时到的包就说 丢包。另一一一六个包应该在某个时间点到,但它晚到了,即使来了否则晚了,也叫丢包。完后 播放的这段时间完后 过去了,即使放了,体验就说 好。从整个网络上看,丢包一定有时限,否则,都通过反复重传方法,一定能送达另一一一六个包。

Read SolomonCode

我当事人,是非常推荐初级和中级算法工程师仔细阅读SILK编解码器,代码质量好(EE工程师中少见),否则用了越多有基础算法,越多有小技巧,甚至包括自动控制理论。对提升当事人的能力很有帮助。

1xN的单工通信特征(直播)

基于编解码模型的PLC方法

Inband FEC

相同基站相同地点不一同间:球赛,运动会,热点聚集区周边的基站

安卓的碎片化,和回声消除的固有特点使得WebRTC在移动端无法满足让所有机型都防止的很好。

亲戚朋友在公网做实时音视频服务,丢包对抗是少不了的。

此文较长,建议收藏起来看。

前面概述了基本网络模型和两种技术需求点,下面我针对本次重点做个分享:编解码器的选择和抗丢包技术。这两项技术对整个通信网络全是影响,在不同的网络条件下选择方法就说 同。但一般来说,正确的选择编解码器和对应的抗丢包技术对Lastmile和端到端的音频质量影响最大。VOIP通信很早全是了,在不同的时代,亲戚朋友选择了不同的编解码器实现对音频的传输,亲戚朋友通常会做下面的分类。

N的短延时方案,随时交互

ILBC和ISAC:ILBC编解码器是GIPS(WebRTC前身)第另一一一六个开源出来的编解码器。8khz,13.3kbps。窄带编解码器。他的特点是,抗丢包性好。信源编码的基础是去冗余,信道编码的基础是加冗余。去冗余的弊端就说 抗丢包差,越多有ILBC反其道行之,减少帧间冗余的压缩,增加每个帧独立性,使得当所处丢包的完后 ,丢包对抗效果好。ILBC在次要呼叫中心公司有广泛应用。ISAC是在GIPS被收购完后 伴随WebRTC开源的编解码器,他的特点是支持16khz,24khz,32khz。支持传输效率估计(这是越多有语音编解码器不具备的)。否则他全是基于CELP框架,使用了频域编码框架+格型编码+算数编码的框架。具有一定特殊性。ISAC继承了ILBC的抗丢包优点,否则缺点也相当突出,完后 用了频域编码器,高频语音编码效果不好,听起来有金属音,PESQ-WB MOS分低。

信源FEC

东亚:中,日本,韩国,台湾

预测法,插值法,快慢放(注意,快慢放有副作用,亲戚朋友不你要接受两种做法)

信道FEC

不同类型的基站:3G/4G,TD和WDCDMA就不一样。

分类:

分级的FEC

Server2Server这块也是另一一一六个专门的领域,这里只简单分个类。

Outband FEC

DigitalFountain Code

优点:灵活不占传输效率

同另一一一六个国家都非要多疑问,不同国家的疑问回更冗杂,在不同的国家要选择好的机房,实时选择实时监控。比如以下地方。以下地区,亲戚朋友端到端延时平均为157ms。

1)AAC系列与Opus

非要哪些好说的,音乐电台能不能选择Opus,主流的还是AAC,注意,建议立体声使用HE-AACv2,单声道选择HE-AACv1。而全是一般的AAC。HE-AACv1 = AAC + SBR,HE-AACv2 = HE-AACv1+ PS.

AAC的合理编解码质量是在双声道64kbps~128kbps(商用编解码器和标准参考代码是不一样质量的,请区分)。HE-AACv1的合理编解码器区间是双声道40kbps~64kbps。HE-AACv2的合理编解码器区间是双声道24kbps到48kbps。

1、Server经过基站到Device

Opus在2012年横空出世,按照官网的说法,opus比HEAAC好,并给了两种demo。但事实真的是就说 吗,Opus是由SILK+CELT混合的编码器,学术上的叫法叫做USAC,Unify Speech and Audio Coding。这点,EVS也是。意思是不区分音乐语音的编解码器。两种编解码器内有个一Music detector去判断当前帧是语音还是音乐,语音选择语言框架编码,音乐选择音乐框架编码(注意目前还非要统一框架,意味着 是框架一般是人体生理模拟,完后 人有另一一一六个声学器官,嘴和耳朵,越多有语音是针对声带,口腔,鼻腔见面,音乐是根据人耳朵特征的时间掩蔽,频域掩蔽,双耳暗示效益编码)。越多有,Opus适合电台两种音乐语音混合编码器。否则完后 Opus的音乐编码CELT的质量何必 突出,越多有Opus在双声道低传输效率(24kbps~32kbps左右)效果何必 突出。在网站上的demo缺少钢琴,爵士,摇滚的demo。更多是流行音乐和民谣。高频分量相对弱些。但完后 使用Opus有以下要注意事情,音频码率高些,何必 限制编码器的模式。另外高通宣称有OPUS专利,来自大神Ken VOS。

EVS 主就说 VoiceAge公司,Dolby公司,Fraunhofer,华为(北京苗磊兄弟,羡慕亲戚朋友)联合开发的USAC编码器(这顶端全是故事,和技术无关,你要不八卦了),低传输效率音乐编码器质量很好,源自dolby和Fraunhofer的HEAACv2技术。否则疑问是,目前非要高效的嵌入式系统可用的编码器,不支持双声道,专利费不便宜哦。主要计划用在未来的VoLTE中(华为又要收苹果4 苹果4 苹果4 钱了哦)。 

AVDM,AVPM,AVCM,AVNM

Server到达device这块还能不能分以下两种通路。

【本文作者】高泽华,11年音乐语音编解码学习经验。理解几十种音频编解码标准。先后在中磊电子、士兰微电子、虹软科技主导音频项目。任职YY期间负责语音音频技术工作。对音频算法在芯片设计、嵌入式系统、桌面软件。在互联网应用和专利分析方面有多年研发经验和积累。目前负责声网Agora.io的音频开发工作。

Speex:Speex是由Jean Marc Valin(也是CELT的主要科学科学发明 人)开发的编解码器,特点是免专利费,开源。支持宽带超宽带。缺点是两种编解码器完后 是为了避开专利,否则受限于越多有因素,编码质量何必 好。无论是窄传输效率带超宽带,对抗丢包,质量都很一般。否则这也是站在今天的深度看当时的技术,否则在当时不不 提供免专利费的全频带,低传输效率(16kbps左右)语音编解码器我我随便说说非要,能不能说,Speex填补了空白。否则Speex有另一一一六个显著特点是,Speex实际上全是另一一一六个编解码器,是另一一一六个音频防止集。包括AGC,AEC,ANS。能不能完整篇 的应用在另一一一六个VOIP通信系统中,否则他的AEC的自适应滤波次要做的相当不错,在PC能不能不能拿来使用。

在lastmile对抗上,webrtc的对抗过于死板,缺少对现网的监控与反馈,我随便说说在webrtc内部人员有多量的不错的算法,否则缺少有机适用,比如,两种参数还是针对有线网设计的参数。

MxMxN的单双工混合特征(交互直播)

能不能分为以下几种状况:

N的长延时方案,永不交互(9158实际在比较早的完后 就实现了两种技术)。

SILK:SILK面世时代比较晚,是以上编解码器中最晚开发另一一一六个编解码器。他的科学科学发明 人是Ken Vos,也是ILBC,ISAC的主要开发者。Ken VOS在选择离开GIPS完后 去了高通,为高通开发了另一一一六个宽带编解码器。否则到Skype为Skype开发SILK。Skpye有一段时间也是使用GIPS的方案,用ILBC和ISAC。顶端当事人开发Codec,朋友第另一一一六个当事人的Codec是VSOPC(好像,这里缺另一一一六个wiki的链接)。否则质量很差,用户抱怨。故请来了Vos开发SILK。Vos又在Skpye尝试新框架,Vos的SILK使用了预测加噪声整形的混合框架(第一使用同类框架的是Broadcom的BV16,BV32编解码器)。使用STP+LTP+STNS+LTNS两层后反馈嵌套(BV16和BV32是另一一一六个前馈+另一一一六个后馈,这里差图和wiki链接)。否则引入Delay Decision量化搜索方法,使得标量量化具有矢量量化的性能指标。能不能说SILK的质量是非常好的另一一一六个编解码器。(这里差另一一一六个表),无论主观还是客观。我随便说说他充分挖掘相关性,但完后 做到极致和非常完美,使得在丢包对抗上有一定帮助。否则他开发了RED辅助编码算法,提高他的抗丢包能力。

缺点:根据编解码器的类型,对抗能力有限对低压缩比的编解码器,能不能做到比较高的抗丢包效果。对高压缩比的编解码器,一般看丢包能力在5%以下。

G722系列包括G722,G722.1,G722.2。是针对WB,16khz和SWB 32khz的压缩算法。比较著名的是G722.1 也就说 Polycom的Siren Codec,他的特点语音编解码为数越多的频域编码框架,不仅对语音支持比较好,对音乐支持也还能不能。在Polycom的VOIP设备中通常支持该编解码器。

不分级的FEC

2、Server经过家用路由器到Device

WebRTC使用的是P2P的方法进行网络传输,并宣称保密性好。P2P在通信中Skype使用的比较早,另一其他人也没得网上分析过Skype全球有2另一一一六个节点。其余都用P2P传输。否则两种前提是当时Skype大次就说 基于PC+LAN/WIFI网络。适用于一对一通信,容易穿透,用户流量没限制,CPU稳定。而在Skype向手机普及,在无线网上提供VOIP服务的完后 ,增加了多量服务器路由。

缺点:占用别人流量,不适合在多人通信中,要求网络稳定。

优点:适用于demo。

AVDM是主要针对device的播放,录音录像端做防止的模块。不同的平台会有不同的驱动和录音录像需求,比如XP、Vista、win7、win8。亲戚朋友非要一概而论的统一选择dshow甚至是waveout来播放还是录音。在移动端、iOS、安卓,安卓两种全是java和opensles两种录音方法,否则还有一系列的配置参数。比如用有哪些样的参数能录立体声,关闭手机自带防止,录高音质声音,延时低等等。和device相关的还有就说 硬件能力:GPU、CPU的能力,对于视频而言,不同的CPU能支持为什么我么我样的视频编解码能力输出。

不同国家的基站:中国的WCDMA和印度的WCDMA和美国的WCDMA

传统物理信道传输中,无论是4002.11还是3g/4g标准,两种就含高物理层重传机制,在IP信道中,重传也是非常有效的方法。

优点:节省传输效率,按需重传。

约束条件,RTT时间短

架设服务器,监控,运维,客服。

AMR系列:作为8kbps~12kbps的语音编解码器,在一段时间内,质量是不错的,毕竟他是WCDMA和TDCDMA标准选择的语音编解码器。也通过3GPP标准开源。在有一段时间Yy语音和QTalk,微信语音留言都使用了AMR编解码器。否则他的疑问是,有专利费,固定比特率。抗丢包性能一般。

BWE:传输效率估计,用于估计网络的传输效率,以便实时调整。否则这里会有两种估计模型,基于RTT和基于丢包,怎样选择?

中美,中欧

G711主要用在移动通信基站和基站之间的包交换网络中,否则在两种提供VOIP服务的监控摄像背后使用。64kbps,8khz压缩。

AVPM在视频上指美颜、降噪。音频的一般前后来防止包括3A引擎、AEC、ANS、AGC、混音、加混响(音乐直播)、去混响(会议模式)。有无应该用GPU,有哪些状况下应该用GPU。用GPU是为了省电还是运算快?

MxM的全双工通信特征(交互): 小型会议。(这块要注意,在移动设备上首太难移动设备的尺寸疑问,展示方法和技术要求全是不同,比如多人会议能不能 有多种layout完后 ,一大N小,平均分屏)。

FEC有越多有种,主要特点是主动抗丢包,通过增加冗余数据实现抗丢包效果。缺点是浪费传输效率。一般的说,非要在丢包大于10%的完后 才使用FEC。FEC技术有以下分类方法。

1v1的双工通信特征(交互):最简单的一对一通信,要做好就说 容易。

在越多有完后 ,完后 运营商之间的结算和有限传输效率的疑问。运营商之间的网络不稳定。

插0法:所谓插0法也没得丢包的位置全添0.

同一运营商之间全是丢包,在铁通,鹏博士等运营商中尤甚。否则在晚高峰的完后 表现更加突出。

热门

热门标签