一般图像处理、数据拷贝、编解码带来的延时，都是 ms 级别的，真正会产生比较大延时的地方，一个是互联网上的网络传输延时，另一个就是业务代码中的缓冲区了。

1 编码延时

很多人可能不知道 H.264 的解码器正常情况下会在显示之前缓存一定的视频帧，对于 QCIF 分辨率大小的视频（176 × 144）一般会缓存 16 帧，对于 720P 的视频则缓存 5 帧。对于第一帧的读取来说，这是一个很大的延迟。视频中 B 帧的解码依赖于前后的视频帧，会增加延迟。Codec 一般都会有低延迟优化的开关，对于 H.264 来说其效果尤其明显。

如果使用了 FFmpeg，降低「-probesize 」和「 -analyze duration」参数的值，这两个值用于视频帧信息监测和用于监测的时长，这两个值越大对编码延迟的影响越大。

网络传输延时

数据在网络上传输，从一个节点经过多级服务器转发到达另一个节点，是不可避免有物理延时的，下面这个表格给出了理论上数据在光纤中的网络传输的时间（实际场景中的延时往往比这个要大很多，因为涉及到带宽、网络抖动等干扰）：

业务代码中的缓冲区

业务代码中的缓冲区，主要是推流端的缓冲区和播放端的缓冲区，一个 30 fps 的视频流，缓冲区每滞留 30 帧，延时就会增大 1s，那么，它们是怎么产生缓冲数据的呢 ？

推流端的数据怎么积累起来的呢 ？

采集 -> 编码 -> 数据发送 -> 服务器

当网络产生抖动的时候，数据发送会因此减慢，产生一定的阻塞，从而导致这些数据会被积累在了推流端的发送缓冲区中。

播放端的数据怎么积累起来的呢 ？

服务器-> 数据接收 -> 解码 -> 渲染

当网络产生抖动的时候，服务器的数据无法及时地传输到播放端，而由于 TCP 协议的可靠性，所有的数据都会被服务端积累起来，在网络恢复良好的时候，会快速传输到播放端，这些数据会被动地积累在接收缓冲区中。

怎么消除业务缓冲区的累计延时呢 ？

推流端的发送缓冲区，可以在网络恢复良好的时候，快送发送出去，从而消除掉这个累计延时。

播放端的接收缓冲区，可以通过丢帧或者加速播放的方式快速消费掉缓冲区中的数据，从而消除累计延时。

协议延时

通常标准的直播协议有 RTMP，HLV，HLS 三种，一般 RTMP/HLV 协议的延时在 1～3s，HLS 协议的直播延时则会更大，注重延时的直播应用，大都会选择 RTMP/HLV 协议，这些协议均是基于 tcp 的协议，tcp 协议的多个特性导致其延时明显要高于基于 udp 的私有协议，主要有如下方面：

1、建立连接的三次握手

2、 ACK 机制

3、丢包重传

不过中小型企业一般推荐选择成熟的大厂直播服务，相较于企业自己开发更加便捷，性价比也是很高
魔创主推腾讯的云直播提供了标准直播、快直播、云导播台三种服务，分别针对大规模实时观看、超低延时直播、便捷云端导播的场景，配合腾讯云视立方·直播 SDK，可以节约成本及人工的费用，同时可以更快的投入运营