八百里流媒体服务器系统边缘集群

边缘集群用于分发直播流和点播流。对于直播流,边缘系统采用 内存缓存的模式(因为直播流的时效性强,数据过了时效就不会 再被观看),在无任何磁盘IO下快速缓存和分发直播流。对于点 播流,边缘系统将视频数据缓存到磁盘,并且按照最近未使用 (LRU)的机制进行淘汰。

[ 主要特性 ]

跨地域部署

多地域部署,将数据按需缓存在最靠近观众的节点,让观众以最快的响应速度观看视频内容;缓存数据,降低VMS负荷。

缓存数据,降低VMS负荷

除缓存视频数据外,边缘系统还对用户、视频的元数据进行缓存,将权限验证的操作在边缘系统中执行,降低VMS集群的负荷。

按需缓存,提供缓存性能

存储集群和直播集群中存储的内容大小远大于一个特定地域的边缘集群的存储空间,单一边缘集群不能也不必要缓存全部内容,而是按需地缓存观众需要观看的内容;视频内容按照一定的规则均匀缓存在边缘集群的各个边缘节点上;观众被调度到对应的边缘节点上观看,有利于集中资源访问提高系统的缓存性能。

按优先级排序,允许设置多个边缘上游

边缘集群的上游可以是另外一个边缘集群,也可以是数据源(存储集群和直播集群);边缘集群的上游可以有多个,按优先级排序,当某个上游集群出现故障或与某个上游集群通信链路出现问题时可以使用备份的上游;跨集群传输视频内容数据时只允许传输一份,以降低跨集群传输的成本。

主动缓存策略

按需缓存只缓存用户观看的视频数据;主动缓存则主动将指定的视频缓存到边缘集群,防止大量的未缓存视频被观看导致按需缓存机制触发大量的回源操作而堵塞集群之间的通信链路。

支持缓存清理

提供API清除特定视频或视频元数据的缓存。

支持多种协议

边缘集群和边缘集群之间支持:HTTPS协议、HTTP协议、RTMP协议、RTMFP协议;边缘集群和播放器之间支持:HTTP协议、RTMP协议、RTMFP协议。

[ 系统架构图 ]

[ 产品架构亮点 ]

边缘中心集群

1.对用户元数据、视频元数据进行缓存;
2.提供主动缓存和缓存清理接口;
3.根据用户元数据和视频元数据校验用户播放权限;
4.播放统计数据的汇聚点:由边缘节点产生的播放统计数据汇报到边缘中心,边缘中心汇总后再汇报到VMS集群;
5.管理并监控边缘节点集群,记录各个节点的状态(带宽、内存、CPU、磁盘IO、是否宕机);
6.按节点状态和视频路径调度用户到合适的边缘节点上播放。

边缘节点集群

1.按需缓存视频内容数据;
2.执行边缘中心请求的主动缓存;
3.执行边缘中心请求的缓存清理;
4.汇报播放统计数据,包含:视频播放次数增量、播放耗费流量增量、播放所使用的协议、播放客户端类型、播放连接数;
5.支持各种协议将视频内容传输到下游边缘集群或播放器:HTTP协议、RTMP协议、RTMFP协议。部署时,同一个边缘集群的边缘中心和边缘节点要求部署在同一个IDC中,边缘中心和边缘节点之间使用高速的内部交换机互联。如果一个地域观众较多,可在这个地域的不同IDC部署另外的边缘集群。一个边缘集群中的边缘节点数量取决于该IDC能分配给边缘集群的带宽和该地域的观众数量。

[ 边缘调度算法的优势 ]

边缘调度算法的优势
1 无需I/O读写只是简单快速的运算法则;
2 将一个物理节点虚化为哈希环上的4个点,在节点较少的情况下有效的均分负载;
3 将一个物理节点虚化为哈希环上的4个点,在节点较少的情况下有效的均分负载;
4 考虑了节点负载,当某个视频热度非常高时,自动分配到下一个节点;
5 具备了负载均衡和高可用性的特性;
6 当增加边缘节点或移除边缘节点时不会破坏全部缓存,只影响与变化节点在哈希环上相邻的边缘节点。分发协议包含HTTPS协议、HTTP协议、RTMP协议以及RTMFP协议分发协议。

[ 分发协议 ]

分发协议包含HTTPS协议、HTTP协议、RTMP协议以及RTMFP协议。

分发协议
HTTPS协议用于安全地传输敏感的控制信令和数据,分发系统使用双向认证的HTTPS协议传输 1.从VMS集群中调取的用户元数据、视频元数据;
2.VMS集群发出的主动缓存指令和缓存清理指令;
3.VMS集群发出的各种分发系统配置参数。
HTTP协议用于视频内容传输,该协议兼容性好,防火墙穿透性好,所有的浏览器以及CDN(内容分发网络)提供商都支持HTTP协议;在分发系统中HTTP协议主要用于RTMFP协议被限制或不支持的场合。
RTMP协议是Real Time Messaging Protocol(实时消息传输协议)的简称,该协议基于TCP,是一个协议族,包括RTMP基本协议及RTMPT、RTMPS、RTMPE等多 种变种。RTMP是一种被设计用来进行实时数据通信的网络协议,主要用于在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。在分 发系统中,RTMP协议主要用于传输实时性要求高的视频内容;虽然它也可以传输非实时内容,但非实时内容可用兼容性更好的HTTP协议替代。
RTMFP是Adobe公司开发的一套新的通信协议,全称Real Time Media Flow Protocol;该协议可以让使用Adobe Flash Player的终端用户之间进行直接通信。RTMFP 协议类似RTMP,但是基于UDP,没有TCP的大延迟和丢包敏感等缺陷,更适合用于传输实时内容。在分发系统中,如果对方支持RTMFP则优先使用。RTMFP在传输 实时内容和非实时内容都比基于TCP的HTTP协议和RTMP协议更好,在丢包率高的场合能得到更高的传输速率。
边缘数据缓存方式
内存缓存 时效性短的适用内存缓存,包括直播分片、直播索引、时移索引、实时视频流。
硬盘缓存 时效性长的数据适用磁盘缓存,包括时移分片、点播分片、点播索引。
主动缓存 主动缓存是指预先将指定的视频内容分发到特定的边缘集群上,观众观看时无需再向上游索取。
按需缓存 按需缓存是指当播放器需要加载指定的视频分块时,在边缘节点上,如果视频分块尚未被缓存则立即向上游发起数据请求,在响应给下游(播放器) 的同时对视频分块进行缓存。