摘要：EPG是互联网电视用户使用的门户入口，EPG服务质量直接影响到全局用户体验感知。然而由于通用自动拨测或者人工拨测存在的技术缺陷，运维人员无法准确全面的确定用户的EPG体验效果，无法定位用户和平台交互过程中体验的关键因素，因此本文基于互联网电视的EPG自动爬测技术，通过大数据分析技术的运用，提出了一种对EPG整体服务质量的自动评估方案。
关键词：EPG自动爬测与采集；大数据分析；用户体验感知
0引言
EPG(ElectricProgramGuide电子电视节目指南)用户利用EPG提供的菜单界面，可以选择自己喜欢的直播频道、点播自己喜欢的视频节目，查找互联网电视提供的各种信息，包括生活信息、娱乐信息、教育信息、体育信息等。EPG是互联网电视用户使用的门户入口，EPG服务质量直接影响到全局用户体验感知。然而由于自动模拟拨测或者人工拨测存在的技术缺陷，只能测试一级、二级菜单中部分业务内容[1]，或者测试效率比较低，不能快速发现问题，运维人员无法准确全面的确定用户的EPG体验效果。为了提升互联网电视业务的服务品质，首先必须提升EPG整体服务质量，EPG质量监测方案需要针对EPG可用性、内容完整性、业务质量和变更情况进行全面、及时的评估。
1互联网电视EPG存在的问题分析
互联网电视业务一般有一家主牌照方提供EPG服务，但是有若干内容CP将丰富的点播节目注入到CDN后，再在主牌照方的EPG上进行节目菜单上线。这种多家内容CP之间的交互、内容CP与CDN之间的交互增加了业务出现问题的概率。通过对运维过程中的问题归类及潜在风险点的识别，EPG整体服务质量可能存在以下几大类问题：（1）失败、错误类问题：鉴权失败、播放失败、资源访问错误、入口请求错误、更新集数错误、节目总集数错误；（2）缺失类问题：频道节目缺失、节目分集缺失、节目信息缺失；（3）超时类问题：资源请求超时、入口请求超时、节目单更新延迟；（4）其他：节目分集异常、节目分集重复。
2EPG整体服务质量监测思路及方案
2.1互联网电视EPG页面爬虫及拨测系统技术原理
系统采用分布式设计架构，由红外模拟探针 EPG爬测探针构成。红外模拟探针主要根据红外脚本模拟用户行为，对token进行采集并上报给EPG爬测探针，并对节目信息及播放质量进行监测，分析。上报视频播放质量情况。EPG爬测探针获取到机顶盒token后模拟机顶盒进行登录，获取机顶盒各个界面入口URL。机顶盒和EPG服务器交互过程中，通过Get动作对所有的信息进行收集，抓取所有的交互信息。通过对EPG服务器的连接时间、响应时间、主机IP等进行分析，可以评估EPG服务器的质量；通过对爬取的URL进行拨测，通过分析连接时间、响应时间、下载速率评估CDN服务器提供的节目质量；通过对爬测周期、白名单进行比对，发现EPG元素的变更内容，摘录关键信息，发出变更提示、告警。
2.2实现方法
互联网电视EPG页面爬虫及拨测方案，主要是通过红外探针模拟操作机顶盒，获取无法解密的token信息等。EPG爬测探针通过获取到的token信息模拟机顶盒进行登录访问，获取和EPG服务器的交互信息。在整个交互过程中对数据进行抓包分析，发现EPG元素的变更及缺失内容进行提示、告警。在交互过程中对请求及应答信息的连接、响应时间进行计算测量出对应步骤的消耗时延和相关指标，展示网络消耗和相关性能，通过后续处理进行过程展示和视频分析。
3EPG整体服务质量监测功能分析
3.1EPG信息完整性分析
通过EPG爬虫探针全量偏历EPG各个页面，抓取EPG关键键信息，包括主页导航列表信息、栏目信息、节目列表信息、节目信息等。（1）首页信息：页面导航（HOME上的底部导航，或者顶部导航按钮）、窗口块IP，请求类型、URL等。（2）直播列表：直播入口、目的IP、目的URL、UUID、频道名称、频道LOGOURL、播放URL等。（3）回看节目单：直播节目单入口、UUID、频道名称、节目ID、节目名称、开始时间、结束时间、播放类型（直播、回放）、节目URL等。（4）栏目信息：点播节目入口、栏目ID、栏目名称、操作类型等。（5）节目集信息：栏目入口、栏目ID、栏目名称、节目集ID、节目集名称、横海报URL、竖海报URL等。（6）节目信息：节目名称、导演、演员、语言、节目简介、清晰度、CP编码、资源厂家、节目分集总数、节目评分、节目id、媒体id、节目分集编号、视频集id、竖版海报URL、横版海报URL、节目视频URL、收费标识等。通过信息设置识别规则，判断信息的缺失问题，输出缺失详单，支撑牌照方进行EPG优化。
3.2EPG可用性与访问质量分析
对EPG爬虫探针获取的内容资源与各入口进行分层级拨测，分析EPG入口和内容的访问时延、返回码等。从海量内容资源中，捞取不可用和质差内容资源列表，递送到牌照方、平台厂家进行处理。可基于访问EPG服务器IP地址，进行EPG节点级服务质量评估。可进行节目媒资资源分布评估和引入分析。
3.3EPG上线测试及资源分析
重大内容编排，新的内容引入、热点节目的上线等均需要进行EPG内容编排。每一次的界面编排均会对EPG界面及内容进行调整。为了保障节目的正常上线，这些均需要进行提前验证测试。而每一个界面每一个节目进行验证测试会花费大量的人力资源。通过EPG爬虫探针对编排界面及上线节目自动进行爬测，则大量节省人力成本，并正确输出EPG界面各个入口的可用性、上线节目的播放成功率，避免节目上线后无法正常播放，影响用户体验感知。EPG资源分析，现在互联网电视内容成千上万，对进行日、周、月上下线的节目量分析时则存在相当大的难度，对于人工来说基本不可能完成，人工无法精确做到对日、周、月上下线节目准确统计。EPG爬测探针则会将每日的爬测内容与基础媒资库进行比对，做到各个分类、各个栏目的上下线节目统计。并且会对各个节目的访问质量进行深入分析，方便于对EPG资源的分析统计。
3.4EPG变更分析
EPG为互联网电视的统一门户，覆盖全量用户，容易被攻击利用，EPG的安全管理尤为重要。EPG爬虫系统可以对爬测周期结果进行比对，发现元素的变更内容，摘录关键信息，发出变更告警。EPG变更规则：EPG爬虫进行周期性爬测并对爬测内容进行入库并摘录关键信息，建立合法白名单体系。对每一周期的爬测结果进行比对，发现变更事件时则抓取摘录变更信息与白名单体系进行合法比对分析，通过合法变更标记，实现自动化违法变更告警输出，发出变更告警。以实现EPG被篡改保护。
4EPG爬虫整体质量评估
通过对数据库中爬虫资源的分析，可以统计分析质差节目的质量情况，根据质量指标详细分析具体原因，解决节目播放质量差难题，做到优先于用户投诉前，提前预警，尽早优化处理。如图2，根据统计《木兰妈妈第一集剧情剧照xxx》可以看出从何该节目仅为55.95分，分析具体原因可以看出该节目下载速率仅为1.07KB/s,排查服务器和网络因素后发现这个节目未能正常注入，但是海报上已经做了展示，联系牌照方将将海报撤回，重新注入后上线展示。
5结束语
借助5G，互联网电视将迎来进一步的发展。用户除了节目内容多样性的要求外，在视听方面对节目清晰度包括高清、4K、VR等有着非常高的体验要求。同时也对各种应用市场的应用体验提出更高要求例如：音乐、体育、教育、娱乐等。这些高体验的要求对于EPG业务的融合性、界面的快速访问等也提出了挑战。如何快速检测EPG可用性、内容完整性、服务质量和内容变更需要建立通过EPG爬虫，采集KPI和KQI数据，构建面向节目列表、播放质量、服务器指向3个环节、多项指标的质量评估体系来判断EPG质量，为EPG整体业务服务质量提升提供指导。
参考文献
[1]李正茂.基于爬虫技术的EPG自动拨测系统[J].福建电脑,第35卷第四期,2019年4月.
作者：赖材栋 谢崇斌 张小强 杨念 刘杰 单位：中国移动通信集团陕西有限公司 飞思达技术（北京）有限公司
