广播电视广告智能检索系统建设与实践 本文关键词：广播电视，实践，检索系统，智能，广告
广播电视广告智能检索系统建设与实践 本文简介：摘要：本文介绍了一种以递归比对环比算法为基础的综合性业务系统，该系统针对广播电视节目中播放的节目，提供广告发现、拆条、分类、分析、研判等服务。本文从系统需求分析、系统设计、功能模块、应用效果等方面进行了描述。关键词：递归比对；广播电视；广告；环比1引言国家新颁布的广告法于2015年9月1日起施行，新
广播电视广告智能检索系统建设与实践 本文内容：
摘要：本文介绍了一种以递归比对环比算法为基础的综合性业务系统，该系统针对广播电视节目中播放的节目，提供广告发现、拆条、分类、分析、研判等服务。本文从系统需求分析、系统设计、功能模块、应用效果等方面进行了描述。
关键词：递归比对；广播电视；广告；环比
1引言
国家新颁布的广告法于2015年9月1日起施行，新版广告法的重点是规范各个广播电视播出机构的广告播放行为，打击虚假、违法广告内容的播出。但如何落实新广告法，对广告进行有效的监管，是各广告监管部门需要面对的任务和难题。严格监督落实广告法在广播电视行业中执行，对涉及的新形态违规广告进行监管，是各级相关监管部门的职责和义务。各级监管部门若想根治广播电视中的广告播出乱象，既要依靠严谨的管理制度和政治措施，更要依靠科学、合理、先进的技术手段来完成。
2系统需求分析
湖北省广播电视广告发现分析研判系统是针对广播电视节目中播放的广告内容，提供广告发现、拆条、分析、研判的专业系统。本系统建设遵循实用、先进、经济、高效、可扩展的原则，通过采用专业的技术系统提供有效的行业管理手段，依托大数据比对的方法，分析研判系统数据处理结果，及时掌握广播电视播出机构广告内容播放规律和播出形式，对发现的有害和违规广告依法依规进行数据的取证上报工作。该系统需要具备以下功能。（1）系统具备结合有线网络及IPTV系统中提供的广播电视节目电子节目单和分析节目播出规律的功能，依托电子节目单，分离出正常节目与非栏目/节目等多种形态的广告播出时段、频度等。（2）系统能准确识别新广告节目，并自动制作成广告样本，将广告进行分类管理和存储。（3）系统能够对广告节目进行语音识别、视频关键图像摘要处理，提高审核人员业务效率，针对广告播放的时机和频率违规行为进行告警提示。（4）构建广播电视播出机构广告内容数据库，对违规内容进行分类汇总，为广播电视节目广告播出的事后核查监管工作提供详实、高效而准确的数据。（5）系统能与监管中心已有的省局综合监管业务处理系统、广播电视监测系统等业务系统进行数据对接，获取监测的各项业务数据，并对发现的相关广告数据进行分析与研判。（6）系统需具备依托省中心构建的私有云平台，支持省监管中心与17个地市分中心同时检索、查询与分析数据，并分别汇总相关数据的能力。
3系统设计
3.1总体架构广告智能检索系统通过硬件支持设备及专用网络支持环境从IPTV监管系统和广播电视监管系统获取原始视频流，通过递归比对、环比等算法对广告内容进行发现识别，包括广告监管、广告查询、频道监管、样本管理、数据报表、统计分析、业务配置、用户管理、权限管理、日志管理、系统监控等功能模块。通过广播电视广告监管系统门户提供统一的服务。系统业务逻辑架构如图1所示。3.2系统功能系统主要功能包括广告识别和采集、数据存储、广告审核标记、信息检索和统计、违规广告处理跟踪、数据展示和管理、系统流程设置和管理七大功能。（1）广告识别和采集通过对各监测站提供的数据源进行分析，从而实现对不同播出机构所投放的电视节目及广播节目进行广告自动识别与拆条，自动提取其播放的广告并汇总成广告条目供监管人员核查。广告识别手段分为重复检查识别、广告样本比对识别和人工识别三种。（2）数据存储对所采集到的广告视频文件进行存储管理。综合利用信息技术等新技术存储手段，针对广播电视行业特点，采用非机构化关系数据库和虚拟化文件存储系统，内容包括提取得到的核心元数据和原始视频文件备份。（3）广告审核标记系统初步识别出的广告内容，将通过人工审核判定是否为有效广告内容。对于有效的广告内容，将按照国家广告分类目录管理办法，核定其分类属性（公益广告、商业广告、医药广告、禁播广告等），系统可通过这些广告辅助信息来识别广告的违规播出行为。（4）信息检索和统计能够根据文本、音视频、关键词、元数据描述等进行综合检索，实现广播电视广告分析核查系统中各类信息的查询功能。通过对播出机构的广告播出时长、次数、分类等辅助数据进行挖掘，可为监管人员进行高效、分类齐全的统计和分析提供支持，并生成统计报表，为行业主管部门的管理决策提供必要的辅助支撑。（5）违规广告处理跟踪掌握各播出机构广告内容的播出情况，对其违规播放广告的行为进行告警，并持续跟踪核查整改情况。（6）数据展示和管理提供基于网页的交互式数据展示和内容管理功能。（7）系统流程设置和管理实现对系统业务处理流程的配置和管理，实时监控网络、软硬件等运行状态，在出现异常时进行多种形式的告警提示，保障系统的运行安全。
4基于递归比对环比算法重复检查的新广告发现技术
通过对IPTV监管系统和广播电视监管系统提供的EPG电子节目单进行分析，从而实现对不同播出机构所属的播出频道节目内容进行广告自动识别与拆条，按照系统配置策略分类识别广告内容。广告识别手段分为基于递归比对环比算法重复检查识别和样本比对识别两种，系统具备在针对所有系统中全部样本库和自定义样本库等多种限定条件下，进行广告识别的能力。广告识别主要分为人工样本识别和广告播出时段的识别，根据视频颜色的颜变特征值和普通特征值比对，识别已有广告，再根据广告重复出现的特点，发现疑似新广告。具体的流程是，针对当前广播电视节目中播出的新型广告片段，采用环形比对的算法，可及时检索到新型广告片段，经审核人员终审判断其是否为广告片段，进而对其进行切分广告样本操作。此新型识别过程主要分为四个环节：第一环节为现有广告样本识别，第二环节为识别节目栏目时段，第三环节为重复核查环形比对，第四环节为新广告片段发现。4.1广告样本识别该阶段主要是将系统中已有的广告样本统筹规划，构建广告样本库。视频图像的色彩指纹和纹理属性是反映视频及图像基本信息的典型特征。若只利用颜色特征值或纹理属性来作为样本匹配的唯一标准，误报率会很高。若将颜色特征值和纹理属性通过加权匹配的方式，统一作为电视节目内容的匹配规则，将极大提高系统的识别准确度，降低系统处理中的运算负荷。为此，我们归纳总结出一种有效的广告内容发现分析方法，具体步骤如下。（1）将每天的视频片段抽取视频特征并放入特征库将被分析的电视节目片段按内容镜头转场变化进行预处理，按照电视节目镜头切换时间点，依托视频内容画面切换识别技术，将每一镜头转场帧的图像抽取成关键帧图片,同时按照时间轴写入索引信息。（2）将制作的广告样本和视频特征库进行比对主要根据视频颜色特征值和普通特征值的比对，将被分析的电视节目片段的颜色特征值和纹理属性分析结果读入视频库中的特征库。（3）据匹配结果判定是否为广告在已建立的广告样本库中检索与被分析视频片段吻合度较高的关键帧与特征值。（4）分析已知样本（正向样本、反向样本）所在的时间位置若匹配上的播出内容和广告样本库中的广告样本片段时间长度存在误差，且误差值在系统预设的范围内（系统预设阀值为5分钟），就可以判断两个视频片段为匹配视频片段。（5）将所有的广告时段生成特征文件将生成的特征文件写入向量集，并构建哈希索引表。根据电视广告播出的实际情况，将会产生大量的视频片段文件，系统设计时针对这些片段也生成了大量的特征库，按照原有广告识别检索方法，并不能按照行业管理要求在第二天上班之前完成前一天待检内容的检索任务。为此，我们经过多次试验和数据分析，提出了基于高频度特征词构建哈希索引表的加速检索方法，具体内容如下。（1）建立特征库针对要被检索的视频片段，第一步建立与视频片段相对应的特征库。（2）构建空间索引根据视频片段特征库对特征数据所生成的文件区块化处理。通过建立视频片段特征库的文件集合，将数据库进行划分，在划分后的文件集合中通过对各个特征库进行相应的哈希算法运算，转换得到空间索引矢量的位置。（3）功能验证得到了文件的索引库之后，当搜索待检索的特征时，使用该特征值进行哈希算法验证，可在如下公式的约束下得到最相近的搜索结果：我们经过大量重复试验得出结论，即该方法具有较高的内容覆盖范围和精准度（内容覆盖范围在95%以上,精准度在90%以上），同时系统对计算资源的要求较小，一台4节点服务器能够处理8套电视节目及16套广播节目的数据，系统运营初期每天能够发现新增疑似广告100条左右。4.2识别节目栏目时段我们将广告样本库匹配上的广告按时间顺序排列，将节目栏目时段识别出来，把所述节目栏目时段按照固定时间值分割为各视频区块，并对其进行特征提取。4.3重复核查环形比对将所有的广告播出时间段抽取特征文件，把截取的视频内容区块按时间轴顺序排序，从第一条视频内容区块即开始特征值与关键帧内容的比对，将第一条内容区块与下一条视频内容区块进行比对。如果比对上，则记录时间位置信息，如果没有，则将第一条视频内容区块和第三个视频内容区块进行比对，直至最后一个视频内容区块。紧接着，再利用第二个视频内容区块和第三个视频内容区块进行比对，如果比对上，则记录时间位置信息，如果没有比对上，则用第二个视频内容区块和第四个视频内容区块进行匹配，直至最后一个片段，以此环形递归比对。具体流程如图2所示。4.4新广告片段发现利用已知的非广告样本库进行比对、排重及过滤，得到大量重复的节目内容片段，通过监听监看人员的人工审核，确定疑似目标是否为真实有效的广告内容。或者通过大量广告内容及样本库数据训练得到筛选工具集，对所述去除重复节目内容区块后的不匹配视频片段进行分类分析与研判，确定疑似目标是否为广告内容。
5广告切分与管理
系统使用人员可监控和管理后台自动进行的广告拆条进程，可指定优先处理某一频道或某一时段的电视节目，同时系统还提供了手动拆分广告条目的功能。对新获取的节目广告内容进行排除重复识别，例如一条广告可能存在30秒、15秒、10秒等多个版本的形态，为此我们在系统算法的设置中，既要考虑完全相同的状态，更需要重点考量播出形式上轻微改变、实际内容相同的情况。同时，结合广告特征库等综合规则识别出最短单条疑似广告，并自动切割为广告视频文件，记录其出现时间、时长、所属节目文件等信息，按照广电总局17号令的广告分类基础进行广告模版的分类、管理。广告片段识别流程如图3所示。
6省市县三级协同工作机制
目前，我省的广播电视广告监管系统总体架构由省中心广告监管平台和市州广告监管分平台组成，采用分布式部署模式，满足两级协同监管需求，选用计算、存储超融合架构的广告分平台系统服务器与高密度广告识别引擎服务器，提高了硬件资源利用率和可用性，节约了成本。图3广告片段识别流程图率和可用性，节约了成本。省中心广告监管平台包括省中心广告监管数据库、省台及市州广播电视频道数据采集、数据预处理、广告识别、样本制作、数据存储和违规广告数据处理等部分。市州广告监管分平台包括分平台广告监管数据库、县市广播电视节目采集、数据预处理、广告识别、样本制作、数据存储、违规数据上报等部分。系统总体实现了音视频广告分析、比对、聚类、取证储存等功能，通过统一的广告监管Web界面，实现中央控制、多级监管、协同配合的广告监管工作模式。由省中心广告监管、市州广告监管、县市广播电视数据上传三层架构组成。具体工作流程如图4所示。6.1省中心广告内容监管省中心广告监管负责省级播出机构的广播电视节目数据和市州播出机构广播电视节目数据的采集，对采集的数据资源进行分析处理。包括音视频分离引擎、数据指纹提取引擎、数据分析引擎、数据识别引擎、数据整合等引擎。负责省中心监管频道违规广告数据审核，并对各市州上报的违规广告进行处理。6.2市州广告内容监管市州广告监管负责区域内县市播出机构广播电视频道数据的采集，对采集的数据资源进行分析处理。包括音视频分离引擎、数据指纹提取引擎、数据分析引擎、数据识别引擎、数据整合等引擎，并对区域内违规广告进行上报。6.3县市广播电视数据负责将区域内指定广播电视频道图4省市县三级协同工作流程图数据上传至市州监管机房存储。7结语本系统针对湖北省域内所有的广播电视节目内容进行处理，系统具备预设同时并行处理8个广播电视通道的能力。同时具备从多个广播电视监管系统获取相关监测数据的能力，能够依托从第三方监管系统采集到的电子节目单等相关信息，自动发现广告节目内容，及时掌握广播电视播出机构所播出的广告内容和播出形式，及时发现违规广告和不良内容，并对其违规形态进行核查取证，上报给行业管理部门。依法规范各播出机构广播电视广告播放行为，提高行业监管能力，确保广播电视节目内容播放秩序的健康有效。
作者：李显辉 单位：湖北省新闻出版广电监管中心
广播电视广告智能检索系统建设与实践 来源：网络整理
免责声明：本文仅限学习分享，如产生版权问题，请联系我们及时删除。
