随着互联网的飞速发展，我们进入了一个信息爆炸的时代。图文、视频、聊天、直播等互动内容已经成为人们日常工作、生活不可或缺的部分。然而，在这些日益增长的内容中却充斥着各种不良言论、垃圾广告、涉黄等网络垃圾。这些流窜在互联网中的垃圾内容，不仅极大程度影响了用户体验，也让不少企业倍感困扰。
面对日益复杂的安全形势，企业该如何“祛污”，守护内容安全?在11月6日至7日举办的首届腾讯 Techo 开发者大会云安全技术与应用专场上，腾讯安全业务安全总监杨红围绕《新时代的内容风控实践与创新》，针对文本、图片、音频等载体的内容安全，从现状分析、算法选择、对抗过程及实践效果等方面着手，全景呈现了腾讯安全天御在守护内容安全上的实践经验。
色情AI识别模型，毫秒级识别不良音频
音频是现阶段网络上发展最快的信息载体。当下，游戏内语音交流已成常态，无论是手机游戏中的音频传输，还是通过语音及时通讯工具传输的音频内容，都是音频垃圾内容的灾区，但音频内容时间短、信道复杂，难以识别，成为内容安全监管中的难点。
在海量的音频识别中，“鉴黄”无疑挑战巨大。相较标准AV音频的识别，色情音频在内容、时长和信道维度都有其特点，比如存在静音、噪声干扰大，存在较大的背景音乐，而且时间较短，编码格式多样和采样率不统一等特点，这都为识别造成一定困难。针对这一问题，腾讯安全基于AI设计了一套色情音频识别流程，通过相应技术去掉静音内容，对音频进行分段识别，最后根据每个片段的得分和时长汇总得到整条语音内容的识别结果。针对音频样本搜集与标注的难点，腾讯安全天御大量综合网友举报，通过多类型、多标签标注，已实现音频鉴黄的准确率达到82%、召回率达到90%以上。
而针对网络谩骂，腾讯安全天御构建了高性能多语种语音关键词系统，通过特征提取、声学建模和解码等技术加持，可毫秒级识别不良音频。
线上打击+离线主动收集标注，恶意文本无处藏身
网络文本是网络中最大的信息载体，几乎所有互联网平台都面临文本安全问题。网络文本类垃圾消息通常含有特殊符号、变异字、多音字、形近字干扰，而传统的文本策略抗干扰能力弱，常常会导致误杀。
腾讯安全天御对此专门建立了一套垃圾文本识别模型——TextCNN文本分类算法，通过在线实时打击和离线主动收集标注让恶意文本无处藏身。在线模型训练中，补充了拼音和结构信息用于训练，对训练数据添同音字和拆字，提升抗干扰性。对于线上模型不能覆盖的新类型恶意垃圾，腾讯安全天御设计了离线样本主动收集流程，让学习算法主动提出要对哪些数据进行标注，增量训练分类模型进行实时打击。
在这套算法的支撑下，腾讯安全天御提升了至少50%以上的识别覆盖范围，准确率和召回率分别达到90%和80%以上。
多标签学习+细粒度识别，扫荡网图黑暗角落
图片是仅次于文本的第二大信息载体，其面临的识别挑战比文本更大，腾讯安全天御针对性地提出了多标签的图像识别算法，支持多标签输出、多种标签预测，这意味着在一定颗粒度下，给图片配上“身份证”以便识别。
腾讯安全天御丰富的数据积累是这套算法得以运行的关键。目前腾讯安全天御积累了各种涉黄图片数据500多万，每张图片有5个主要标签和10个细粒度标签。在标签识别中，不同的标签数量差距大、样本不平衡，各维度标签响应不同、统一阈值召回低的情况普遍存在，这也成为图片识别中的难点，腾讯安全天御采取标签级动态采样，使低频标签召回率提升15%;对维度标签问题，则使用验证集进行阈值搜索，设置多阈值。
与此同时，腾讯安全天御自研的logo元素识别算法，能够做到做到不同位置、尺度、分辨率、透视视角、遮挡干扰情况下具备良好的识别效果，准确率和召回率分别达到90%以上。
企业在接入腾讯安全天御内容风控的能力上非常便捷。腾讯安全天御不仅提供API接口，还可以协同腾讯云等产品接入企业的内容风控系统，帮助企业零开发、快速识别平台中可能存在的违规内容。
目前，腾讯安全天御的内容风控通过腾讯云和微信小程序已服务超过5万家开发者。行业渗透率达90%，审核效率提升20倍以上，业务健康程度达到99.89%，守护数万家客户的内容安全，保障业务健康开展，守卫互联网的清朗绿色。
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
