虎牙直播平台的运营成本分析（融合用户行为及内容信息的虎牙直播风控引擎）

导读：虎牙公司一直践行“技术驱动内容”，在直播游戏化与虚实融合技术上持续创新，同时结合虎牙风控技术为优质内容生产保驾护航。本文将分享虎牙直播融合用户行为以及内容信息的直播风控引擎，涉及的风控业务有营销活动作弊、内容违规风险，以及一些刷量刷榜、渠道流量作弊行为等。主要包括以下几大方面：

• 直播风控引擎背景介绍
• 虎牙直播的内容信息风控
• 虎牙直播融合用户行为和内容信息风控

---

01

虎牙直播风控引擎背景介绍

在直播间里面的引流弹幕文本（如让用户加昵称里的QQ号、进入昵称中某个色情网站、拆分网址发送避开我们的文本检测、发送擦边信息后再通过私信联系某些用户等），在主播连麦场景下，黑产通过刷一些跟直播内容无关的违规内容，实际上是要让用户去添加他们的账号，然后实现一些色情信息的传播，或者进行一些线下的违法违规行为。

1. 黑产常见的攻击手段

• 账号

这些黑产背后，是通过一些虚拟账号，通过从卡商号商那里得到的一些账号信息进行解码，避开我们的验证，然后再进行上文说的发送弹幕，或者通过修改一些违规昵称进行导流。

• 设备

黑产为了实现批量发送弹幕，还可能会通过一些设备农场或者通过协议进行一些脚本的挂载，然后批量地进行弹幕发送。

• IP

黑产通过IP的手段可以避开我们的IP监测，例如通过VPN把他们的长征地分散开来，那样在明面上就体现不出他们的IP是聚集的。

• 欺诈工具

黑产还会通过避开人机挑战的打码工具，或者按键精灵（即自动化脚本）批量发送弹幕，通过导流或者一些流量渠道变现之后，获取一定的现实收益。

2. 黑产对抗：目标和挑战

• 主动检测预防新型攻击

在做黑产对抗的时候，我们应该主动检测到黑产的一些新型的攻击手段，像上文提到的通过违规昵称导流。为了应对不断出现的攻击手段，我们要在日常的业务中不断吸取经验，或者通过有监督无监督的方法去得到一些信息，再去人工提炼。

• 精确识别，减少误报

我们的目标是为了打击黑产，但如果在打击黑产的同时对正常用户进行了封禁或者禁言，会影响他们的用户体验，所以我们要对黑产对抗的目标，实现精准打击，并减少他们的感知。

• 能应对内容信息持续变换的对抗行为

内容信息上的对抗，其变化成本比设备信息或其它行为信息的成本低，可以不断去尝试，要持续监测它如何变换。

--

02

虎牙直播的内容信息风控

虎牙直播是一个技术驱动娱乐的弹幕式互动直播平台，最核心的交互手段就是弹幕，发送弹幕和主播或者其他用户进行交流，是传统流媒体视频网站所不能实现的。因此我们的风控工作需要大量投入在文本场景之中，以处理每天可能千万级别的弹幕交互。而且由于业务的特殊性，我们的实时弹幕是无法先审后发的，这也带来了很大挑战，特别是在赛事期间，最多可能有几百万人同时在线观看一些电竞赛事，这种情况下对于我们的挑战是更高的。

1. 为什么从内容信息入手？

• 企业属性：虎牙直播是一个弹幕交互的直播平台，而用户体验最直接的就是内容信息。
• 用户体验：当用户在弹幕交互中看到黑产发送了一些违规擦边或违禁违法行为的弹幕，就会影响用户体验。
• 平台合规和社会影响：虎牙直播平台是一个面向数亿用户的平台，如果平台里面涉及违规违法信息，影响面是很广的。

2. 内容信息风控算法

• 数据层：数据的来源是文本相关的，以及从OCR、ASR中解析出一些文本。
• 应用组件层：将文本根据场景，进行实体识别、文本分类或者聚类降维，实现更抽象的黑产识别及打击。
• 基础算法层：包括强规则算法、无监督算法、有监督算法。下文逐一介绍。

（1） 强规则算法

• 文本相似度

度量现在发布的弹幕或者昵称文本，和已经存储的几千万的黑产文本库的相似度，而Fast是为了建模它的深度信息，编辑距离可能是一些浅层的语义信息，结合之后，就可以结合深层浅层语义进行文本相似度的度量。

• 敏感词、敏感句式

利用以前黑产打击积累到的一些敏感词和敏感句式库，通过有序组合、无序组合去匹配敏感词。敏感句式中，还涉及到一些词性识别、实体识别，再实现敏感句式的匹配。

• 文本频次

针对的是一些用户在一段时间内，发出高频相同或相似内容的行为。首先，黑产不断去尝试，就可能会试出一些文本的组合，绕过打击手段，所以我们需要在文本频次上面实行监控。其次，如果一些用户高频的刷屏，也会影响到其他用户的观看体验。

（2）无监督算法

我们根据有一定的变化的文本，通过文本聚类找到文本团伙。在判断这个文本团伙是否足够明显时，我们还有一个业务经验，即分析有多少个和发送多少次，这样的簇才算是一个团伙，再进行筛选避免数据污染。识别到聚类文本后，人工审核，或者和已有的黑产文本库进行相似度匹配，再实现一些后续的打击手段。

（3）有监督算法

有监督算法是我们更为主要的一个打击手段。因为我们在每天的审核或者标注过程中累积了上千万的文本数据，根据场景或者业务可以分为下面这几个主要的算法模型：

• NER模型

识别一些社交账号弹幕文本，或者私信里面提及到的网址或社交信息。如果一个用户发送了一个色情网址，我们就通过实体识别的模型找出来，并将网址作为一个黑词敏感词进行后续的拦截，避免暴露网址的风险。

• FastText违规模型

在对抗性较强的广告场景，黑产可能会用一些特殊字符或者拆字手段，去规避防御，这时FastText的拟合能力可能有所不足，但如果仅仅是一些想去骂人的用户，或者一些非广告的违法违纪行为，采取的手段可能只是用谐音或者一些简单的同音字，那么我们就能使用FastText去识别，保证较高的预测效率。

• RoBERTa多模态广告模型

多模态涉及到的是拼音信息、拆字信息以及语义信息。拼音信息是同音字或者一些前后鼻音不一样但读音相似的字；拆字信息是偏旁部首的拆分，以及同样的字体结构；语义信息是文本的前后序列的语义信息。我们将多种模态进行结合之后，进行模型训练以及预测，它对于文本对抗行为的召回比普通的违规模型更强，但是需要利用GPU去加速计算，以应对线上的高并发场景。

• TextCNN轻量化广告模型

效率问题上，我们还提出了一个轻量化的广告模型，它的预测速度比fast稍慢，只用CPU就可以进行训练和预测。它的耗时也不是非常高，可应对高并发的场景。

• LSTM工会房管文本识别模型

降低模型污染上，我们还提出了一个工会房管文本识别模型。实际上，很多工会房管发送的内容同样是加微信或者加一些工会管理人的账号，他们的行为与部分黑产类似，但是他们会有一个很明显的特征，例如 “欢迎添加我们房管”或者“欢迎加入我们工会”这种比较明显的宣传信息。我们同样的可以用文本模型去实现这种文本，为它们打上一些弱标签，在模型识别到这些文本时通过弱标签过滤，从而避免文本模型的污染。

3. 内容对抗的针对性措施

为了实现预测阶段的随机掩模，我们就像右边这幅图上面提到的，对同样一个输入进行多次不同位置的掩模，每次只掩模一个token，然后进行多变体的投票预测，例如多次预测的结果里面有三次觉得是违规的，就有很高的置信度，可能是一个潜在的黑产广告的变体。而这种针对性措施可能会对精准率有一定影响，但是能够提高文本对抗行为的召回率，所以它是一个牺牲一定精准率而重视召回的方法，适用于发现更多的潜在违规弹幕提供给审核人员进行后续判断。

--

03

虎牙直播融合用户行为和内容信息风控

1. 为什么需要分析用户行为？

如上文提到，黑产修改文本的对抗成本相对于修改设备信息或IP信息来说是比较低的。黑产不仅通过内容导流，还会有通过刷量流、刷宝箱这种盈利手段去攻击我们的平台，实现多个场景的融合，实际上行为模式是更本质的。

2. 融合行为模式和内容信息

• 减少对标注样本的依赖

行为模式的标注要比内容信息的标注更复杂，标注一条文本是否违规，成本很低，但如果要判断一个用户的行为是否可疑，成本则相对较高。所以我们看看能不能先得到这部分可疑用户发送的文本信息，再通过用户行为分析，提供一个弱监督的标签。

• 能检测新型不断演变的攻击方式

新型的攻击可能更多的体现在内容信息上，行为模式相对来说变化是没有那么频繁的，所以我们通过行为上面的比较固化的信息可以反馈给我们内容信息的识别。

• 能快速识别黑产团伙，部署规则

快速识别黑产团伙，指的是通过一些聚类的无监督算法去得到黑产登录注册的一些信息，前置到发送弹幕以及一些违规内容之前，就可以进行一些规则部署，是一个快速识别以及打击的过程。

3. 行为模式风控算法概览

行为模式风控算法分为三层，分别是数据层、应用组件层和基础算法层。我们的重点在无监督手段，例如聚点、聚类，还有图模型，也尝试过有监督和无监督的组合。

4. 用户行为挖掘

• 用户数据

用户数据涉及到结构化和非结构化特征。结构化特征，是登录注册时的一些日期、设备、 IP地址、手机号、手机号归属地等；非结构化数据，就是图片、图像、音频以及文本，而我们最常用的还是文本信息。文本的计算相对图像和音频来说，耗时比较低，计算成本比较容易接受。

• 无监督学习

我们通过一些数据处理，输入到无监督学习，无监督学习就是我们刚刚提到的各种序列的算法得到一些团伙输出。团伙可能有不同的聚集等级，根据个体有多少、以及他们在特征聚集上的情况，划分他们的风险等级。

• 人工评估

最终确认这些团伙是否是真的可疑或者真的是黑产，我们还需要一定的人工评估，以及一些我们从业务经验提取到的规则，通过自动化规则引擎最终确认。有些有监督评分模型，也可以帮助我们进行黑产确认的过程。我们在确认了一个团伙的风险等级和团伙大小之后，可能会采取不同的策略进行拦截，或对账号进行封禁等等。

5. 用户风控评分

评分机制是一个更鲁棒的机制，我们在考虑一个用户是否可疑的时候，单单用它的文本，或者设备信息其实不够全面的。行为画像可以发现行为的集中性，如一些黑产会集中在某个时间段，手下的几百几千个号集中修改昵称。时间聚集性的设备画像可能是一些设备指纹上面的，或者用了一些脚本或群控软件、或者安卓版本过低等，这些设备信息都为我们评分提供参考。内容信息上，同样是把它应用到文本画像上，例如文本相似度以及文本模型的预测结果，还有一个用户发送的弹幕里面是否含有特殊字符，这些都可以帮助我们去确认评分。

上图是我们对一个用户命中的一些评分标签的明细。如果命中了一个文本模型，我们可以根据他命中的标签以及命中的概率去划分扣分级别。若是0分就是未命中，不对它进行扣分；若命中了一个block的标签，我们觉得它是一个可疑的的文本，确认是有问题的，就扣一定的分数；若命中了不同的概率，可能以一个相对来说比较平滑的分数来进行扣除。评分的确认过程实际上是我们用模型针对标签去进行预测，自动化确认分数。上线之前，我们会进行人工的把控，先用已有的黑白用户去拟合这些扣分的明细，对最近一段时间的一些用户，用这样的扣分比例去扣分，再看一下召回以及精度的情况，人工确定是否采纳这套评分的机制。

6. 更高的风控目标

• 减少人工干预

从最直观的内容信息的把控，到内容信息覆盖不全，需要用户行为去支撑，我们更高的目标，是不仅要打得准打得多，还要尽量减少人工干预。

• 流程自动化

不管是文本模型，还是各种聚类手法，以及聚类之后得到的一些团伙，我们要去再次确认，这个流程可以实现自动化，来减少人工对于整个风控引擎的干预。

• 形成数据沉淀壁垒

黑产风控的数据其实都是我们平台累积下来的一些关键数据，而这些数据通过不断迭代，会反馈给算法进行优化，以及提供给有关部门对黑产或犯罪团伙予以打击。

我们在优化文本模型或内容信息模型时，一定会有标注信息。要确认用户行为是否违规，标注成本或者监督成本是比较高的，用内容信息提供给用户行为信息，去进行弱监督或者半监督的信息传递。也就是说，只要发送过同样的文本，它在相近相似相邻的设备IP的一些相似的设备属性上面，就可以通过这些标签进行传播。从客服报账过来的污染信息，同样可以把它用在拦截优化以及团伙确认优化上面去，更多的正常用户反馈的流程是通过客服给风控进行反馈，反馈经验是很宝贵的，促使我们的模型不断的迭代，而不用额外引入一些人工标注的信息。

自动化规则是从我们得到的团伙里面挖掘他们一些共有的特征信息，例如一些客户端版本系统组合是有规律的，而这些规律是在某些黑产团伙上比较集中，我们在实践中发现可以去除一些冗余的特征。

例如，iOS版本只会出现在iPhone用户上，所以iPhone用户标签和用户iOS版本是相互替代的关系，所以我们在进行频繁集挖掘的时候，能够减少这些特征级的数量，提高我们自动化规则挖掘的效率以及它挖掘出来的规则的冗余程度。

我们可以通过一些人机挑战的方法去对一些高聚集的团伙里面的一些成员进行验证，而最终如果他没有通过人机挑战，可以把这些没有通过的情况传递到他整个团伙上面去，这些也是我们想要去实现的半监督模型。

我们的平台最直观的就是内容信息上面的把控，但内容信息上的把控不足以将全部或者大部分的黑产用户纳入，所以为了提高模型的精准率和召回率，也为了治本，我们更希望通过行为信息结合文本信息进行打击。在这个过程中，我们希望尽量减少人工干预，自动化的建立起这样一个迭代过程，从标注训练到部署这样的一个自动化过程，还有通过反馈自动化的报障信息，通过模型优化进行解决，最终实现一个少人工干预的自动化的风控引擎。这就是我们目前在用的以及继续在优化的风控解决方案。

今天的分享就到这里，谢谢大家。

---

分享嘉宾：龙嘉伟 虎牙直播 NLP算法工程师

编辑整理：陈跃虹 小红书

出品平台：DataFunTalk

---

01/分享嘉宾

龙嘉伟｜虎牙直播 NLP算法工程师

中山大学本硕，毕业后进去虎牙工作至今，一直负责虎牙风控业务以及文本安全相关算法优化。

---

02/报名看直播 免费领PPT

---

03/关于我们

DataFun：专注于大数据、人工智能技术应用的分享与交流。发起于2017年，在北京、上海、深圳、杭州等城市举办超过100 线下和100 线上沙龙、论坛及峰会，已邀请超过2000位专家和学者参与分享。其公众号 DataFunTalk 累计生产原创文章700 ，百万 阅读，14万 精准粉丝。

---

欢迎分享转发，转载请私信。

,