独家对话｜草料二维码的内容安全体系建设之路

注：微信珊瑚安全是腾讯官方内容安全沟通的小站点，深度思考互联网内容安全体系，科普安全知识，与行业共同探讨内容安全相关的方法论和经验，助力微信生态健康发展。

扫码乘车，扫码打开一个网页，扫码进入小区……二维码的触角已经伸向生活的各个领域，正在看到这篇推送的你，或许刚刚完成扫码支付，你是否尝试生成过一个自己的二维码？

今天小珊对话的小程序团队——草料二维码，致力于帮助用户生成和管理自己的二维码（内容支持文本、网址、图片等形式），其创始团队更是早在2011年就看到了二维码技术的大有可为。那么在草料二维码的发展过程中，他们是如何健全自己的内容安全体系的呢？

为万物构建履历的小程序平台

打开草料二维码官网，可以看到首页挂着这样一句介绍——人人都可免费使用的二维码生成及管理平台。草料二维码作为一款便捷的工具，为用户提供二维码生成、内容管理、数据存储、标签印刷排版、扫码记录管理，数据分析为一体的在线服务。

草料二维码的愿景是构建万物的履历，目前，他们已经有超过800多万的注册用户，数万家付费企业，其中包括中铁、中建、国家电网、宜家家居、中国石油等知名企业。

2017年，草料二维码看中微信几乎覆盖全国的用户量，于是在H5网页版之外，开发和上线了草料二维码微信小程序。如开发团队所说，“微信的小程序生态，可以更方便团队构建二维码访问、记录等相关能力的权限体系，小程序自带的插件和API，也能带来更好的用户体验。”

目前，草料二维码日活跃用户达170多万，2019年二维码扫描量2.4亿，位列全国工具类小程序排行榜前4位。目前累计生成几十亿二维码，覆盖贸易零售、建筑施工、生产制造、教育培训、生活服务等行业。

承载如此多的日活用户背后，是草料二维码一套成熟的技术框架：

前端采用小程序原生体系开发，在此基础上内部向上封装了一套开发框架，来提升开发效率和开发体验，如全局响应式数据流设计，跨页面的通信机制等。在后端架构上，后端服务进行了水平拆分，并完全容器化上云。使用了Kubernetes、云存储、云数据库、消息队列、负载均衡等技术。

在内容安全方面，草料二维码结合了云服务提供的机器审核与人工审核相结合。并总结和研发了一套违规内容特征识别、自动筛查处理，能够快速定位违规用户，保障平台内容安全。

内容安全体系的自我完善之路

随着越来越多用户的涌入，内容安全方面的压力自然越来越大。

早期，草料二维码安全团队主要靠人工逐条审核内容编辑日志来完成内容审核，工作量巨大，这就需要草料二维码团队投入更多的人力。

后来引入了基于内容访问量的审核体系，不再逐条审核，即一个内容到达对应访问量，才对其进行审核。但该方法也存在一定弊端，对于一些敏感内容，不一定能及时审出。

2018年秋，一个安全系统上的小bug以及一个违规内容引发的相关部门警告，让草料二维码团队惊出了一身冷汗。安全团队对此采取了快速响应和及时处理，并对相关问题和事件进行复盘，自此以后，草料二维码团队更加重视安全系统的测试和日常功能稳定性检查，同时审核系统也开始接入了敏感内容机器审核。

2019年初，有多个黑产团伙在活跃，当时的系统还无法对其进行有效打击。基于黑产团队一般都有明显的团队特征这一点，安全团队构建了一套特征风险模型，来分析黑产团队特征并且对对应特征的账号和内容进行定向拦截。草料安全团队也在加强与政府主管部门的沟通联络和合作，配合打击掉了数个黑产团队。

同时，技术负责人拉了一个由6人组成的小团队进行内容安全系统重构，花了三个月，形成了当前基于「用户信任体系+机器审核结合人工参与审核+特征风险模型」组合成的审核体系。至此，团队建立了一套较为完善的内容安全体系，沿用至今。

在机器审核这块，草料二维码的安全团队透露，随着草料二维码小程序用户增长得越来越快，后期机器审核正准备尝试接入珊瑚安全API，因为机审的准确率其实存在不稳定的现象，不同API之间识别准确率也有所区别，有些产品的误伤率高，对某些特定场景容易识别不出来，而珊瑚安全API是基于微信生态洗礼出来的产品，自然就非常符合小程序的内容安全需求。

“一个团队的精力毕竟有限，大部分情况下，都只能把将资源投入到最紧要的事情上。因此像珊瑚安全这样一套基于微信生态的内容安全API，实际上可以很大程度上减轻我们在成本上的压力。”草料二维码内容安全团队某成员说道。

内容安全专家避坑指南分享

经过多年的不断完善，草料二维码的安全体系日益强化，一次次的「实战」也让安全团队在内容安全防控方面积累了不少经验，草料二维码更是跟小珊分享了自己的一套避坑指南（敲黑板）。

WHERE：明确风险来自哪里； WHY: 根据业务判断恶意内容会怎么出现在你的产品中（分重点）； ORDER: 根据风险高低和你的业务制定对应的安全框架需求（分优先级）； HOW: 根据安全需求，进行安全系统开发和第三方服务采购（重要性/可行性）； STASBILITY: 确保后续所有新上功能，都能正确接入这套体系，不会出现内容失察的情况； CHECK：定期功能检查和内容巡查，确保系统稳定，没有其他漏洞bug被利用。

从这一套避坑指南我们不难看出，拥有海量用户的草料二维码团队非常重视内容安全，事实上，一切功能开发和用户运营都要安全意识先行。以上，希望对此刻看到文章的小程序开发者/运营者们有所启发~

文章转载自微信珊瑚安全：《独家对话｜草料二维码的内容安全体系建设之路》