Bumble 是一款在线约会应用程序,也是美国市场中仅次于 Tinder 的第二大约会应用。作为一款主打陌生人社交的软件,Bumble 的用户(主要是女性)以往经常遭受到陌生人发送的色情图片骚扰。
为了打击这样的行为,2019 年,Bumble 在应用中推出了一个名为 Private Detector 的 AI 功能。Private Detector 的工作原理是自动模糊处理聊天时分享的色情图像,接收方可以自己决定是否查看或拦截该图片,觉得这种行为冒犯了自己的也可以向 Bumble 举报。
近日,为了进一步打击 "网络色情内容" ,致力于使互联网变得更加安全,Bumble 决定在 GitHub 上开源 Private Detector,并希望它能够被更广泛的技术社区/企业所采用。
Private Detector 使用了大量数据集进行训练,并使用了经过精心挑选阴性样本(不包含任何色情内容的样本),以更好地反映 “打擦边球” 的情况和人体的非敏感部位(如腿、胳膊),以便不将其标记为滥用;之后迭代地将样本添加到训练数据集中,以反映实际用户的行为或测试错误分类。
该模型还利用 Bumble 由 GPU 驱动的数据中心,并在数据集、网络和超参数(用于加速或提高训练性能的设置)优化的持续练习中进行了训练。
根据 Bumble 的数据分析显示,Private Detector 在不同条件下的性能(离线和在线)均达到了世界一流的水平(在上采样和类似生产的设置中,准确率 > 98%)。
Private Detector 基于 Apache-2.0 协议,开发者可以将其作为标准来实现,以按原样模糊处理色情图像,或者使用额外的训练样本对其进行微调。仓库里除了有 Private Detector 的源代码,还包括大量的文档和如何执行这些操作的指南。
项目地址:https://github.com/bumble-tech/private-detector