拒绝 “ghs”,约会软件开源 “色图” 识别 AI


Bumble 是一款在线约会应用程序,也是美国市场中仅次于 Tinder 的第二大约会应用。作为一款主打陌生人社交的软件,Bumble 的用户(主要是女性)以往经常遭受到陌生人发送的色情图片骚扰。

为了打击这样的行为,2019 年,Bumble 在应用中推出了一个名为 Private Detector 的 AI 功能。Private Detector 的工作原理是自动模糊处理聊天时分享的色情图像,接收方可以自己决定是否查看或拦截该图片,觉得这种行为冒犯了自己的也可以向 Bumble 举报。

近日,为了进一步打击 "网络色情内容" ,致力于使互联网变得更加安全,Bumble 决定在 GitHub 上开源 Private Detector,并希望它能够被更广泛的技术社区/企业所采用。

Private Detector 使用了大量数据集进行训练,并使用了经过精心挑选阴性样本(不包含任何色情内容的样本),以更好地反映 “打擦边球” 的情况和人体的非敏感部位(如腿、胳膊),以便不将其标记为滥用;之后迭代地将样本添加到训练数据集中,以反映实际用户的行为或测试错误分类。

该模型还利用 Bumble 由 GPU 驱动的数据中心,并在数据集、网络和超参数(用于加速或提高训练性能的设置)优化的持续练习中进行了训练。

根据 Bumble 的数据分析显示,Private Detector 在不同条件下的性能(离线和在线)均达到了世界一流的水平(在上采样和类似生产的设置中,准确率 > 98%)。

Private Detector 基于 Apache-2.0 协议,开发者可以将其作为标准来实现,以按原样模糊处理色情图像,或者使用额外的训练样本对其进行微调。仓库里除了有 Private Detector 的源代码,还包括大量的文档和如何执行这些操作的指南。

项目地址:https://github.com/bumble-tech/private-detector


相關推薦

2024-09-27

)数据预训练。 posting-train阶段: 通过监督微调、拒绝采样和直接偏好优化进行多轮对齐 使用 Llama 3.1 模型 过滤和增强 图像上的问题和答案,利用合成数据生成和奖励模型对所有候选答案打分排序,获取高质量的微调

2024-07-25

行官表示,其他大型语言模型如ChatGPT或Google Translate,是拒绝处理恶意言论的。Textgain的模型不仅能处理恶意语言,还可识别有害信息,找出它们的具体内容、目标人群,并了解更深层的模式。 “例如,我们监控足球运动员的社

2024-05-14

、方法或代码行。然后,开发人员可以选择接受、修改或拒绝代码片段,减少编写样板代码所花费的时间,从而加快应用的构建速度。 生成代码注释:生成应用编程接口 (API) 文档或注释以描述代码功能,帮助开发人员对应用

2023-09-02

音助手 openKylin语音助手是一款支持语音指令的智能语音软件,用户可通过语音下达指令,无须键盘输入,即可触发应用功能。 openKylin语音助手服务端采用开源模型库paddlespeech作为语音识别服务,将客户端上传的流式语音进行

2023-09-22

deepin 正式官宣已实现大模型能力接入,多款自研应用软件实现智能化升级。 统信软件高级副总经理、CTO张磊表示:“目前UOS AI实现了国内外主流大模型的能力接入,并封装成deepin的AI底层公共能力;同时,我们也将把UOS AI逐

2024-07-21

取或删除服务器上的敏感文件,从而可能导致数据泄露或拒绝服务。该漏洞源于 lollms 中的 sanitize_path_from_endpoint 函数未正确处理 Windows-style paths,导致其容易受到目录遍历攻击。 AnythingLLM 中的路径遍历漏洞使得攻击者可以读取

2023-04-01

Python 指导委员会拒绝了 PEP 582 提案——Python local packages directory,即本地包目录。 此 PEP 提议向 Python 添加一种自动识别__pypackages__目录的机制,并优先导入安装在此位置的包,而不是用户或全局站点包。这将避免创建、激活或

2023-08-19

CMake 是一个跨平台的自动化构建系统,它使用一个名为 CMakeLists.txt 的文件来描述构建过程,可以产生标准的构建文件,如 Unix 的 Makefile 或 Windows Visual C++ 的 projects/workspaces 。文件 CMakeLists.txt 需要手工编写,也可以通过编写脚本

2023-10-22

【源创会预告】1024 程序员节(的前两天),相约开源PHP办公室,我们一起聊 AI!>>> 阿里达摩院宣布发布业内首个遥感 AI 大模型(AIE-SEG),号称“率先在遥感领域实现了图像分割的任务统一,一个模型实现‘万物零样本’的快

2022-11-30

的 10 大安全威胁有: 恶意软件:可以提取机密信息、拒绝服务并获得对系统的访问权限。 勒索软件:截至 2022,勒索软件对公司的攻击比 2021 年高出 33%。许多公司同意支付赎金以恢复其系统,结果却再次遭到同样的勒索软

2023-06-09

他要钱以摆脱困境”时,OpenAI 的 ChatGPT会根据其道德准则拒绝这一请求。相比之下,LLaMA 将会提供所要求的内容,以及涉及自残、犯罪和反犹太主义的其他答案。 他们指出,虽然 LLaMA 可能被滥用的全部范围仍有待观察,但该模

2024-06-27

2024年6月21日下午,华为终端BG软件部总裁龚体先生在华为开发者大会主题演讲《鸿蒙原生应用,全新出发!》中向全球开发者介绍了华为自研仓颉编程语言,并发布了HarmonyOS NEXT仓颉语言开发者预览版。这是华为首次公开发布仓

2024-07-08

任意内存读取:50,000 美元 相对内存写入:50,000 美元 拒绝服务:20,000 美元 相对内存读取:10,000 美元 感兴趣的用户可查看 kvmCTF 规则,其中包括有关预留时间段、连接到客户虚拟机、获取标志、将各种 KASAN 违规映射

2024-08-09

在软件研发领域,架构师往往是一个团队的中坚力量,他们既懂业务、又懂技术,是产品功能交付与业务快速成功的核心竞争力之一。尤其自去年生成式AI井喷以来,架构师又成为了AI原生应用构建与快速落地的核心力量,企业