使用场景
Grammarly 使用该API来确保其AI通信辅助产品的安全性和公正性
ElevenLabs 利用该API扫描其音频AI产品生成的内容,防止并标记违反政策的输出
其他公司使用该API来构建更安全的产品,以保护用户免受有害内容的影响
产品特色
支持文本和图像输入的多模态有害内容分类
新增两个仅文本的有害内容类别:非法和包含暴力的非法
对非英语内容的检测更准确,支持40种语言
对低资源语言(如高棉语或斯瓦希里语)的检测性能提升70%
提供校准的分数,更准确地反映内容违反相关政策的可能性
免费提供给所有开发者使用,具有不同使用层级的速率限制
使用教程
访问OpenAI的Moderation API指南页面
注册并获取API密钥
阅读文档了解如何发送文本或图像内容进行审核
根据API文档编写代码,调用omni-moderation-latest模型
将内容发送到API并接收审核结果
分析返回的审核结果,包括类别和概率分数
根据审核结果采取相应的内容管理措施