Omni Moderation Latest

使用场景Grammarly 使用该API来确保其AI通信辅助产品的安全性和公正性ElevenLabs 利用该API扫描其音频AI产品生成的内容,防止并标记违反政...

  • Omni Moderation Latest

    类别:AI内容检测,AI模型,内容审核,多模态,AI,GPT-4o,安全,普通产品
    官网:https://openai.com/index/upgrading-the-moderation-api-with-our-new-multimodal-moderation-model/ 更新时间:2025-08-01 19:14:32
  • 使用场景

    Grammarly 使用该API来确保其AI通信辅助产品的安全性和公正性

    ElevenLabs 利用该API扫描其音频AI产品生成的内容,防止并标记违反政策的输出

    其他公司使用该API来构建更安全的产品,以保护用户免受有害内容的影响

    产品特色

    支持文本和图像输入的多模态有害内容分类

    新增两个仅文本的有害内容类别:非法和包含暴力的非法

    对非英语内容的检测更准确,支持40种语言

    对低资源语言(如高棉语或斯瓦希里语)的检测性能提升70%

    提供校准的分数,更准确地反映内容违反相关政策的可能性

    免费提供给所有开发者使用,具有不同使用层级的速率限制

    使用教程

    访问OpenAI的Moderation API指南页面

    注册并获取API密钥

    阅读文档了解如何发送文本或图像内容进行审核

    根据API文档编写代码,调用omni-moderation-latest模型

    将内容发送到API并接收审核结果

    分析返回的审核结果,包括类别和概率分数

    根据审核结果采取相应的内容管理措施