FP6 LLM

使用场景科研机构使用FP6-LLM进行大规模语言模型推理软件公司将FP6-LLM集成到其自然语言处理应用中数据中心利用FP6-LLM实现大规模语言模型推理加速产...

  • FP6 LLM

    类别:AI模型,AI模型推理训练,大型语言模型,GPU推理,量化模型,普通产品,开源,
    官网:https://huggingface.co/papers/2401.14112 更新时间:2025-08-01 17:03:54
  • 使用场景

    科研机构使用FP6-LLM进行大规模语言模型推理

    软件公司将FP6-LLM集成到其自然语言处理应用中

    数据中心利用FP6-LLM实现大规模语言模型推理加速

    产品特色

    六位量化模型支持

    统一支持各种量化位宽的浮点权重

    提供端到端支持,实现更好的推理成本和模型质量权衡