使用场景

使用torchao对图像分割模型进行量化，提高了推理速度9.5倍。

使用torchao的量化感知训练技术，显著提高了语言模型的精度和推理速度。

在进行扩散模型推理时，通过使用torchao的稀疏性技术，减少了模型的内存占用。

产品特色

支持后训练量化（Post Training Quantization）和量化感知训练（Quantization Aware Training）。

提供量化和稀疏化选项，包括仅量化权重、权重和激活一起量化，以及权重激活量化并稀疏化权重。

支持自定义量化算法的开发者API。

提供KV缓存量化功能，以支持长上下文长度的推理。

支持Float8训练，使用scaled float8数据类型。

支持稀疏训练，提供2:4稀疏性支持。

提供内存高效的优化器，如8位和4位量化的AdamW优化器。

支持单GPU CPU卸载，有效减少VRAM需求。

使用教程

安装torchao库。

选择需要量化的模型。

根据模型的特点，选择合适的量化策略。

使用torchao的API对模型进行量化。

如果需要，进行量化感知训练。

在训练完成后，使用torchao的API将模型转换为量化模型。

部署量化后的模型进行推理。

监控和评估量化模型的性能。