使用场景

企业使用nm-vllm在GPU上部署大型语言模型，提高了推理效率。

数据科学家利用DeepSparse在CPU上运行稀疏语言模型，大幅降低了成本。

教育机构采用SparseML工具包优化模型，提升了模型在边缘设备上的性能。

产品特色

nm-vllm：企业级推理服务器，支持在GPU上部署开源大型语言模型。

DeepSparse：针对LLMs、计算机视觉和自然语言处理模型的稀疏感知推理服务器，可在CPU上运行。

SparseML：推理优化工具包，使用稀疏性和量化技术压缩大型语言模型。

SparseZoo：开源模型库，提供快速启动的开源模型。

Hugging Face集成：提供预优化的开源LLMs，实现更高效、更快速的推理。

模型优化技术：通过GPTQ和SparseGPT技术提高推理性能。

支持多种硬件架构：在广泛的GPU和CPU架构上进行深入的指令级细节优化。

使用教程

1. 访问Neural Magic官网并注册账户。

2. 根据需求选择合适的产品，如nm-vllm或DeepSparse。

3. 下载并安装相应的软件或服务。

4. 按照提供的文档和指南配置AI模型。

5. 部署模型到选择的硬件架构上，如GPU或CPU。

6. 利用Neural Magic提供的工具和技术优化模型性能。

7. 监控和调整模型性能，确保最佳推理效果。

8. 根据需要联系Neural Magic的技术支持获取帮助。