使用场景

作为本地代码助手，帮助开发者快速生成代码

在架构研究中提供新视角，推动技术发展

与Codestral 22B一起使用，提供不同规模的模型选择

产品特色

线性时间推理，快速响应长输入

理论上可以处理无限长度的序列

高级代码和推理能力，与SOTA Transformer模型相媲美

支持高达256k tokens的上下文检索能力

可使用mistral-inference SDK进行部署

支持TensorRT-LLM和llama.cpp进行本地推理

Apache 2.0许可下免费使用、修改和分发

使用教程

1. 下载mistral-inference SDK

2. 从HuggingFace获取Codestral Mamba的原始权重

3. 使用SDK部署Codestral Mamba模型

4. 根据需要配置TensorRT-LLM或llama.cpp进行本地推理

5. 在la Plateforme上进行模型测试（codestral-mamba-2407）

6. 利用模型的高级代码和推理能力解决实际编程问题

7. 根据Apache 2.0许可自由地使用、修改和分发模型