使用场景
使用AIKit快速启动本地机器上的LLMs，无需GPU。
通过AIKit部署Kubernetes上的LLMs，实现自动化部署和管理。
利用AIKit的微调功能，对特定领域的数据进行模型训练。
产品特色
使用LocalAI进行广泛的推理能力支持，兼容OpenAI API。
提供Unsloth支持的可扩展微调接口。
无需GPU、互联网访问或额外工具，只需Docker即可运行。
最小化的镜像大小，减少漏洞和攻击面。
支持声明式配置，简化推理和微调过程。
支持多模态模型和图像生成。
支持多种模型格式，如GGUF、GPTQ、EXL2、GGML和Mamba。
支持Kubernetes部署，以及NVIDIA GPU加速推理。
支持非专有和自托管的容器注册表来存储模型镜像。
使用教程
1. 安装Docker以运行AIKit。
2. 从GitHub克隆AIKit仓库或直接使用预构建的Docker镜像。
3. 根据需要配置AIKit的推理和微调参数。
4. 使用Docker命令启动AIKit服务。
5. 通过OpenAI兼容的API客户端发送请求。
6. 根据反馈调整模型配置，优化性能。
7. 如有需要，可以创建自定义模型镜像并部署到容器注册表中。
