近日,被誉为“欧洲版OpenAI”的Mistral AI发布了其最新的MoE(专家混合)大模型Mixtral 8x22B,再次在全球人工智能领域引起轰动。该模型以1760亿的参数规模,成为市面上仅次于Grok-1的第二大开源模型,标志着欧洲在AI研究和创新方面的重大进展。

Mixtral 8x22B由8个专家模型组成,每个模型拥有220亿参数,序列长度达到65536。在MMLU(大规模多任务语言理解)测评中,该模型超越了Llama 2 70B、GPT-3.5和Claude 3 Sonnet等知名模型,登顶开源榜首。这一成就不仅展示了Mistral AI的技术实力,也反映了开源社区在推动AI进步方面的重要作用。

Mistral AI的发布方式虽然低调,但其模型一经发布便迅速在开源社区Hugging Face上架,文件大小约为262GB,开发者可以进一步训练和部署。AI科学家贾扬清表示,通过合理的量化,Mixtral 8x22B可以在3张A100显卡上运行,这为资源有限的研究团队和企业提供了可行性。

此外,苹果机器学习研究员Awni Hannun在苹果机器学习框架MLX上使用M2 Ultra芯片成功运行了Mixtral 8x22B,并发布了4位量化模型。这一成果进一步证明了Mistral AI模型的通用性和高效性。

Mistral AI的成就也是法国AI生态发展的一个缩影。从Ecole 42的创立,到FAIR Paris、Hugging Face和STATION F的兴起,巴黎已经成为全球AI创新的重要中心。杨立昆等AI领域的领军人物的推动,以及VivaTech等活动的举办,为法国乃至整个欧洲的AI研究和创新提供了肥沃的土壤。

随着Mixtral 8x22B模型的发布,我们不仅见证了Mistral AI在大模型领域的强大实力,也看到了开源大模型的迅猛发展。这一成就不仅对Mistral AI自身具有重要意义,也为全球AI技术的开源和共享提供了新的动力。

Mistral AI官网入口地址:https://www.yumiok.com/aitools/sites/1019.html

AD:精心整理了2000+好用的AI工具!点此获取

0个人收藏 收藏

评论交流