Arctic是什么?一文让你看懂Arctic的技术原理、主要功能、应用场景

来源:卓商AI
发布时间:2025-04-05

Arctic概述简介

Arctic是由云计算巨头Snowflake的AI研究团队开发的一款高效、开源的企业级大型语言大模型,该大模型是一个拥有480亿(480B)的参数规模,由128个细粒度的专家构成的混合专家模型(MoE)模型。在成本效益、训练效率和推理效率方面具有显著优势,特别适合执行企业任务,如SQL生成、编程和指令遵循。Arctic采用Apache 2.0许可,提供对模型权重和代码的开放访问,并开源了数据集和研究洞察。

Arctic的主要特点

参数规模:Arctic拥有480亿参数,但在推理时仅激活170亿参数,以提高效率。

技术架构:采用混合架构,结合了密集变换器(Dense Transformer)和128个专家的MoE模型,每个专家有3.66亿参数。

上下文窗口:模型训练时使用4K的注意力上下文窗口,并计划扩展至32K,以支持更长序列的处理。

训练成本:Arctic的训练计算预算大约在200万美元以下(即少于3000个GPU周)即可达到顶级大模型的能力

模型许可:Arctic在开放的Apache 2.0许可下发布,允许自由使用和修改。

主要用途:专为企业设计,擅长执行SQL生成、编程和指令遵循等任务,适合创建定制企业模型。

Arctic的模型架构

架构组成:Arctic采用了Dense-MoE Hybrid Transformer架构,这种架构结合了密集变换器(Dense Transformer)和混合专家模型(MoE)的特点。

密集变换器规模:模型包含一个具有10B(10 billion,即10亿)参数的密集变换器模型。

MoE架构规模:在MoE部分,Arctic设计了128个细粒度的专家,每个专家拥有3.66B(3.66 billion,即36.6亿)参数。因此,MoE部分的总参数量为128×3.66B,即约470B(470 billion,即4700亿)参数。

总参数量:结合密集变换器和MoE部分,Arctic的总参数量达到了480B(480 billion,即4.8万亿)参数。

活跃参数选择:在推理过程中,Arctic使用top-2门控机制从128个专家中选择两个最合适的专家,这意味着在任何给定时间,大约有17B(17 billion,即170亿)的参数是活跃的。

通信与计算重叠:为了提高训练效率,Arctic的架构设计允许在训练过程中将专家间的通信开销与计算任务重叠,从而隐藏了通信开销。

推理效率:在小批量(如批量大小为1)的交互式推理中,Arctic模型的内存读取次数比Code-Llama 70B少4倍,比Mixtral 8x22B少2.5倍,这有助于提高推理性能。

系统优化:Arctic与NVIDIA合作,利用TensorRT-LLM和vLLM团队的技术,为Arctic提供了初步的推理实现,并通过FP8量化技术,使得Arctic可以在单个GPU节点上运行。

注意力上下文窗口:Arctic训练时使用的注意力上下文窗口为4K,团队正在开发基于attention-sinks的滑动窗口实现,以支持无限序列生成能力,未来计划扩展到32K注意力窗口。

Arctic的性能表现

Snowflake将Arctic与DBRX、Llama、Mixtral等模型在企业指标和学术指标方面的基准测试进行了对比,Arctic在企业智能指标上表现更好,在如MMLU等通用知识基准上的性能可能略低于一些最新模型,但它在这些基准上仍然保持了竞争力。

企业指标:与所有其他开源模型相比,Arctic 都表现出顶级性能,这些任务包括:

编码(Coding):通过HumanEval+ 和 MBPP+ 基准测试编码能力。

SQL生成(SQL Generation):使用Spider基准测试SQL查询生成能力。

指令遵循(Instruction Following):IFEval基准测试遵循复杂指令的能力。

如何使用Arctic

Snowflake Arctic 现已可从 Hugging Face、Replicate 等平台使用,后续将在包括 Snowflake Cortex、Amazon Web Services (AWS)、Microsoft Azure、NVIDIA API Catalog、Lamini、Perplexity 和 Together 等在内的平台陆续上线。

官方模型主页:https://www.snowflake.com/en/data-cloud/arctic/

Hugging Face模型空间:https://huggingface.co/Snowflake/snowflake-arctic-instruct

Replicate模型地址:https://replicate.com/snowflake/snowflake-arctic-instruct

GitHub仓库:https://github.com/Snowflake-Labs/snowflake-arctic

© 版权声明:本站所有原创文章版权均归卓商AI工具集及原创作者所有,未经允许任何个人、媒体、网站不得转载或以其他方式抄袭本站任何文章。
卓商AI
卓商AI

AI爱好者的一站式人工智能AI工具箱,累计收录全球10,000⁺好用的AI工具软件和网站,方便您更便捷的探索前沿的AI技术。本站持续更新好的AI应用,力争做全球排名前三的AI网址导航网站,欢迎您成为我们的一员。

猜你喜欢
  • Edexia
    Edexia Edexia 是一款旨在提升教育评估效率的人工智能工具,能够帮助教师更快速、准确地进行学生作业的评分与反馈。它通过模拟教师的标记方式,提供个性化的反馈...
  • Offer Letter
    Offer Letter Offer Letter AI是一个AI面试实践平台,帮助用户练习行为和技术问题,包括产品管理案例分析等。用户可以根据特定工作定制练习,获得即时反馈和...
  • MonArt
    MonArt MonArt是一个线上艺术创作社区平台。用户可以在平台上分享自己的艺术作品,包括绘画、雕塑、摄影等各种艺术形式。平台提供作品展示、点评、交流空间,让艺...
  • AI Audio Kit
    AI Audio Kit AI Audio Kit是一款使用OpenAI官方Whisper API在macOS上进行音频转录的工具。它使用先进的AI技术来实现精确转录,无需繁琐...
  • ClipVideo AI
    ClipVideo AI ClipVideo AI是一个专业的AI视频生成平台,它利用人工智能技术将照片或简单的文本提示转换成引人入胜的视频。该平台以其快速的视频生成工具、企业...
  • noteX
    noteX noteX是一款AI驱动的智能笔记应用,提供智能组织和安全私密的笔记体验。它由Google Gemini Pro提供技术支持,通过AI功能增强笔记效率...
  • Tables by Playmaker
    Tables by Playmaker Playmaker是一个能够将PDF、图片、电子表格或网页数据转换成清晰、可操作表格数据的平台。它通过自动化流程,减少手动文档处理的重复性工作,提高效...
  • Beatoven.ai
    Beatoven.ai Beatoven.ai利用先进的AI音乐生成技术,为您的视频或播客创作独特的基于情感的音乐,以适应您内容的每个部分。我们提供免费试用,定价详细请访问官...