出品｜虎嗅科技组威斯尼斯人AG百家乐

作家｜孙晓晨

裁剪｜苗正卿

头图｜视觉中国

当地时代4月5日，Meta推出其迄今最为刚烈的开源AI模子Llama 4系列，其首批推出的Llama 4系列模子包括Llama 4 Scout和Llama 4 Maverick。此外，还有更为刚烈的Llama 4 Behemoth仍在闇练中。

据Meta先容，Llama 4 Scout包含170亿活跃参数、16个大众模子及1090亿总参数，在多样庸俗摄取的基准测试中，性能优于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。Llama 4 Scout的援助潦倒文长度为1000万token，这将为AI模子的功能开放新的可能，如多文档摘录，剖释大限制用户活动以进行个性化任务，以及在宏大的代码库中进行推理。

而Llama 4 Maverick也领有170亿活跃参数，可是其大众模子数目增至128个，总参数目为4000亿。该模子据称领有顶尖的图像定位才气，可将用户辅导与有关视觉办法精确对皆，并将模子反应锚定到图像中的特定区域。Meta示意，Llama 4 Maverick在多项主流基准测试中，全面超越GPT-4o与Gemini 2.0 Flash；在活跃参数仅为其一半的情况下，该模子在推理与代码才气方面齐备了与DeepSeek V3同等性能；其聊天版块在LMArena测试中获得1417的ELO评分，领有无与伦比的性价比。

Llama 4 Scout和Llama 4 Maverick均从Llama 4 Behemoth中蒸馏而来，而Llama 4 Behemoth据称包含2880亿活跃参数、16个大众模子以及2万亿参数。Meta示意，Llama 4 Behemoth为其迄今为止最刚烈的模子，且尚在闇练中，当今在STEM鸿沟的基准测试中发扬优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。

在官网博文中，Meta共享了对于Llama 4系列模子的时刻细节：

该系列模子为首批聘用混杂大众（MoE）架构的模子，其在闇练和推理时辩论效果更高，且在疏导的闇练FLOPs预算下，大要生成更高质地的搁置。

此外，Llama 4聘用原生多模态想象，ag真人百家乐真假融入早期会通时刻，将文本和视觉标记无缝集成到长入的模子主干中。Meta称：“早期会通是一个紧要的高出，因为它使咱们大要使用多数未标记的文本、图像和视频数据对模子进行集合预闇练。”Llama 4的视觉编码器也得到改良，以更好地顺应大言语模子。

在模子闇练经过中，闇练团队聘用了名为“MetaP”的新式闇练时刻，大要可靠地成立关节模子超参数（如各层学习率和开动化限制）。Llama 4通过预闇练援助200种言语（其中100多种言语的闇练标记量杰出10亿个），举座多言语闇练标记量较Llama 3晋升10倍，为开源社区的模子微调职责奠定了坚实基础。

Meta还通过其他一系列动作对模子进行闇练和完善，如聘用FP8精度以进行高效模子闇练、聘用“中期闇练”的容貌陆续闇练模子以晋升模子中枢才气等。

模子安全亦然Meta温雅的重心，其在博文中称“咱们的指标是开拓最有匡助和最有用的模子，同期贯注和平缓最严重的风险。咱们按照咱们的《开拓者使用指南：东谈主工智能保护》中综合的最好本质来构建 Llama 4。这包括在模子开拓的每个层面（从预闇练到后闇练）整合缓解方法，以及可调治的系统级缓解方法，以保护开拓者免受顽抗性用户的影响。”

2025年以来，DeepSeek R1、Grok 3、GPT-4.5边远模子接连推出，不停刷新数据，如今Llama 4又强势入场，宣称碾压GPT-4.5，可见这场模子之战更加强烈。手脚开源大模子，Llama 4系列模子展现了Meta对开源政策的坚捏。Meta首席践诺官扎克伯格示意：“他们的指标是培植寰球最初的东谈主工智能，将其开源，并使其边远可用，以便寰球上每个东谈主都能受益。”结合DeepSeek带来的冲击以及OpenAI日益显明的开源倾向，AI公司对开源政策似乎照旧更加认可。可是面临OpenAI等边远竞争敌手，Meta能否通过开源政策构建有用生态壁垒，Llama 4 Behemoth能否助其在“万亿参数俱乐部”中占据最初地位，还尚未可知。

本文来自虎嗅，原文澌灭：https://www.huxiu.com/article/4207107.html?f=wyxwapp