百家乐ag

你的位置: 百家乐ag > 百家乐ag >
百家乐ag
ag百家乐苹果app Meta 夜深开源 Llama 4:初次遴荐 MoE 架构,千万 Token 高下文刷新记录
发布日期:2024-04-05 09:35    点击次数:138

4月6日音信,夜深,Meta 发布全新 AI 模子系列 Llama 4,推出Llama 4 Maverick(400B 参数)和 Llama 4 Scout(109B 参数),以及最庞大的 Llama 4 Behemoth预览。

Meta 暗示,Scout 和 Maverick 模子已可在 llama.com 与 Hugging Face 下载。Scout 辅助1000万 token 高下文,适配单个 H100 GPU;Maverick 主打性价比,在推理司法与性能上对标 GPT-4o 与 DeepSeek V3。

值得一提的是,Llama 4 Maverick 在 LMSYS Arena 中 ELO 得分达1417,成为第四个冲破1400分的大模子,绽放模子中名循序一。在编程、数学、创意写稿等任务中得分着手,较 Llama 3 405B 擢升近150分。

Llama 4 Behemoth 领有2880亿激活参数,百家乐agMeta 称其为“宇宙上最智能”的大模子之一,在 STEM 多项基准测试中越过 GPT-4.5和 Gemini 2.0 Pro,当今仍处于考试阶段。

所有这个词模子辅助文本、图像、视频输入,原生策划兑现 token 级别的早期交融。视觉 encoder 基于 MetaCLIP 改良,对图像区域定位(grounding)才调权贵增强。

Llama 4是 Meta 初次遴荐混杂大家(MoE)架构的模子,同等算力下比密集模子更高效。以 Maverick 为例,遴荐128大家 + 分享大家的路由结构,在单台 H100上即可驱动。

Meta 称 Llama 4预考试数据量是 Llama 3的两倍,隐敝文本、图像与视频,辅助200种说话预考试,其中100种说话的 token 高出10亿。(袁宁)