slug
summary
tags
icon
password
⏩大模型承重墙，去掉了就开始摆烂！苹果给出了「超级权重」
本文探讨了大模型中的「超权重」概念，指出其对模型性能的重要性。研究表明，去掉一个「超权重」的影响远超去掉其他7000个离群值权重，导致模型表现显著下降。研究团队通过改进的round-to-nearest quantization技术，提出了一种高效的方法来识别和处理「超权重」，并发现其与「超激活」现象密切相关。实验结果显示，恢复「超激活」后，模型的准确率显著提升，表明「超权重」对模型质量的影响不仅限于「超激活」。此外，研究还分析了「超权重」对输出token概率分布的影响，强调其在生成语义相关词汇中的关键作用。这些发现为大模型的优化和应用提供了新的视角。
⏩发力了，Mistral对标ChatGPT全面升级le Chat，还祭出超大杯多模态模型
Mistral AI 最近发布了名为 Pixtral Large 的超大杯多模态模型，具备124B开放权重，能够进行高效的图像理解和文本处理。该模型在多个基准测试中表现优异，尤其在 MathVista、DocVQA 和 VQAv2 上超越了现有的顶尖模型，如 GPT-4o 和 Gemini-1.5 Pro。Mistral AI 还对其聊天机器人 le Chat 进行了全面升级，增加了图像生成和交互式功能，进一步提升了其在AI领域的竞争力。Pixtral Large 的设计考虑了高影响力的前端应用，展现了多模态模型在实际应用中的潜力。这些更新标志着开源和闭源模型之间的差距正在缩小，推动了AI技术的普及与应用。
⏩高通的自研架构芯片，正在整合生成式AI世界
本文详细介绍了高通最新发布的骁龙 8 至尊版芯片在生成式 AI 领域的应用与影响。该芯片通过强大的计算能力和能效提升，推动了智能手机在多模态 AI 应用、自然语言处理等方面的进步。文章强调了骁龙 8 至尊版在性能上的显著提升，包括 CPU 和 GPU 的优化，以及 NPU 的加速能力，使得手机能够实现更复杂的 AI 功能。此外，文中提到高通与多家科技巨头的合作，展示了端侧 AI 的未来趋势，强调了云端与端侧 AI 的互补关系，预示着生成式 AI 技术的广泛应用将改变用户体验。
⏩北大等发布多模态版o1！首个慢思考VLM将开源，视觉推理超闭源
这篇文章报道了北京大学等机构发布的多模态版本LLaVA-o1，这是首个慢思考视觉语言模型（VLM），并将开源。该模型超越了传统的思维链提示，展示了在视觉推理方面的显著进步。文章强调了这一技术的创新性和潜在影响，尤其是在多模态AI应用领域的前景。通过开源，研究者和开发者能够更好地利用这一技术，推动AI的发展和应用。
- 作者:AI学长小林
- 链接:https://ai.linbintalk.com//article/142629a6-152d-8089-bb2b-ffa1ee435cfa
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。