slug
summary
tags
icon
password
⏩CVPR最佳论文候选 | NeRF新突破，用启发式引导分割去除瞬态干扰物，无需额外先验知识
该文章介绍了一项关于NeRF（神经辐射场）的新研究，该研究探讨了如何消除瞬态干扰物对NeRF渲染结果的影响。研究人员提出了一种名为启发式引导分割（HuGS）的新方法，通过结合手工设计的启发式算法和由提示驱动的分割模型，可以准确区分场景中的瞬态干扰物和静态元素。该方法不需要额外的先验知识，可以提高NeRF的渲染质量。该研究入围了CVPR 2024最佳论文候选。
⏩彻底改变语言模型：全新架构TTT超越Transformer，ML模型代替RNN隐藏状态
这篇文章介绍了一种全新的大语言模型（LLM）架构，名为Test-Time Training（TTT），它有望代替目前在AI领域流行的Transformer模型。TTT使用机器学习模型代替了RNN的隐藏状态，并通过输入token的实际梯度下降来压缩上下文。研究者通过对比实验证明，TTT-Linear和TTT-MLP在大模型上能够匹敌或击败最强大的Transformers和Mamba架构方法。该研究提供了代码和推理代码供人们训练和测试。文章详细介绍了TTT的设计原理和优化技巧，并对RNN和自注意力机制进行了比较。这项研究具有重要的理论和实际意义，对语言模型的发展具有深远影响。
⏩没想到！AlphaZero式树搜索也能用来增强大语言模型推理与训练
该文章介绍了一种名为TSLLM的大语言模型树搜索训练增强框架，该框架将AlphaZero的树搜索方法与大语言模型的文本生成结合，通过训练一个价值函数来提供更为鲁棒可靠的搜索中间价值评估。文章详细介绍了TSLLM的基本框架和特点，并对不同树搜索算法的优缺点进行了对比。该框架具有普适性和可扩展性，可应用于几乎任何任务和任何大小的语言模型。
⏩鄂维南院士领衔新作：大模型不止有RAG、参数存储，还有第3种记忆
该文章介绍了一项名为Memory3的新型语言模型，通过为LLM配备显式记忆来降低训练和推理成本。Memory3在推理过程中利用显式记忆，减轻了模型参数记忆特定知识的负担，并且具有更好的性能和更快的推理速度。研究者还介绍了支持知识外化的记忆电路理论，并提出了两阶段预训练方案。实验结果表明，Memory3在一般能力、对话能力和专业能力方面表现出色，并且解码速度优于其他类似的模型。
⏩第一次，语言的神经激活被定位到细胞级
这篇文章报道了一项关于语言理解的研究，通过跟踪神经元在自然语音处理过程中的活动，发现了单个神经元对语义信息的精细皮层表征。研究创建了迄今为止分辨率最高的神经元图，这些神经元负责编码各种单词的含义。研究结果表明，这些神经元选择性地响应特定的单词含义，并可靠地区分单词和非单词。此外，它们的活动是根据句子的上下文动态变化的，并且独立于语音形式。这项研究揭示了人类语义表征的精细皮层组织，并对未来的脑机接口设备开发具有重要意义。
⏩70万人争先体验！视频生成新王者「可灵AI」又双叒升级了
这篇文章介绍了快手旗下的视频生成AI模型「可灵AI」的升级情况。文章提到了可灵AI的高画质版、首尾帧控制和相机镜头控制等新功能，以及其在视频清晰度、美学表现和内容自定义控制方面的改进。可灵AI已经上线了网页版，申请用户数量已经接近70万。
⏩DeepMind新方法：训练时间减少13倍，算力降低90%
DeepMind提出了一种新的训练方法，可以将训练时间减少13倍，算力降低90%。该方法是通过教模型筛选数据来实现的。这一技术的应用将大大提高训练效率，对于深度学习领域具有重要意义。
⏩深度解析RAG大模型知识冲突，清华西湖大学港中文联合发布
这篇文章是机器之心上的一篇深度分析文章，标题为《深度解析RAG大模型知识冲突，清华西湖大学港中文联合发布》。文章主要介绍了检索增强生成（Retrieval-Augmented Generation, RAG）技术在大型语言模型中的应用以及该技术面临的知识冲突问题。作者从知识冲突的起因、表现和解决方案三个方面进行了详细探讨，并总结了知识冲突领域的研究工作。文章对三种不同的知识冲突类型进行了全面分析，特别是对参数化知识冲突进行了讨论。该文章提供了对知识冲突问题的深入理解和应对策略，对于研究和应用大型语言模型的人员具有重要参考价值。
⏩人人可做提示工程师！Claude上新：一键生成、测试和评估prompt
Anthropic公司推出的Claude工具可以帮助用户生成、测试和评估高质量的prompt，简化了AI应用中prompt的制作流程。用户可以使用内置的prompt生成器来描述任务并生成高质量的prompt，还可以生成测试用例并一键运行所有测试用例。此外，Anthropic还为Claude设置了评分系统，用户可以对不同的prompt进行比较和评分。这项研究的自动化设计和优化prompt的过程可以节省大量时间，为用户提供了一个快速迭代的起点。
⏩单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE
该文章介绍了谷歌提出的一种参数高效的专家检索机制，名为百万专家Mixture（PEER），用于扩展Transformer的潜力并保持计算效率。该方法通过学习索引结构有效地串联大量微小专家，将计算成本与参数计数分离。与传统的前馈层和粗粒度MoE相比，PEER表现出卓越的效率。该研究探索了众多小型专家的未充分探索的情况，并引入了PEER层的设计，实现了高效的计算性能。
⏩WAIC观察：隐私计算加速落地产业，全新的技术标准体系呼之欲出
这篇文章是机器之心的一篇报道，标题为《WAIC观察：隐私计算加速落地产业，全新的技术标准体系呼之欲出》。文章介绍了隐私计算技术在数据要素流通市场中的重要性和应用前景，并提到了隐私计算技术的发展历程和现状。文章还提到了隐私计算技术标准体系的建设和推动行业标准化的重要性。整体而言，这篇文章对于了解隐私计算技术的发展趋势和应用场景具有一定的参考价值。
⏩LeCun转发，首个半导体设计开源大模型SemiKong问世，重塑芯片制造流程
该文章报道了Aitomatic公司推出的首个专为半导体行业设计的开源AI大型语言模型SemiKong。SemiKong旨在彻底改变半导体工艺和制造技术，并有可能在未来五年内重塑价值5000亿美元的半导体行业。文章提到SemiKong在准确性、相关性和对半导体工艺的理解方面表现出了显著的进步，并且在特定领域的应用中常常超越较大的通用模型。SemiKong的推出有望降低半导体生产成本，使消费者能够以更低的价格购买功能更强大的智能手机、笔记本电脑和智能家居设备。
⏩AlphaFold 3 向解码分子行为和生物计算迈出重要一步，Nature 子刊锐评
AlphaFold 3 是一种能够预测生物分子复合物的三维结构的工具，它在预测准确率方面超越了其他专业工具。AlphaFold 3 在预测蛋白质-蛋白质、蛋白质-配体和蛋白质-核酸复合物的结构方面取得了显著的进展，并且在预测蛋白质-DNA和蛋白质-RNA复合物方面表现出色。它还能够预测包含蛋白质、DNA和RNA残基中各种共价修饰的结构。AlphaFold 3 的成功得益于几次更新，其中最重要的是用新的扩散模块替换旧的结构模块，该模块可以直接预测单个原子的笛卡尔坐标，并且可以推广到更广泛的化学空间。
⏩藏身幕后的巨人，正将工业AI带入下一阶段
该文章介绍了西门子在工业领域的AI应用，重点介绍了他们推出的工业工程设计生成式AI产品Industrial Copilot以及在绿氢行业的应用。文章提到了西门子在工厂中使用AI技术进行代码生成和优化，以及通过自然语言与虚拟助手进行交互，提高工程师的工作效率。此外，文章还介绍了西门子在数字化工厂中应用AI技术进行质量检测和垃圾处理的案例。作者指出，工业数据的质量和可得性是当前AI规模化应用的制约因素之一。
⏩京西集团2026中国量产EMB，2035全面线控化
京西集团宣布了其全球技术战略，计划在未来十年以线控制动、线控悬架和智能系统及架构为全球客户提供更多智能出行解决方案。预计到2035年，95%的京西底盘产品将为全线控产品。其中，电子机械制动系统（EMB）已获得凯翼汽车和悠跑科技的战略合作，并计划于2026年开始量产。该战略的目标是实现智能底盘产品全线控化，以支持高阶自动驾驶和智能座舱需求。京西集团的EMB系统具有设计灵巧、响应凌厉、硬件冗余及方案可扩展等特点，将支持L4及以上高阶自动驾驶，并具备功能强大、安全稳定、结构简单、成本优化和环境友好等优势。
- 作者:AI学长小林
- 链接:https://ai.linbintalk.com/article/cff00b64-a25a-4d64-8bbe-d39a79da7e6c
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。