slug
summary
tags
icon
password
⏩OpenAI 秘密武器曝光！Q* 推理能力大爆发，逼近 AGI L2 里程碑
OpenAI最新路线图曝光，将最终抵达AGI终点，划分了五大等级：L1：聊天机器人，L2：推理者，L3：智能体，L4：创新者，L5：组织者。OpenAI的新项目Strawberry被曝出，具有推理能力还能自主可靠浏览网页，可能已经到了L2的级别。Strawberry模型的目的是使公司的AI不仅能生成查询答案，还能提前计划，足够自主且可靠地浏览互联网。OpenAI希望Strawberry的创新能显著提高其AI模型的推理能力。
⏩将慢思考蒸馏进快思考，Meta 把 Llama2 跃升至 GPT-4 水平
Meta通过将AI的“慢思考”结果蒸馏进“快思考”，提升了Llama2的表现，使其比GPT-4更强大。他们使用了四种不同的系统2方法进行研究，并对模型进行了微调。通过收集高质量的蒸馏数据并对系统1模型进行无监督微调，实现了系统2能力向系统1的转移。这种模式在实时交互和移动设备部署等场景下具有优势。研究人员在不同任务上进行了测试，结果显示Llama2的表现大幅提升，甚至超过了真正的系统2模型。
⏩Nature子刊，使用3D transformer和HMM对冷冻电镜密度图进行从头原子蛋白结构建模
该文章介绍了一种全自动冷冻电子显微镜从头结构建模方法Cryo2Struct，该方法利用3D transformer和HMM识别冷冻电子显微镜密度图中的原子和氨基酸类型，并构建蛋白质骨架结构。Cryo2Struct生成的蛋白质结构模型比广泛使用的Phenix方法更准确、更完整。该方法在从头建模环境中具有实际意义，可以帮助回答从冷冻电子显微镜密度图中可以提取多少结构信息的问题。该研究对于冷冻电子显微镜图建模原子蛋白质结构的挑战进行了深入分析，并提出了未来的研究方向。
⏩智能化软件开发2.0 | aiXcoder落地Agent技术，聚焦企业项目级代码生成场景
该文章介绍了北大aiXcoder团队基于大模型的AI Agent技术在软件开发领域的研究和应用。他们通过Agent技术解决了项目级代码生成的问题，提高了代码生成的效率、准确性和可靠性。文章详细介绍了项目级代码生成的痛点和挑战，并介绍了aiXcoder基于Agent的智能软件开发系统的三个应用场景：issue自动处理、代码库智能问答和全流程代码生成。通过这些功能，aiXcoder能够帮助开发者快速解决问题、提高开发效率，并实现人机协同完成大型项目的开发和上线。
⏩抛弃视觉编码器，这个「原生版」多模态大模型也能媲美主流方法
该文章介绍了一种新的视觉语言模型EVE，它打破了主流多模态模型的固定范式，去除了视觉编码器，可以处理任意图像长宽比。通过精细化的训练策略和额外的视觉监督，EVE在多个视觉-语言基准测试中表现出色，与基于编码器的主流多模态方法相媲美。该模型的训练代价较低，使用了公开数据和额外的数据集进行训练。该文章提供了论文地址、项目代码和模型地址。
⏩谷歌机器人专家：机器人在现实中碰过的壁，AI也会碰
这篇文章讨论了机器人学和机器学习的发展和挑战。作者指出，机器人学是一个与现实紧密相关的领域，面临着现实世界的复杂性问题。他认为，这些问题不仅适用于机器人技术，也适用于大语言模型等技术。文章还提到了机器人技术和代码之间的抽象层的重要性，以及现实世界的不完美性对机器人学的影响。作者通过比较围棋AI和国际象棋AI的例子，说明了对抗性技术在现实世界中的复杂性。这篇文章对机器人学和机器学习的发展趋势和挑战进行了深入的分析，对于了解AI领域的最新动态非常有帮助。
⏩公理训练让LLM学会因果推理：6700万参数模型比肩万亿参数级GPT-4
本文介绍了一项关于公理训练的研究，通过训练Transformer模型进行因果推理。研究团队提出了一种基于被动数据来学习因果推理的新范式，通过演示足够的因果传递性公理，可以将其用于更为复杂的因果推理。该方法可以在多种不同的下游场景中实现因果推理，具有重要的应用价值。研究论文标题为《Teaching Transformers Causal Reasoning through Axiomatic Training》，发表在2024年7月16日的机器之心上。
⏩太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3
这篇文章介绍了一种将iPhone、iPad和MacBook组合成异构集群的方法，以运行Llama3模型。作者使用了一个名为Cake的Rust框架来实现大模型的分布式推理，使得AI更易于访问。该项目已经上传到GitHub，并支持多种操作系统，包括iOS、Android、macOS、Linux和Windows。文章提供了详细的操作步骤和代码示例，对于有闲置设备的用户来说，这是一个有趣的尝试。
⏩SOTA性能，厦大多模态蛋白质-配体亲和力预测AI方法，首次结合分子表面信息
厦门大学的研究人员提出了一种新颖的多模态特征提取（MFE）框架，该框架首次结合了蛋白质表面、3D 结构和序列的信息，并使用交叉注意机制进行不同模态之间的特征对齐。实验结果表明，该方法在预测蛋白质-配体结合亲和力方面取得了最先进的性能。此外，消融研究证明了该框架内蛋白质表面信息和多模态特征对齐的有效性和必要性。
⏩大脑如何处理语言？普林斯顿团队对Transformer模型进行分析
普林斯顿大学的研究人员对基于Transformer架构的人工神经网络进行了分析，探讨了Transformer模型和人类大脑在语言处理中的功能特殊化问题。研究人员通过分析电路计算，将其解构为功能专门的“transformations”，并验证了这些“transformations”是否可以解释整个皮质语言网络中大脑活动的显著差异。研究发现，这些“transformations”在预测特定皮层区域的大脑活动方面表现出不同的方式。该研究为理解人类语言处理提供了新的视角。
⏩Mistral AI两连发：7B数学推理专用、Mamba2架构代码大模型
法国大模型独角兽Mistral AI发布了专注于数学推理和科学发现的7B大模型「Mathstral」，以解决复杂的数学问题。该模型在各种行业标准基准上都达到了SOTA推理性能，并在MATH数据集上取得了56.6%的通过率。同时，Mistral AI还发布了一款专门用于代码生成的Codestral Mamba模型，具有线性时间推理优势，并且能够对无限长度的序列进行建模。该模型在基准测试中表现优于竞争对手的开源模型。
⏩有效评估Agent实际表现，新型在线评测框架WebCanvas来了
该文章介绍了一种名为WebCanvas的在线评测框架，用于评估基于大型语言模型的智能代理在真实网络环境中的表现。该框架通过识别和检测任务流程中的关键节点，提供了一个全面评估Agent表现的方法。作者还构建了Mind2Web-Live数据集，并通过一系列实验发现，配备Memory模块、辅以ReAct推理框架和搭载GPT-4-turbo模型的Agent在任务成功率上有显著提升。WebCanvas框架的创新点在于引入了关键节点的概念，这些节点是完成特定网络任务过程中不可或缺的步骤。该框架的评估体系包括步骤得分和任务得分，用于综合评估Agent的能力。
⏩快手开源LivePortrait，GitHub 6.6K Star，实现表情姿态极速迁移
快手开源了名为LivePortrait的可控人像视频生成框架，能够将驱动视频的表情、姿态迁移到静态或动态人像视频上，生成极具表现力的视频结果。该框架在GitHub上获得了6.4K Stars，550 Forks，140 Issues&PRs，受到了广泛好评。LivePortrait采用了69M高质量训练帧，视频-图片混合训练策略，升级网络结构，并设计了更好的动作建模和优化方式。此外，LivePortrait将隐式关键点看成一种面部混合变形的有效隐式表示，并基于此提出了贴合和重定向模块。该框架的单帧生成速度能够达到12.8ms，在RTX4090 GPU上预计能达到10ms以内。
⏩视频上下文学习！大模型学会“照猫画虎”生成，结合模拟器还能精准控制真实环境交互，来自MSRA
该文章介绍了微软亚洲研究院（MSRA）的最新研究成果，即视频上下文学习。该研究通过大模型学习，使得模型能够通过观察视频来生成类似的画作。此外，研究还结合了模拟器，使得模型能够在真实环境中进行精准控制。这一研究成果拓展了模型与现实世界的交互方式，具有重要的应用潜力。
⏩清华包揽最佳论文+时间检验奖，山大获荣誉提名，SIGIR 2024奖项出炉
清华大学、中国人民大学高瓴人工智能学院、小红书团队获得了最佳论文奖；来自格拉斯哥大学、比萨大学的研究者摘得亚军；最佳论文荣誉提名奖颁给了山东大学（青岛）、莱顿大学、阿姆斯特丹大学的研究者；时间检验奖颁给了清华大学、加州大学圣克鲁斯分校的研究者。最佳论文是关于密集检索模型的扩展效应的研究，通过实验发现密集检索模型的性能遵循与模型大小以及注释数量相关的精确幂律扩展。最佳论文亚军是关于PLAID算法的复制和填补的研究，发现超出建议设置的偏差可能会增加延迟而不提高有效性。最佳论文荣誉提名奖是关于生成检索和多向量密集检索的相关性的研究，通过计算查询向量和文档向量与对齐矩阵的乘积之和来衡量文档查询的相关性。时间检验奖是关于可解释推荐的研究，首次定义了可解释性的因素模型。
⏩基于Transformer的新方法，可从纳米孔测序中准确预测DNA甲基化
这篇文章介绍了一种基于Transformer的新方法，可以从纳米孔测序中准确预测DNA甲基化。研究人员开发了一种名为Rockfish的深度学习算法，通过使用纳米孔测序显著提高了读取级别的5-甲基胞嘧啶检测能力。他们的方法依赖于原始纳米孔信号、核碱基序列和比对信息来检测5mC修饰。研究人员使用高质量的人类和小鼠数据集训练该模型，并对其进行了广泛的评估。Rockfish展示了从纳米孔测序中提取甲基化信息的强大能力，对于深入理解DNA甲基化的作用具有重要意义。
⏩OpenAI超级对齐团队遗作：两个大模型博弈一番，输出更好懂了
OpenAI的超级对齐团队在最新的论文中研究了如何提高大语言模型的输出可读性。他们借鉴了Prover-Verifier Games的博弈论框架，让两个大模型互相博弈，以达到生成可读且正确的文本的目标。通过优化小学数学问题的思维链，他们提高了模型输出的可读性，并帮助人类用户更准确地评估答案的正确性。这项研究对于提高人工智能应用的有效性和可信度具有重要意义。
⏩独家对话李岩：宿华、经纬、红点资金支持，第一个「生成式推荐」创业公司｜AI Pioneers
该文章介绍了李岩创办的元石科技，该公司的产品是基于自研LLM模型的生成式内容社区产品。文章详细介绍了生成式推荐算法的优势和应用场景，以及李岩团队的创新之处。该文章对AI领域的发展趋势和技术创新进行了深入分析，对读者了解AI领域的最新进展有很大帮助。
⏩成本减少90%以上，「主动学习+实验工作流程」加速催化剂开发
这篇文章介绍了一项关于催化剂开发的研究，研究人员通过将主动学习整合到实验工作流程中，成功地加速了高级醇合成催化剂的开发。他们使用数据驱动模型和人类决策相结合的方法，通过从大量实验数据中学习，识别出最佳催化剂组成和反应条件。研究结果表明，这种主动学习辅助方法可以显著减少时间和资源成本，并获得更高的醇生产率。这项研究对于催化剂开发和实验室的可持续性具有重要意义。
⏩GitHub星标超16万，爆火AutoGPT进阶版来了：定制节点、多智能体协同
AutoGPT的下一代版本已经发布，相比前代版本，新版本在构建、运行和共享AI智能体方面更加容易且可靠性提升。作者展示了如何使用新版本快速构建、部署并使用Reddit营销智能体，可以自动回复评论，执行其他复杂任务。新版本还支持多智能体驱动的应用程序，可以设计图表让多个专家智能体协同解决问题。此外，新版本还支持自定义添加节点和手动编写新块，作者认为这是新版本的关键特性之一。
⏩OpenAI“最后一篇”超级对齐论文发布：大小模型相互博弈，输出可读性up
OpenAI发布了一篇名为“最后一篇”超级对齐论文，该论文介绍了大小模型相互博弈的方法，以提高输出的可读性。该方法在准确率上只有少量损失，具有一定的实用性和新颖性。
⏩贾佳亚团队联手剑桥清华等共推评测新范式 一秒侦破大模型“高分低能”
该文章介绍了贾佳亚团队联合剑桥、清华等多家知名高校推出的新的大模型评测数据集MR-Ben，该数据集通过“阅卷式”的范式改造，更难、更有区分度，能真实地反映模型推理能力。文章详细介绍了MR-Ben的构建流程和改进之处，并给出了具体的例子来说明逐步作答生成最终答案的方式和相关评测的不靠谱性。
- 作者:AI学长小林
- 链接:https://ai.linbintalk.com//article/c5de58f1-4416-4e5f-b1bc-d8563d618343
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。