slug
summary
tags
icon
password
⏩公理训练让LLM学会因果推理：6700万参数模型比肩万亿参数级GPT-4
本文介绍了一项关于公理训练的研究，通过训练Transformer模型进行因果推理。研究团队提出了一种基于被动数据来学习因果推理的新范式，通过演示足够的因果传递性公理，可以将其用于更为复杂的因果推理。该方法可以在多种不同的下游场景中实现因果推理，具有重要的应用价值。研究论文标题为《Teaching Transformers Causal Reasoning through Axiomatic Training》，发表在2024年7月16日的机器之心上。
⏩太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3
这篇文章介绍了一种将iPhone、iPad和MacBook组合成异构集群的方法，以运行Llama3模型。作者使用了一个名为Cake的Rust框架来实现大模型的分布式推理，使得AI更易于访问。该项目已经上传到GitHub，并支持多种操作系统，包括iOS、Android、macOS、Linux和Windows。文章提供了详细的操作步骤和代码示例，对于有闲置设备的用户来说，这是一个有趣的尝试。
⏩SOTA性能，厦大多模态蛋白质-配体亲和力预测AI方法，首次结合分子表面信息
厦门大学的研究人员提出了一种新颖的多模态特征提取（MFE）框架，该框架首次结合了蛋白质表面、3D 结构和序列的信息，并使用交叉注意机制进行不同模态之间的特征对齐。实验结果表明，该方法在预测蛋白质-配体结合亲和力方面取得了最先进的性能。此外，消融研究证明了该框架内蛋白质表面信息和多模态特征对齐的有效性和必要性。
⏩大脑如何处理语言？普林斯顿团队对Transformer模型进行分析
普林斯顿大学的研究人员对基于Transformer架构的人工神经网络进行了分析，探讨了Transformer模型和人类大脑在语言处理中的功能特殊化问题。研究人员通过分析电路计算，将其解构为功能专门的“transformations”，并验证了这些“transformations”是否可以解释整个皮质语言网络中大脑活动的显著差异。研究发现，这些“transformations”在预测特定皮层区域的大脑活动方面表现出不同的方式。该研究为理解人类语言处理提供了新的视角。
⏩Mistral AI两连发：7B数学推理专用、Mamba2架构代码大模型
法国大模型独角兽Mistral AI发布了专注于数学推理和科学发现的7B大模型「Mathstral」，以解决复杂的数学问题。该模型在各种行业标准基准上都达到了SOTA推理性能，并在MATH数据集上取得了56.6%的通过率。同时，Mistral AI还发布了一款专门用于代码生成的Codestral Mamba模型，具有线性时间推理优势，并且能够对无限长度的序列进行建模。该模型在基准测试中表现优于竞争对手的开源模型。
⏩有效评估Agent实际表现，新型在线评测框架WebCanvas来了
该文章介绍了一种名为WebCanvas的在线评测框架，用于评估基于大型语言模型的智能代理在真实网络环境中的表现。该框架通过识别和检测任务流程中的关键节点，提供了一个全面评估Agent表现的方法。作者还构建了Mind2Web-Live数据集，并通过一系列实验发现，配备Memory模块、辅以ReAct推理框架和搭载GPT-4-turbo模型的Agent在任务成功率上有显著提升。WebCanvas框架的创新点在于引入了关键节点的概念，这些节点是完成特定网络任务过程中不可或缺的步骤。该框架的评估体系包括步骤得分和任务得分，用于综合评估Agent的能力。
⏩快手开源LivePortrait，GitHub 6.6K Star，实现表情姿态极速迁移
快手开源了名为LivePortrait的可控人像视频生成框架，能够将驱动视频的表情、姿态迁移到静态或动态人像视频上，生成极具表现力的视频结果。该框架在GitHub上获得了6.4K Stars，550 Forks，140 Issues&PRs，受到了广泛好评。LivePortrait采用了69M高质量训练帧，视频-图片混合训练策略，升级网络结构，并设计了更好的动作建模和优化方式。此外，LivePortrait将隐式关键点看成一种面部混合变形的有效隐式表示，并基于此提出了贴合和重定向模块。该框架的单帧生成速度能够达到12.8ms，在RTX4090 GPU上预计能达到10ms以内。
- 作者:AI学长小林
- 链接:https://ai.linbintalk.com//article/e97b6e1e-fe0f-4df1-b44f-658f4168dce5
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。