slug
summary
tags
icon
password
该日报由AI生成，制作方法：https://www.youtube.com/watch?v=0Y7FDoWolD4 【微信:ailinplus】
⏩ICML 2024 | 特征污染：神经网络会学习不相关特征而泛化失败
这篇文章研究了神经网络在学习任务相关特征的同时，也会学习到任务不相关的特征，导致泛化能力下降。作者通过理论证明和实验证据展示了这种现象的存在，并指出这与当前关于虚假相关性的分析是不同的。文章对于理解神经网络特征学习和泛化具有重要意义，对于OOD泛化的研究也提出了新的思考。
⏩《Python 机器学习》作者新作：从头开始构建大型语言模型，代码已开源
该文章介绍了机器学习和AI研究员Sebastian Raschka的新书《Build a Large Language Model (From Scratch)》，该书讲解了从头开始构建大型语言模型的过程，并提供了相应的代码库。文章详细介绍了书中讲解的内容，包括数据格式化、指令微调等。Sebastian Raschka是一位机器学习和人工智能研究员，他的方法已成功应用于机器学习竞赛。该文章来源于机器之心，发布于2024年6月24日。
⏩字节豆包全新图像Tokenizer：生成图像最低只需32个token，最高提速410倍
这篇文章介绍了字节跳动豆包团队和慕尼黑工业大学提出的全新的1D图像Tokenizer：TiTok。TiTok可以将整个图片压缩至更为紧凑的Token序列，对于256 x 256分辨率的图片，最少仅需32个Token就可以表达，对于512 x 512分辨率的图片，最少仅需64个Token。使用TiTok作为Tokenizer的生成器在生成质量和生成速度上都有显著提高。实验结果表明，TiTok可以以每秒101.6张图片的速度进行图片生成，同时维持较高的生成图片质量。
⏩华为盘古大模型5.0技术解密：更多模态，复杂推理
华为盘古大模型5.0技术解密：更多模态，复杂推理。华为的盘古大模型体系分为多个版本，可以与物理世界结合，理解多种模态的信息。华为在数据、参数和算力三个方面介绍了大模型的训练过程，包括数据合成和模型架构升级。华为的盘古π架构通过增广残差连接的方法提升了模型的精度。该研究已被国际机器学习顶会NeurIPS 2023录用。
⏩墙裂推荐！Karpathy大模型培训课LLM101n上线了，非常基础
Karpathy大模型培训课LLM101n上线了，该课程旨在构建一个能够创作、提炼和阐释小故事的大语言模型。课程涵盖了从基础到类似于ChatGPT的模型构建，以及Python、C和CUDA的使用。该课程对于想要深入了解AI、LLM和深度学习的学生来说非常有价值。
⏩导师爆料：这篇CVPR最佳学生论文，从想法到成稿只用一个月，源自业余灵感
这篇文章报道了CVPR 2024的最佳学生论文Mip-Splatting，该论文从想法到成稿只用了一个月的时间。文章介绍了Mip-Splatting的内容和应用，以及作者Zehao Yu的研究历程。该论文提出了一种用于3D图像渲染的抗锯齿3D高斯泼溅方法，解决了渲染过程中的伪影问题。文章强调了作者的创新和努力，并提到该论文获得了CVPR最佳学生论文奖。
⏩CVPR 24｜ETH Zurich等团队：重新定义小样本3D分割任务，新基准开启广阔提升潜力！
该文章介绍了ETH Zurich等团队提出的一种Few-shot学习方法，用于改善3D场景理解中的小样本学习问题。文章指出当前FS-PCS任务存在前景泄漏和稀疏点分布的问题，并提出了相应的改进方法。通过改正前景泄漏和增加点云密度，过往模型的性能得到了显著下降，表明过往模型依赖于密度差异来实现few-shot性能。该方法为未来的模型设计和开发提供了新的思路和benchmark。
⏩从RLHF到DPO再到TDPO，大模型对齐算法已经是「token-level」
该文章介绍了一种从token-level角度建模的大模型对齐算法TDPO，该算法通过重新定义整个对齐流程的目标函数，从细粒度控制模型优化，实现了更好的对齐性能和生成多样性的帕累托前沿。TDPO相比于DPO的主要贡献包括：从token-level的角度进行建模，细粒度KL散度约束，性能优势明显。
⏩奥林匹克竞赛里选最聪明的AI：Claude-3.5-Sonnet vs. GPT-4o？
该文章介绍了上海交通大学生成式人工智能实验室推出的奥林匹克竞技场，用于评估AI模型在各个学科领域的性能。文章提到了最新发布的Claude-3.5-Sonnet取代了OpenAI的GPT4o成为世界上最聪明的AI的讨论，并介绍了研究团队使用奥林匹克竞技场奖牌榜的方法对不同模型进行排名和评估。实验结果表明，Claude-3.5-Sonnet在整体表现上与GPT-4o相比具有竞争力，并在一些科目上超过了GPT-4o。
⏩AI小分子药物发现的「百科全书」，康奈尔、剑桥、EPFL等研究者综述登Nature子刊
这篇文章是一篇综述文章，回顾了机器学习在生成式分子设计中的应用。文章介绍了小分子药物发现的困难和传统方法的局限性，然后详细介绍了机器学习在分子生成和优化中的应用。文章提到了不同的生成式分子设计任务和相应的方法，包括分布学习、条件生成、目标条件生成和表型条件生成。同时，文章还介绍了分子生成的流程和常见的分子表示方法。这篇文章对于了解机器学习在小分子药物发现中的应用具有很高的参考价值。
⏩语言≠思维，大模型学不了推理：一篇Nature让AI社区炸锅了
这篇文章介绍了一篇发表在《自然》杂志上的论文，该论文观察到人类大脑生成和解析语言的神经网络并不负责形式化推理，并提出推理并不需要语言作为媒介。论文通过神经科学等相关学科的角度提供了最新证据，以论证现代人类的语言是一种交流工具，与使用语言进行思考的观点相反。该研究得出结论认为，尽管语言的出现改变了人类文化，但语言似乎并不是复杂思维的先决条件，而是传播文化知识的工具。
⏩论坛预告｜WAIC 2024“人工智能新进展与社会科学的未来”论坛等你来！
7月5日下午，“人工智能新进展与社会科学的未来”论坛将在上海世博中心619会议室召开。论坛由上海市社会科学界联合会主办，上海市社会科学事业发展研究中心、华东师范大学政治与国际关系学院、华东政法大学政治学研究院承办。论坛旨在探究科技进步给人类社会带来的影响，推进社会科学与人工智能融合发展，促进对人工智能技术负责任的科学研究和应用探索。论坛邀请了国内外知名专家学者围绕人工智能与社会科学的多方位交叉议题开展深度交流。
⏩再剧透 | WAIC 2024五大看点揭秘，提前预约锁定这场夏季盛会！
2024世界人工智能大会暨人工智能全球治理高级别会议将于2024年举行，会议将聚焦人工智能治理、AI安全与价值对齐、智能社会治理等话题。大会将邀请国际治理顶尖学者和顶奖得主参会，共同推动国际人工智能领域的交流与合作。此外，大会还将展示人形机器人、智能终端、应用赋能等领域的最新产品和技术。大会还将聚焦智能驾驶、智能船舶等领域的创新发展。
- 作者:AI学长小林
- 链接:https://ai.linbintalk.com//article/dabc9445-93c6-48c1-9279-0b15cbe87ab3
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。