slug
summary
tags
icon
password
⏩CPU反超NPU，llama.cpp生成速度翻5倍！LLM端侧部署新范式T-MAC开源
T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计。T-MAC采用基于查找表（LUT）的计算范式，无需反量化，直接支持混合精度矩阵乘，其高效的推理性能以及其统一且可扩展的特性为在资源受限的边缘设备上实际部署低比特LLMs铺平了道路。T-MAC可以摆脱专用加速器的依赖，仅利用CPU部署LLMs，推理速度甚至能够超过同一片上的专用加速器，使LLMs可以部署在各类包括PC、手机、树莓派等边缘端设备。T-MAC的计算性能会随着比特数的降低而线性提高，这一现象在基于反量化去实现的GPU和NPU中是难以观察到的。
⏩首个全自动科学发现AI系统，Transformer作者创业公司Sakana AI推出AI Scientist
Sakana AI推出了AI Scientist，这是世界上第一个用于自动化科学研究和开放式发现的AI系统。AI Scientist可以独立进行研究并传达其研究结果，包括产生新颖的研究想法、编写代码、执行实验、可视化结果和撰写完整的科学论文。该系统的成本效益很高，每篇论文的成本约为15美元。AI Scientist的推出标志着朝着充分发挥人工智能在科学研究中的潜力迈出了重要一步。
⏩再见，Devin！基于GPT-4o，最强「AI工程师」Genie诞生
基于GPT-4o的AI工程师Genie正在内测，能够自主运行和与用户协作，模拟人类工程师的认知过程。Genie通过与OpenAI合作开发，使用了数十亿token的数据进行训练，涵盖多种编程语言。该模型在SWE-Bench基准测试中表现优异，取得30.08%的成绩。未来，Cosine计划扩展Genie的功能和数据集，以提升其在软件开发中的应用潜力。
- 作者:AI学长小林
- 链接:https://ai.linbintalk.com/article/e6b919e4-d16c-48bb-b641-d929335f8cca
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。