大模型推理更可能是概率模式匹配?北大团队从蒙特卡洛语言树的新视角解读GPT,思维链原理也有新的理解
文章转载于量子位(QbitAI)思维链(CoT)为什么能够提升大模型的表现?大模型又为什么会出现幻觉?北大课题组的研究人员,发现了一个分析问题的新视角,将语言数据集和GPT模型展开为蒙特卡洛语言树。具体来说,数据集和模型分别被展开成了Data-Tree 和GPT-Tree 。结果,他们发现,现有的模
文章转载于量子位(QbitAI)思维链(CoT)为什么能够提升大模型的表现?大模型又为什么会出现幻觉?北大课题组的研究人员,发现了一个分析问题的新视角,将语言数据集和GPT模型展开为蒙特卡洛语言树。具体来说,数据集和模型分别被展开成了Data-Tree 和GPT-Tree 。结果,他们发现,现有的模
核心观点速览AI对齐是一个庞大的领域,既包括RLHF/RLAIF等成熟的基础方法,也包括可扩展监督、机制可解释性等诸多前沿研究方向。AI对齐的宏观目标可以总结为RICE原则 :鲁棒性(Robustness)、可解释性(Interpretability)、可控性(Controllability)和道德
本届 EMNLP 大会在投稿人数上创了新高,整体接收率也较上届略有提升。EMNLP 是自然语言处理领域的顶级会议之一,EMNLP 2023 于 12 月 6 日 - 10 日在新加坡举行。因为今年 ChatGPT 的爆火带动大模型、NLP 概念,
翁荔的技术博客深入、细致,具有前瞻性,被很多 AI 研究者视为重要的参考资料。如今,她离开了 OpenAI,开启新的征程。而且她表示,之后可能有更多时间频繁更新博客。自从 Sam Altman 重新执掌 OpenAI 以来,该公司就陷入了持续不断的高管离职潮中。虽然近段时间有些外部新高管加入,但很显
作者丨邹月娴整理 | 维克多编辑 | 青暮预训练模型在自然语言处理和计算机视觉领域引起了学术界和工业界的广泛关注。利用大规模无监督数据进行训练的预训练模型有着非常好的泛化性,只需在小规模标注数据上进行微调,就可以在相应任务上有所提高。但相关研究的进展如何?还有哪些问题需要进一步探索?2021年12月
1、百度Q3财报:将继续优先投资生成式AI2、vivo千询AI助手正式上线应用商店3、OpenAI的客户考虑转向微软谷歌等企业4、超95%员工要求OpenAI董事会辞职5、北大等开源视觉大模型Video-LLaVA6、广东印发“数字湾区”建设三年行动方案7、联发科天玑8300发布 首次支持生成式AI
搜集了328×204条数据,只为让机器人把开门这一件事做到极致。这是来自北大董豪团队和北邮何召锋团队的新研究。做到了开箱即用,不需要在现实世界重新微调,就能操控房门、车门等各种能想到的门。无论是普通的圆形的门把手;还是需要钥匙才能打开的储物柜;甚至是开保险柜,对它来说都不在话下。目前项目主页和论文都
北京大学董豪团队具身导航最新成果来了:无需额外建图和训练,只需说出导航指令,如:我们就能控制机器人灵活移动。在此,机器人靠的是主动与大模型构成的“专家团队”沟通完成指令分析、视觉感知、完成估计和决策测试等一系列视觉语言导航关键任务。目前项目主页和论文都已上线,代码即将推出:机器人如何根据人类指令导航
只要一句话,就能让DeepSeek陷入无限思考,根本停不下来?北大团队发现,输入一段看上去人畜无害的文字,R1就无法输出中止推理标记,然后一直输出不停。强行打断后观察已有的思考过程,还会发现R1在不断重复相同的话。而且这种现象还能随着蒸馏被传递,在用R1蒸馏的Qwen模型上也发现了同样的现象。
化学反应是药物设计和有机化学研究的基础。研究界越来越需要一种能够有效捕获化学反应基本规则的大规模深度学习框架。近日,来自北京大学和望石智慧的研究团队提出了一种新方法来弥合基于反应的分子预训练和生成任务之间的差距。