中国团队再获EMNLP最佳长论文!北大微信揭大模型上下文学习机制
EMNLP顶会落下帷幕,各种奖项悉数颁出。最佳长论文奖被北大微信AI团队收入囊中,由北大孙栩老师和微信周杰、孟凡东合作指导。他们发现了大模型中关键能力——上下文学习背后的工作机制。通过理解这一机制,还提出一系列方法来提高其性能。
EMNLP顶会落下帷幕,各种奖项悉数颁出。最佳长论文奖被北大微信AI团队收入囊中,由北大孙栩老师和微信周杰、孟凡东合作指导。他们发现了大模型中关键能力——上下文学习背后的工作机制。通过理解这一机制,还提出一系列方法来提高其性能。
就在刚刚,那个掌管OpenAI安全的北大校友,OpenAI研究副总裁(安全)翁荔,离职了。翁荔是OpenAI华人科学家、ChatGPT的贡献者之一。北大毕业后,翁荔在2018年加入OpenAI,后来在GPT-4项目中主要参与预训练、强化学习和对齐、模型安全等方面的工作。
2022年5月12日,全球知名的黑洞观测计划「事件视界望远镜」(Event Horizon Telescope,EHT)发布了一张位于银河系中心的超大质量黑洞「人马座A*」(Sgr A*)的照片。该照片提供了银河系中心黑洞真实存在的首个视觉证据,在世界范围内引起了巨大的轰动:图注:位于银河系中心的黑
AI能理解搞笑视频笑点在哪里了。AI回答:这个视频之所以搞笑,在于一个小宝宝正坐在床上努力读书,但他显然还不会真正读书。他只是不停地指着书页上的各处,而摄影者则在背后笑他。小宝宝的这种尝试很有趣,因为他在尝试阅读一本对他而言过大的书,也看不懂里面的文字。北大等团队开源视觉语言大模型Video-LLa
从科技圈最新动态来看,最近AI代码生成概念实火。可是,小伙伴们有没有感觉,AI刷程序题比较亮眼,到了企业真实开发场景中,总感觉欠点火候?
核心观点速览AI对齐是一个庞大的领域,既包括RLHF/RLAIF等成熟的基础方法,也包括可扩展监督、机制可解释性等诸多前沿研究方向。AI对齐的宏观目标可以总结为RICE原则 :鲁棒性(Robustness)、可解释性(Interpretability)、可控性(Controllability)和道德
文章转载于量子位(QbitAI)思维链(CoT)为什么能够提升大模型的表现?大模型又为什么会出现幻觉?北大课题组的研究人员,发现了一个分析问题的新视角,将语言数据集和GPT模型展开为蒙特卡洛语言树。具体来说,数据集和模型分别被展开成了Data-Tree 和GPT-Tree 。结果,他们发现,现有的模
本届 EMNLP 大会在投稿人数上创了新高,整体接收率也较上届略有提升。EMNLP 是自然语言处理领域的顶级会议之一,EMNLP 2023 于 12 月 6 日 - 10 日在新加坡举行。因为今年 ChatGPT 的爆火带动大模型、NLP 概念,
翁荔的技术博客深入、细致,具有前瞻性,被很多 AI 研究者视为重要的参考资料。如今,她离开了 OpenAI,开启新的征程。而且她表示,之后可能有更多时间频繁更新博客。自从 Sam Altman 重新执掌 OpenAI 以来,该公司就陷入了持续不断的高管离职潮中。虽然近段时间有些外部新高管加入,但很显
作者丨邹月娴整理 | 维克多编辑 | 青暮预训练模型在自然语言处理和计算机视觉领域引起了学术界和工业界的广泛关注。利用大规模无监督数据进行训练的预训练模型有着非常好的泛化性,只需在小规模标注数据上进行微调,就可以在相应任务上有所提高。但相关研究的进展如何?还有哪些问题需要进一步探索?2021年12月