马毅团队新作!微调多模态大模型会灾难性遗忘,让性能大减
编辑:桃子 好困【新智元导读】马毅教授团队最新研究表明,微调多模态大语言模型(MLLM)将会导致灾难性遗忘。模型灾难性遗忘,成为当前一个关键热门话题,甚至连GPT-4也无法避免。近日,来自UC伯克利、NYU等机构研究人员发现,微调后的多模态大模型,会产生灾难性遗忘。论文地址:https://arxi
编辑:桃子 好困【新智元导读】马毅教授团队最新研究表明,微调多模态大语言模型(MLLM)将会导致灾难性遗忘。模型灾难性遗忘,成为当前一个关键热门话题,甚至连GPT-4也无法避免。近日,来自UC伯克利、NYU等机构研究人员发现,微调后的多模态大模型,会产生灾难性遗忘。论文地址:https://arxi
ControlNet作者“敏神”(张吕敏),刚刚上新了一个新项目——名叫IC-Light V2,可以说是把AI打光这事儿玩得溜溜的。IC-Light是此前张吕敏开发的图像处理工具,可以通过AI技术精确控制图像中的光照效果。
MIT新晋副教授何恺明,新作新鲜出炉:瞄准一个横亘在AI发展之路上十年之久的问题:数据集偏差。该研究为何恺明在Meta期间与刘壮合作完成,他们在论文中指出:这不禁让人怀疑:我们在消除数据集偏差的战斗中,真的取得了胜利吗?
人类生成的数据推动了人工智能的惊人进步,但接下来会怎样呢?几天前,Google DeepMind 强化学习副总裁 David Silver 参与了一场播客访谈节目,探讨了如何从依赖人类数据的时代迈向自主学习的时代。
图像生成是当前 AIGC 领域最热门的方向之一。近期发布的图像生成模型如 DALL・E 2、Imagen、Stable Diffusion 等等,开创了图像生成的新时代,实现了前所未有的图像质量和模型灵活性水平。扩散模型也成为目前占据主导地位的范式。然而,扩散模型依赖于迭代推理,这是一把双刃剑,因为
自从 Transformer 模型问世以来,试图挑战其在自然语言处理地位的挑战者层出不穷。这次登场的选手,不仅要挑战 Transformer 的地位,还致敬了经典论文的名字。再看这篇论文的作者列表,图灵奖得主、深度学习三巨头之一的 Yoshua Bengio 赫然在列。论文标题:Were RNNs
近年来,人工智能发展迅速,尤其是像ChatGPT这样的基础大模型,在对话、上下文理解和代码生成等方面表现出色,能够为多种任务提供解决方案。
大佬何恺明还未正式入职MIT,但和MIT的第一篇合作研究已经出来了:他和MIT师生一起开发了一个自条件图像生成框架,名叫RCG(代码已开源)。这个框架结构非常简单但效果拔群,直接在ImageNet-1K数据集上实现了无条件图像生成的新SOTA。
在人形机器人领域,有一个非常值钱的问题:既然人形机器人的样子与人类类似,那么它们能使用网络视频等数据进行学习和训练吗?如果可以,那考虑到网络视频的庞大规模,机器人就再也不用担心没有学习资源了。近日,德克萨斯大学奥斯汀分校和 NVIDIA Research 的朱玉可团队公布了他们的一篇 CoRL 20
在开源社区中把GPT-4+Dall·E 3能⼒整合起来的模型该有多强?香港中文大学终身教授贾佳亚团队提出多模态模型Mini-Gemini:Mini-Gemini还提供了2B小杯到34B的超大杯,最强模型在多个指标上相比谷歌的Gemini Pro甚至GPT-4V都不遑多让。