400万token上下文、推理再加速46%！最新开源方案升级MIT成果
22倍加速还不够，再来提升46%，而且方法直接开源！这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。StreamingLLM可以在不牺牲生成效果、推理速度的前提下，实现多轮对话共400万个token，22.2倍推理速度提升。
首页 > 上下文
-
-
58行代码把Llama3扩展到100万上下文，任何微调版都适用
开源之王Llama 3原版上下文窗口居然只有……8k，在32k起步，100k寻常的今天，这是故意要给开源社区留做贡献的空间
-
ChatGPT测试新功能：可自动根据上下文选择相关工具使用
10 月 30 日消息，OpenAI 目前正在为 ChatGPT Plus 会员推出新的测试版功能，有用户反馈，这次更新包括了上传文件和处理文件的能力，以及多模态支持。这意味着用户不需要从 GPT-4 的下拉菜单中选择像 Browse with Bing 这样的模式，而是根据上下文自动猜测用户想要
-
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
-
开源大模型代码短板补上了！新羊驼Python赛过ChatGPT，10万上下文免费可商用
Llama2系列又上新，这回是Meta官方出品的开源编程大模型Code Llama。模型一发布，官方直接给贴了个“最强”标签，还强调了一把“免费可商用”。
-
四行代码让大模型上下文暴增3倍，羊驼Mistral都适用
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍！而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。有了这项技术，大模型（LargeLM）就能摇身一变，成为LongLM。
-
谷歌硬刚GPT-4o！60秒视频生成模型虽迟但到，还把上下文窗口卷到了200万
OpenAI出手再次惊艳世界，谷歌果然坐不住了。GPT-4o掀起的一片“AGI已至”的惊呼声中，刚刚，Google DeepMind首席执行官哈萨比斯亲自携谷歌版《Her》登场：同样能听会看还有嘴，不仅能几乎没有延迟地和人类流畅交流，通过摄像头，这个名为Project Astra的AI助手甚至能直接
-
基于国产算力训练的最长上下文窗口大模型亮相
11月16日，百川智能与鹏城实验室宣布携手探索大模型训练和应用，双方展示了合作研发的基于国产算力的128K长窗口大模型“鹏城-百川·脑海33B”，该模型基于“鹏城云脑”国产算力平台训练，未来可升级至192K，是基于国产算力训练的最长上下文窗口。
-
零一万物API开放平台出场！通用Chat多模态通通开放，还有200K超长上下文版本
3月，国内外模型公司动作频频。国产大模型独角兽“五小虎”之一零一万物也有诸多新动作。
-
无限量访问GPT-4！ChatGPT企业版来了，可扩展32k上下文
ChatGPT的“PPlus版”终于来了！就在一众竞品争相推出企业版之际，OpenAI官方的ChatGPT企业版也来了，附带8大功能。最引人瞩目的，当属GPT-4不限量使用，而且生成速度是Plus版本的2倍。
