首页 > 注意力

注意力

  • 无问芯穹提出混合稀疏注意力方案MoA，加速长文本生成，实现最高8倍吞吐率提升

    随着大语言模型在长文本场景下的需求不断涌现，其核心的注意力机制（Attention Mechanism）也获得了非常多的关注。注意力机制会计算一定跨度内输入文本（令牌，Token）之间的交互，从而实现对上下文的理解。随着应用的发展，高效处理更长输入的需求也随之增长 [1][2]，这带来了计算代价的挑

  • 基于Transformer和注意力的可解释核苷酸语言模型，用于pegRNA优化设计

    基因编辑是一种新兴的、比较精确的能对生物体基因组特定目标基因进行修饰的一种基因工程技术。先导编辑（Prime editor, PE）是美籍华裔科学家刘如谦（David R.Liu）团队开发的精准基因编辑系统，PE 是一种很有前途的基因编辑工具，但由于缺乏准确和广泛适用的方法，

  • 百度发布首个基于互相关注意力的端到端语音语言大模型

    观点网讯：3月31日，百度发布业界首个基于全新互相关注意力(Cross-Attention)的端到端语音语言大模型，实现超低时延与超低成本。在电话语音频道的语音问答场景中，调用成本较行业均值下降约50%-90%。当日，文小言宣布品牌焕新，率先接入该模型，还带来多模型融合调度、图片问答等功能升级。免责

  • Sigmoid注意力一样强，苹果开始重新审视注意力机制

    注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归一化，会得到每个键对应的注意力权重。尽管 SoftmaxAttn 中的 softmax 具有广泛的用途和有效性，但它并非没有局限性。例如，softmax 函数

  • Meta提出全新注意力机制S2A大模型准确率提升至80.3%

    要点:1. Meta提出的注意力机制S2A能有效提升LLM回答问题的事实性和客观性，降低模型对无关信息的敏感度，使其更准确。2. S2A通过深思熟虑的注意力机制（System2Attention）解决了LLM在回答问题时容易受上下文中虚假相关性影响的问题，提高了模型的推理能力。3. S2A的实现方式

  • 丢掉注意力的扩散模型：Mamba带火的SSM被苹果、康奈尔盯上了

    替代注意力机制，SSM 真的大有可为？为了用更少的算力让扩散模型生成高分辨率图像，注意力机制可以不要，这是康奈尔大学和苹果的一项最新研究所给出的结论。众所周知，注意力机制是 Transformer 架构的核心组件，对于高质量的文本、图像生成都至关重要。

  • ICLR2022cosFormer：重新思考注意力机制中的Softmax

    导读：Transformer在自然语言处理、计算机视觉和音频处理方面取得了巨大成功。作为其核心组成部分之一，Softmax Attention模块能够捕捉长距离的依赖关系，但由于Softmax算子关于序列长度的二次空间和时间复杂性，使其很难扩展。针对这点，研究者提出利用核方法以及稀疏注意力机制的方法

热门文章