Prerequisite

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
N*N的计算量非常大，无法承受该操作的计算。

在这里插入图片描述
当N大的时候，self-attention占据的耗时比例会比较大，做的一些优化也是针对该种优化。

在这里插入图片描述

Local Attention / Truncated Attention

只看邻居信息
在这里插入图片描述
灰色位置设为0，只需要计算少量的attention。

local attention跟cnn类似。

Stride Attention

跳格隔着的信息
在这里插入图片描述

Global Attention

选一些当作特别的token或者外加token
在这里插入图片描述
句子前面加两个特殊token。

Many Different Choices

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Clustering

在这里插入图片描述
在这里插入图片描述
只有相同颜色的聚类才计算权重，其他都设置为0

Learnable Patterns

构建一个network，让机器自己学习得到权重矩阵。
在这里插入图片描述

Linformer

在这里插入图片描述
重复的颜色，通过矩阵变换得到小的矩阵
在这里插入图片描述

从N个key种取K个key，为什么不选择K个query呢？这种操作会导致sequence length的输出变化，某些情况下是不能改变输出长度的。
如何选出代表性的key呢？

  • cnn处理
  • 矩阵变化
    在这里插入图片描述

Attention Mechanism is three-matrix multiplication

在这里插入图片描述
加速上述三个矩阵的计算，如果忽略softmax操作：
在这里插入图片描述
在这里插入图片描述
先让V跟K相乘，再与Q相乘 运算量小很多。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
现在将softmax加上
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
蓝色和黄色向量只需要计算一次，后续进行复用即可。
在这里插入图片描述
在这里插入图片描述
后续共用第一次计算的kv
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Attention-Free

在这里插入图片描述

Summary

在这里插入图片描述
速度跟LRA分数进行衡量

# 机器学习
Logo
魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

cover

全家桶集齐！Qwen3.5四款小模型上线魔乐社区，附昇腾全套实践教程

avatar 魔乐社区

Pont - 搭建前后端之桥：高效、灵活的接口管理工具

Pont 是一款强大的数据服务层解决方案，它能够帮助开发者快速搭建前后端之间的桥梁，实现接口的高效管理和代码自动生成。无论是新手还是有经验的开发者，都能通过 Pont 轻松处理接口文档、生成类型安全的 API 代码，从而显著提升开发效率。[![Pont 工具标志](https://raw.gitcode.com/gh_mirrors/po/pont/raw/3f1b7d4bbba3fd2dda

avatar 魔乐社区

如何快速上手 hvac：HashiCorp Vault Python 客户端零基础入门指南

**hvac** 是 HashiCorp Vault 的 Python 3.X 客户端库，专为开发者提供简单高效的 Vault 交互方式。无论你是需要管理密钥、配置身份验证，还是实现安全的秘密数据存储，hvac 都能帮助你轻松搞定 Vault 的各项操作。本文将带你零基础快速入门，从安装到基础操作，让你在几分钟内即可上手使用这个强大的工具。[![hvac 客户端 Logo](https://r

avatar 魔乐社区