今天学习了注意力机制
什么是注意力
首先，心理学上，作为动物，想要在复杂环境下关注到需要关注的事物，机制是根据随意线索和不随意线索选择注意点
随意与不随意实际上是遂意与不遂意，也就是是否受控
例如这里的在环境中看到红色杯子，是因为杯子颜色鲜艳，会让人第一眼看到，这是不需要遂意的，而想读书带着个人意愿，是遂意的在搜索
注意力机制
像之前学习过的卷积 全连接 池化层 都是只考虑不随意线索，更倾向于关注有特点的事物
注意力机制则显示的考虑随意线索
- 随意线索被称之为查询(query) ——》要求，想法
- 每个输入是一个值(value)和不随意线索(key)的对 ——》 环境，也就是存放一堆事物的场景
- 通过注意力池化层来有偏向性的选择选择某些输入 ——》 根据想法，根据在环境中为事物的不同价值选择观察事物
非参注意力池化层
其中K()的作用就是衡量X与X_i之间关系的一个函数
这就是做了一个对于距离的处理.将距离进行一个有选择的输出，将想要的距离放大
这里实际上就是做了一个softmax操作