2021.09.27 랩미팅 준비 : Self-Attentive Associative Memory (ICML 2020) [Introduction] 지금까지 external memory를 가지는 neural network는 memory를 1개(single)만 사용하였지만 이 논문에서는 2개의 메모리(item memory, relational memory)를 사용하여 represnetation 을 저장할 수 있다. 논문에서 새롭게 제안하는 모델은 SAM(Self-Attentive Associative Memory) operator 이다. [Methods] 1. Outer product attention (OPA) 'Attention is all you need' 의 dot product attention(DP..
