트랜스포머
Transformer
문장 안에서 어떤 낱말이 어떤 낱말을 참고해야 하는지 스스로 정하는 어텐션 구조. 지금 대부분의 언어·이미지 모델의 바탕입니다.
예전 방식은 문장을 앞에서 뒤로 차례대로 읽어야 해서 멀리 떨어진 낱말의 관계를 잡기 어려웠습니다. 트랜스포머는 모든 낱말이 서로를 한 번에 보고 중요도를 정합니다(Vaswani 외, 2017).
차례를 기다리지 않으니 계산을 한꺼번에 돌릴 수 있고, 그래서 큰 데이터로 학습하기에 알맞았습니다. 오늘날 언어 모델과 이미지 모델 대부분이 이 구조 위에 있습니다.
어텐션은 입력이 길어질수록 계산이 빠르게 늘어납니다. 긴 문서를 다룰 때 비용이 커지는 이유입니다.
- 어텐션어떤 부분을 얼마나 볼지 정하는 장치입니다.
- 길이 비용입력이 길수록 계산이 가파르게 늘어납니다.