아래 블로그를 참고했습니다.

https://hwiyong.tistory.com/392

---

Bidirectional Encoder Representations from Transformers

Language representation을 위한 모델

• 양방향성을 포함하여 문맥을 자연스럽게 파악
• pretrained 가능한 모델