단어의 널리 적용 가능한 표현을 학습하는 것은 수십 년 동안 활발한 연구 영역이었으며, 여기에는 비신경망 방법이 포함된다Brown et al. (1992); Ando and Zhang (2005); Blitzer et al. (2006)그리고 신경망 방법Mikolov et al. (2013); Pennington et al. (2014)방법들. 사전 훈련된 word embedding은 현대 NLP 시스템의 필수적인 부분이며, 처음부터 학습된 embedding에 비해 상당한 개선을 제공한다Turian et al. (2010). word embedding 벡터를 사전 훈련하기 위해, left-to-right 언어 모델링 목적이 사용되어 왔다Mnih and Hinton (2009), 또한 왼쪽과 오른쪽 문맥에서 올바른 단어와 올바르지 않은 단어를 구별하는 목적도 사용되어 왔다Mikolov et al. (2013).

이러한 접근법들은 sentence embedding과 같은 더 거친 granularity로 일반화되어 왔다Kiros et al. (2015); Logeswaran and Lee (2018)또는 paragraph embeddingLe and Mikolov (2014). 문장 표현을 훈련하기 위해, 선행 연구는 후보 다음 문장들의 순위를 매기는 목적을 사용했다Jernite et al. (2017); Logeswaran and Lee (2018), 이전 문장의 표현이 주어졌을 때 다음 문장 단어들의 left-to-right 생성을 사용하거나Kiros et al. (2015), 또는 denoising auto-encoder에서 파생된 목적을 사용했다Hill et al. (2016).

ELMo와 그 전신은Peters et al. (2017, 2018a)전통적인 word embedding 연구를 다른 차원으로 일반화한다. 이들은 추출한다문맥 민감한feature를 left-to-right 및 right-to-left 언어 모델로부터. 각 토큰의 문맥 표현은 left-to-right 및 right-to-left 표현의 연결이다. 문맥적 word embedding을 기존 task-specific 아키텍처와 통합할 때, ELMo는 여러 주요 NLP benchmark에서 state of the art를 진전시킨다Peters et al. (2018a)question answering을 포함하여Rajpurkar et al. (2016), sentiment analysisSocher et al. (2013), 그리고 named entity recognitionTjong Kim Sang and De Meulder (2003). Melamud et al. (2016)는 LSTM을 사용하여 왼쪽과 오른쪽 문맥 양쪽으로부터 단일 단어를 예측하는 태스크를 통해 문맥 표현을 학습하는 것을 제안했다. ELMo와 유사하게, 그들의 모델은 feature-based이며 깊은 양방향은 아니다.Fedus et al. (2018)는 cloze task가 텍스트 생성 모델의 견고성을 개선하는 데 사용될 수 있음을 보인다.

feature-based 접근법과 마찬가지로, 이 방향의 첫 연구들은 레이블이 없는 텍스트로부터 word embedding 파라미터만 사전 훈련했다Collobert and Weston (2008).

더 최근에는, 문맥적 토큰 표현을 생성하는 sentence 또는 document encoder가 레이블이 없는 텍스트로부터 사전 훈련되고 supervised downstream task를 위해 fine-tuning되었다Dai and Le (2015); Howard and Ruder (2018); Radford et al. (2018). 이러한 접근법의 장점은 처음부터 학습해야 하는 파라미터가 거의 없다는 것이다. 적어도 부분적으로 이 장점 때문에, OpenAI GPT는Radford et al. (2018)GLUE benchmark의 많은 문장 수준 태스크에서 이전 state-of-the-art 결과를 달성했다Wang et al. (2018a). 이러한 모델들을 사전 훈련하기 위해 left-to-right 언어 모델링 및 auto-encoder 목적이 사용되어 왔다Howard and Ruder (2018); Radford et al. (2018); Dai and Le (2015).

자연어 추론과 같은 대규모 dataset을 가진 supervised task로부터 효과적인 transfer를 보인 연구도 있었다Conneau et al. (2017)그리고 machine translationMcCann et al. (2017). 컴퓨터 비전 연구 또한 대규모 사전 훈련된 모델로부터 transfer learning의 중요성을 입증했으며, 여기서 효과적인 방법은 ImageNet으로 사전 훈련된 모델을 fine-tuning하는 것이다Deng et al. (2009); Yosinski et al. (2014).

다음과 달리Peters et al. (2018a)그리고Radford et al. (2018), 우리는 BERT를 사전 훈련하기 위해 전통적인 left-to-right 또는 right-to-left 언어 모델을 사용하지 않는다. 대신, 우리는 이 절에서 설명하는 두 가지 비지도 태스크를 사용하여 BERT를 사전 훈련한다. 이 단계는 Figure의 왼쪽 부분에 제시되어 있다1.

Transformer의 self-attention mechanism이 BERT가 단일 text 또는 text pair를 포함하는지와 상관없이 적절한 input과 output을 교체함으로써 많은 downstream task를 모델링할 수 있게 하므로, fine-tuning은 간단하다. text pair를 포함하는 application의 경우, 일반적인 패턴은 bidirectional cross attention을 적용하기 전에 text pair를 독립적으로 encode하는 것이다. 예를 들면Parikh et al. (2016); Seo et al. (2017). 반면 BERT는 self-attention mechanism을 사용해 이 두 단계를 통합하는데, self-attention으로 concatenated text pair를 encode하면 사실상 두 문장 사이의양방향cross attention을 포함하기 때문이다.

각 task에 대해, 우리는 task-specific input과 output을 BERT에 단순히 연결하고 모든 parameter를 end-to-end로 fine-tune한다. input에서, pre-training의 sentenceA와 sentenceB는 (1) paraphrasing의 sentence pair, (2) entailment의 hypothesis-premise pair, (3) question answering의 question-passage pair, 그리고 (4) text classification 또는 sequence tagging의 degenerate text-$\varnothing$pair와 유사하다. output에서, token representation들은 sequence tagging 또는 question answering 같은 token-level task를 위해 output layer에 입력되고,[CLS]representation은 entailment 또는 sentiment analysis 같은 classification을 위해 output layer에 입력된다.

pre-training과 비교하면, fine-tuning은 상대적으로 비용이 적다. 논문의 모든 결과는 정확히 동일한 pre-trained model에서 시작하여 단일 Cloud TPU에서 최대 1시간, 또는 GPU에서 몇 시간 안에 재현될 수 있다.⁷⁷7예를 들어, BERT SQuAD model은 단일 Cloud TPU에서 약 30분 동안 학습되어 Dev F1 score 91.0%를 달성할 수 있다.우리는 Section의 해당 subsection들에서 task-specific detail을 설명한다4. 더 많은 detail은 Appendix에서 찾을 수 있다A.5.

General Language Understanding Evaluation (GLUE) benchmarkWang et al. (2018a)는 다양한 natural language understanding task들의 모음이다. GLUE dataset에 대한 자세한 설명은 Appendix에 포함되어 있다B.1.

GLUE에서 fine-tune하기 위해, 우리는 Section에서 설명한 대로 input sequence(single sentence 또는 sentence pair의 경우)를 표현한다3, 그리고 final hidden vector를 사용한다$C\in {ℝ}^H$첫 번째 input token ([CLS])에 해당하는 것을 aggregate representation으로 사용한다. fine-tuning 중에 도입되는 유일한 새로운 parameter는 classification layer weight$W\in {ℝ}^{K\times H}$, 여기서$K$는 label의 수이다. 우리는 표준 classification loss를 계산한다$C$와$W$, i.e., $\log \left(\mathrm{softmax}\left(C{W}^T\right)\right)$.

우리는 batch size 32를 사용하고 모든 GLUE task에 대해 data 위에서 3 epoch 동안 fine-tune한다. 각 task에 대해, 우리는 Dev set에서 최상의 fine-tuning learning rate(5e-5, 4e-5, 3e-5, 2e-5 중)를 선택했다. 추가로, BERT의 경우${}_{\text{LARGE}}$작은 dataset에서는 fine-tuning이 때때로 불안정하다는 것을 발견했으므로, 여러 random restart를 실행하고 Dev set에서 최상의 model을 선택했다. random restart에서는 동일한 pre-trained checkpoint를 사용하지만, 서로 다른 fine-tuning data shuffling과 classifier layer initialization을 수행한다.¹⁰¹⁰10GLUE data set distribution은 Test label을 포함하지 않으며, 우리는 BERT 각각에 대해 GLUE evaluation server submission을 한 번만 했다${}_{\text{BASE}}$그리고 BERT${}_{\text{LARGE}}$.

결과는 Table에 제시되어 있다9. BERT 둘 다${}_{\text{BASE}}$그리고 BERT${}_{\text{LARGE}}$는 모든 task에서 모든 system을 상당한 margin으로 능가하며, prior state of the art 대비 각각 4.5%와 7.0%의 average accuracy improvement를 얻는다. BERT에 주목하라${}_{\text{BASE}}$와 OpenAI GPT는 attention masking을 제외하면 model architecture 측면에서 거의 동일하다. 가장 크고 가장 널리 보고되는 GLUE task인 MNLI에서, BERT는 4.6% absolute accuracy improvement를 얻는다. 공식 GLUE leaderboard에서¹¹¹¹11https://gluebenchmark.com/leaderboard, BERT${}_{\text{LARGE}}$는 작성 시점 기준 72.8을 얻은 OpenAI GPT와 비교하여 80.5의 score를 얻는다.

우리는 BERT가${}_{\text{LARGE}}$모든 task에서, 특히 training data가 매우 적은 task에서 BERT를 상당히 능가한다는 것을 발견했다${}_{\text{BASE}}$model size의 효과는 Section에서 더 철저히 탐구된다5.2.

Stanford Question Answering Dataset (SQuAD v1.1)은 100k개의 crowdsourced question/answer pair의 모음이다Rajpurkar et al. (2016). answer를 포함하는 Wikipedia의 question과 passage가 주어지면, task는 passage 안의 answer text span을 예측하는 것이다.

Figure에 보인 것처럼1, question answering task에서, 우리는 input question과 passage를 단일 packed sequence로 표현하며, question은Aembedding을 사용하고 passage는Bembedding을 사용한다. 우리는 fine-tuning 중에 start vector$S\in {ℝ}^H$와 end vector만 도입한다$E\in {ℝ}^H$. word가 answer span의 시작일 확률은$i$와$T_i$사이의 dot product로 계산되며$S$그 뒤 paragraph의 모든 word에 대한 softmax가 따른다:$P_i=\frac{e^{S\cdot T_i}}{{\sum }_j{e}^{S\cdot T_j}}$. answer span의 끝에 대해서도 유사한 formula가 사용된다. position$i$에서 position까지의 candidate span의 score는$j$로 정의된다$S\cdot T_i+E\cdot T_j$, 그리고 다음을 만족하는 maximum scoring span$j\ge i$이 prediction으로 사용된다. training objective는 올바른 start와 end position의 log-likelihood의 합이다. 우리는 learning rate 5e-5와 batch size 32로 3 epoch 동안 fine-tune한다.

Table2은 top leaderboard entry뿐 아니라 top published system들의 result를 보여준다Seo et al. (2017); Clark and Gardner (2018); Peters et al. (2018a); Hu et al. (2018). SQuAD leaderboard의 top result들은 이용 가능한 최신 public system description이 없으며,¹²¹²12QANet은 다음에 설명되어 있다Yu et al. (2018), 그러나 system은 publication 이후 상당히 개선되었다.그리고 system을 학습할 때 어떤 public data든 사용할 수 있도록 허용된다. 따라서 우리는 먼저 TriviaQA에서 fine-tuning함으로써 system에서 modest data augmentation을 사용한다Joshi et al. (2017)SQuAD에서 fine-tuning하기 전에.

우리의 best performing system은 ensembling에서 +1.5 F1, single system으로서 +1.3 F1만큼 top leaderboard system을 능가한다. 사실, 우리의 single BERT model은 F1 score 측면에서 top ensemble system을 능가한다. TriviaQA fine-tuning data가 없어도, 우리는 0.1-0.4 F1만 잃으며, 여전히 모든 기존 system을 큰 margin으로 능가한다.¹³¹³13우리가 사용한 TriviaQA data는 제공된 가능한 answer 중 적어도 하나를 포함하는 document의 첫 400 token으로 구성된 TriviaQA-Wiki의 paragraph들로 이루어져 있다.

SQuAD 2.0 task는 제공된 paragraph에 짧은 answer가 존재하지 않을 가능성을 허용함으로써 SQuAD 1.1 problem definition을 확장하여, problem을 더 현실적으로 만든다.

우리는 이 task를 위해 SQuAD v1.1 BERT model을 확장하는 간단한 접근법을 사용한다. 우리는 answer가 없는 question을 start와 end가[CLS]토큰. 시작 및 끝 정답 span 위치에 대한 확률 공간은 해당 위치를 포함하도록 확장된다[CLS]토큰. 예측을 위해, 우리는 무응답 span의 점수를 비교한다:$s_{\mathrm{𝚗𝚞𝚕𝚕}}=S\cdot C+E\cdot C$최상의 non-null span의 점수와$\widehat{s_{i,j}}$ = ${\mathrm{𝚖𝚊𝚡}}_{j\ge i}S\cdot T_i+E\cdot T_j$. 우리는 다음일 때 non-null 답변을 예측한다$\widehat{s_{i,j}}>s_{\mathrm{𝚗𝚞𝚕𝚕}}+\tau$, 여기서 임계값$\tau$은 dev set에서 F1을 최대화하도록 선택된다. 우리는 이 모델에 TriviaQA 데이터를 사용하지 않았다. 우리는 learning rate 5e-5와 batch size 48로 2 epochs 동안 fine-tuning했다.

이전 leaderboard 항목 및 최고 공개 연구와 비교한 결과Sun et al. (2018); Wang et al. (2018b)는 Table에 제시되어 있다3, BERT를 구성 요소 중 하나로 사용하는 시스템은 제외한다. 우리는 이전 최고 시스템 대비 +5.1 F1 향상을 관찰한다.

Situations With Adversarial Generations (SWAG) dataset은 grounded commonsense inference를 평가하는 113k개의 sentence-pair completion 예제를 포함한다Zellers et al. (2018). 문장이 주어지면, 과제는 네 가지 선택지 중 가장 그럴듯한 continuation을 선택하는 것이다.

SWAG dataset에서 fine-tuning할 때, 우리는 네 개의 input sequences를 구성하며, 각각은 주어진 문장(sentenceA)과 가능한 continuation(sentenceB)의 연결을 포함한다. 도입되는 유일한 task-specific parameters는[CLS]토큰 표현$C$과의 dot product가 각 선택지의 점수를 나타내며, 이는 softmax layer로 정규화되는 벡터이다.

우리는 learning rate 2e-5와 batch size 16으로 3 epochs 동안 모델을 fine-tuning한다. 결과는 Table에 제시되어 있다4. BERT${}_{\text{LARGE}}$는 저자들의 baseline ESIM+ELMo system보다 +27.1%, OpenAI GPT보다 8.3% 우수하다.

우리는 BERT와 정확히 동일한 pre-training data, fine-tuning scheme, hyperparameters를 사용하여 두 가지 pre-training objectives를 평가함으로써 BERT의 deep bidirectionality의 중요성을 입증한다${}_{\text{BASE}}$:

우리는 먼저 NSP task가 가져온 영향을 조사한다. Table에서5, 우리는 NSP를 제거하면 QNLI, MNLI, SQuAD 1.1에서 성능이 크게 손상됨을 보인다. 다음으로, “No NSP”를 “LTR&No NSP”와 비교하여 bidirectional representations 학습의 영향을 평가한다. LTR model은 모든 tasks에서 MLM model보다 성능이 낮으며, MRPC와 SQuAD에서 큰 하락이 있다.

SQuAD의 경우 LTR model이 token predictions에서 잘 수행하지 못할 것이라는 점은 직관적으로 명확한데, token-level hidden states가 오른쪽 context를 갖지 않기 때문이다. LTR system을 강화하려는 성실한 시도로, 우리는 위에 무작위로 초기화된 BiLSTM을 추가했다. 이는 SQuAD에서 결과를 상당히 개선하지만, 결과는 여전히 pre-trained bidirectional models의 결과보다 훨씬 나쁘다. BiLSTM은 GLUE tasks에서 성능을 해친다.

우리는 ELMo가 하듯이 별도의 LTR 및 RTL models를 학습하고 각 토큰을 두 모델의 concatenation으로 표현하는 것도 가능하다는 점을 인정한다. 그러나: (a) 이것은 단일 bidirectional model보다 두 배 비용이 든다; (b) QA와 같은 tasks에는 직관적이지 않은데, RTL model은 질문에 답을 condition할 수 없기 때문이다; (c) 이것은 deep bidirectional model보다 엄격히 덜 강력한데, 그것은 모든 layer에서 left와 right context 모두를 사용할 수 있기 때문이다.

이 절에서는 fine-tuning task accuracy에 대한 model size의 효과를 탐구한다. 우리는 이전에 설명한 것과 동일한 hyperparameters와 training procedure를 그 외에는 사용하면서, layers, hidden units, attention heads의 수가 다른 여러 BERT models를 학습했다.

선택된 GLUE tasks에 대한 결과는 Table에 제시되어 있다6. 이 표에서, 우리는 fine-tuning의 5개 random restarts에서 얻은 평균 Dev Set accuracy를 보고한다. 우리는 더 큰 models가 네 datasets 모두에서 엄격한 accuracy improvement로 이어짐을 볼 수 있으며, 이는 labeled training examples가 3,600개뿐이고 pre-training tasks와 상당히 다른 MRPC에서도 그렇다. 또한 기존 문헌에 비해 이미 꽤 큰 models 위에서 이러한 상당한 개선을 달성할 수 있다는 점은 아마도 놀랍다. 예를 들어,Vaswani et al. (2017)에서 탐구한 가장 큰 Transformer는 encoder에 대해 100M parameters를 가진 (L=6, H=1024, A=16)이고, 우리가 문헌에서 찾은 가장 큰 Transformer는 235M parameters를 가진 (L=64, H=512, A=2)이다Al-Rfou et al. (2018). 대조적으로, BERT${}_{\text{BASE}}$는 110M parameters를 포함하고 BERT${}_{\text{LARGE}}$는 340M parameters를 포함한다.

model size를 증가시키면 machine translation 및 language modeling과 같은 large-scale tasks에서 지속적인 개선으로 이어진다는 것은 오래전부터 알려져 왔으며, 이는 Table에 제시된 held-out training data의 LM perplexity로 입증된다6. 그러나 우리는 모델이 충분히 pre-trained되었다면 극단적인 model sizes로 scaling하는 것이 매우 small scale tasks에서도 큰 개선으로 이어진다는 것을 설득력 있게 입증한 첫 연구라고 믿는다.Peters et al. (2018b)는 pre-trained bi-LM size를 두 layers에서 네 layers로 증가시키는 것이 downstream task에 미치는 영향에 대해 혼합된 결과를 제시했고Melamud et al. (2016)는 hidden dimension size를 200에서 600으로 증가시키는 것은 도움이 되었지만, 더 나아가 1,000으로 증가시키는 것은 추가 개선을 가져오지 않았다고 지나가며 언급했다. 이 두 prior works는 모두 feature-based approach를 사용했다 — 우리는 모델이 downstream tasks에서 직접 fine-tuned되고 무작위로 초기화된 매우 적은 수의 additional parameters만 사용할 때, downstream task data가 매우 작더라도 task-specific models가 더 크고 더 표현력 있는 pre-trained representations로부터 이익을 얻을 수 있다고 가정한다.

지금까지 제시된 모든 BERT 결과는 fine-tuning approach를 사용했으며, 여기서는 간단한 classification layer가 pre-trained model에 추가되고 모든 parameters가 downstream task에서 jointly fine-tuned된다. 그러나 pre-trained model에서 fixed features를 추출하는 feature-based approach에는 특정 장점이 있다. 첫째, 모든 tasks가 Transformer encoder architecture로 쉽게 표현될 수 있는 것은 아니며, 따라서 task-specific model architecture가 추가되어야 한다. 둘째, training data의 비싼 representation을 한 번 pre-compute한 다음 이 representation 위에서 더 저렴한 models로 많은 experiments를 실행하는 데 큰 computational benefits가 있다.

이 절에서는 BERT를 CoNLL-2003 Named Entity Recognition (NER) task에 적용하여 두 접근법을 비교한다Tjong Kim Sang and De Meulder (2003). BERT의 input에서, 우리는 case-preserving WordPiece model을 사용하고, 데이터가 제공하는 최대 document context를 포함한다. 표준 관행에 따라, 우리는 이를 tagging task로 공식화하지만 output에 CRF layer를 사용하지 않는다. 우리는 NER label set에 대한 token-level classifier의 input으로 첫 번째 sub-token의 representation을 사용한다.

fine-tuning approach를 ablate하기 위해, 우리는 하나 이상의 layers에서 activations를 추출하여 feature-based approach를 적용한다없이BERT의 어떤 parameters도 fine-tuning하지 않는다. 이러한 contextual embeddings는 classification layer 전에 무작위로 초기화된 2-layer 768-dimensional BiLSTM의 input으로 사용된다.

결과는 Table에 제시되어 있다7. BERT${}_{\text{LARGE}}$는 state-of-the-art methods와 경쟁력 있게 수행한다. 가장 성능이 좋은 방법은 pre-trained Transformer의 top four hidden layers에서 token representations를 concatenate하며, 이는 전체 모델을 fine-tuning하는 것보다 단지 0.3 F1 뒤처진다. 이는 BERT가 fine-tuning 및 feature-based approaches 모두에 효과적임을 보여준다.