ELECTRA - GAN 과 유사하게 Generator와 Discriminator로 구성됨 - Generator : 원본 문장에서 일부 단어를 [MASK] 태그로 변환후 [MASK] 토크의 단어를 예측하여 다른 토큰으로 변환 하는 모델 - Discriminator : Generator가 생성한 문장의 각단어들의 토큰들이 치환(replaced)된 데이터인지 원본(original) 데이터인지 식별, FineTuning 시 Discriminator 사용 - Generator Loss function : 마스크 된 토큰을 특정토큰으로 치환시킬 확률 - Discriminator Loss function : 해당토큰이 치환된 토큰인지 아닌지 판별하는 Classification 확률 - Generator and Di..
