NLP/Prompt-tuning (1) 썸네일형 리스트형 Prompt based learning 이란? 1. Prompt based learning란? input을 변형해 fine-tuning없이 pre-trained 모델을 down stream task에 적용하는 기술 Pre-trained LM을 재학습없이 활용하는 방법으로, 2019년도부터 활발히 연구되고 있음 핵심은 Input과 Output을 재구성하는 것 2. prompt learning 과정 step1. 하늘색으로 표시된, Template이라고 불리는 문장을 input에 추가해 input 형식 변경 - mask에 어떤 단어가 들어오는지에 따라, I like this movie가 긍정인지, 부정인지 판단할 수 있게됨 step2. 변경된 input을 PLM(예시에서는 GPT)에 넣으면, GPT는 mask 토큰에 들어갈 수 있는 단어들의 확률분포를 출.. 이전 1 다음
