NLP/NLP Paper (3) 썸네일형 리스트형 [QG]A Feasibility Study of Answer-Agnostic Question Generation forEducation / 2022 ACL 논문 보러가기 github 2022 ACL Abstract Textbook 내용에 대한 Question Generation Model의 적용 가능성에 대한 타당성 연구 Question Generation 에서 생성된 Question의 오류를 분석했을 때 상당 부분이 해석할 수 없거나 (uninterpretable) 관련이 없는 question이 생성되는 것이었음 본 논문에서는 요약된 input을 제공해 위 오류를 완화할 수 있음을 주장 원본 text 대신 인간이 작성한 summarized input을 제공하면 생성된 질문의 수용 가능성(acceptability)가 33%에서 83%로 증가함은 전문가들의 평가를 토대로 확인함 또한 사람이 작성한 요약이 없는 경우 자동 요약이 대안이 될 수 있음을 확인함 I.. [Transformer] Attention Is All You Need (2) : Model Architecture(Encoder, Decoder) Transformer 논문을 아래 목차로 나눠 자세히 리뷰합니다. 더보기 1. Abstract ~ Background 2. Model Architecture(Encoder, Decoder) 3. Attention 4. FFN, Positional Encoding 5. Training 6. Result, Conclution Model Architecture - Transformer는 self-attention과 fully connected layers를 사용해 encode와 decoder를 구성함 - encoder와 decoder를 여러개 쌓아 모델은 입력과 출력 시퀀스간의 복잡한 관계를 학습할 수 있음 Point-wise (element-wise) - 각 요소별 연산(같은 위치끼리) - 행렬곱보다 연산량.. [Transformer] Attention Is All You Need (1) : Abstract부터 Background까지 Transformer 논문을 아래 목차로 나눠 리뷰합니다. 더보기 1. Abstract ~ Background 2. Model Architecture 3. Attention 4. FFN, Positional Encoding 5. Training 6. Result, Conclution Abstract - Transformer는 Self-Attention만으로 구성된 새로운 인코더-디코더 모델 Contribution 1. 병렬 처리가 가능해지며 RNN보다 빠른 속도와 높은 정확도를 달성 2. Long-term dependency problem 해결 3. 자연어 처리 분야의 성과 Introduction Transduction models - 입력 시퀀스를 출력 시퀀스로 변환하는 모델 - e.g. RNN, Tr.. 이전 1 다음
