이전글| ProQA: 통합 질문 응답을 위한 구조적 프롬프트 기반 사전 교육 | | | ...........with.QA |
 |
2024.04.01. 22:05 |
ProQA: 통합 질문 응답을 위한 구조적 프롬프트 기반 사전 교육
Wanjun Zhong 1 , Yifan Gao 4* , Ning Ding 3 , Yujia Qin 3 , Zhiyuan Liu 3 ,
밍저우 5, Jiahai Wang 1 , Jian Yin 1 및 Nan Duan 2
1 Sun Yat-sen University 2 Microsoft Research Asia
3 Tsinghua University 4 Chinese University of Hong Kong 5 Langboat Technology
{zhongwj25@mail2, wangjiah@mail,issjyin@mail}.sysu.edu.cn
yfgao@cse.cuhk.edu.hk; liuzy@tsinghua.edu.cn
{dingn18, qyj20}@mails.tsinghua.edu.cn
nanduan@microsoft.com; zhouming@chuangxin.com
균등 기여를 나타냅니다.
추상적인
QA(질문 응답)는 자연어 처리 분야에서 오랜 과제입니다. 기존 QA 작업은 대부분 특정 질문 유형, 지식 영역 또는 추론 기술에 중점을 둡니다. QA 연구의 전문성은 시스템이 작업 간의 공통성을 모델링하고 더 넓은 응용 프로그램을 일반화하는 것을 방해합니다. 이러한 문제를 해결하기 위해 우리는 단일 모델을 통해 다양한 업무를 해결하는 통합 QA 패러다임인 ProQA를 제시합니다. ProQA는 통일된 구조적 프롬프트를 교량으로 삼아 구조적 프롬프트 기반 사전 학습을 통해 QA 중심 능력을 향상시킵니다 . 구조적으로 설계된 프롬프트 기반 입력 스키마를 통해 ProQA는 모든 특정 QA 작업에 대한 지식 사용자 정의를 유지하면서 모든 QA 작업에 대한 지식 일반화를 동시에 모델링합니다. 또한 ProQA는 구조적 프롬프트 형식의 대규모 합성 코퍼스로 사전 훈련되어 일반적으로 요구되는 QA 능력을 모델에 부여합니다. 11개 QA 벤치마크에 대한 실험 결과는 ProQA가 전체 데이터 미세 조정, 소수 학습 및 제로 샷 테스트 시나리오 모두에서 지속적으로 성능을 향상시키는 것으로 나타났습니다. 또한 ProQA는 구조적 프롬프트의 장점을 활용하여 지속적인 학습과 전이 학습 모두에서 강력한 능력을 발휘합니다. 1
1
코드는 https://github.com/zhongwanjun/ProQA 에서 확인할 수 있습니다 .
1소개
그림 1:ProQA의 접근 방식 개요. 각 상자는 구조적 프롬프트 로 구성된 특정 인스턴스를 나타내며 ProQA는 구조적 프롬프트 기반 사전 학습 으로 사전 학습되었습니다 .
[]
특수 키 표시기를 나타냅니다 .
<>
는 하드 프롬프트를 나타내고 색상이 있는 사각형은 연속적으로 학습 가능한 소프트 프롬프트를 나타냅니다 .
질문 답변은 오랫동안 NLP 연구에서 영감을 주는 도전이었으며 차세대 검색 엔진이자 인간이 지식을 얻는 데 필수적인 도구로 간주됩니다 .2011년) . 다양한 개별 데이터 세트 Rajpurkar et al. (2016년); Laiet al. (2017년); Kwiatkowskiet al. (2019); Gaoet al. (2021) 은 QA에 대한 연구 동향과 함께 매우 다양한 질문 유형(예: 추출적 QA, 추상적 QA, 객관식 QA ), 도메인(예: 금융, 일일 이벤트 ), 답변 유형(예: 자유- 형성된 텍스트, 선택된 옵션 ). 이전 연구의 대부분은 특정 질문 유형이 있는 작업에 초점을 맞췄습니다 . Lai et al. (2017년); Yanget al. (2018); Gaoet al. (2020) 또는 특정 도메인 Trischler et al. (2017년); Kwiatkowskiet al. (2019) . 사전 훈련된 대규모 언어 모델에 대한 최근 연구 Brown et al. (2020); Bommasaniet al. (2021)는 다양한 작업 간에 긴밀한 연결이 있을 수 있음을 나타내며, 이는 공통성을 모델링하기 위해 다양한 QA 작업을 해결하는 데 잠재적으로 적용될 수 있는 통합 패러다임을 밝힙니다.
이러한 관찰은 우리가 일반적으로 요구되는 QA 능력과 동일한 패러다임 내에서 다양한 QA 작업 간의 차이를 모두 모델링할 수 있는 통합 QA 모델을 개발하도록 동기를 부여합니다. 이 목표를 달성하려면 해결해야 할 몇 가지 주요 과제가 있습니다. (1) 공통성을 모델링하고 다양한 도메인/형식의 다양한 QA 작업 간의 이전 가능성을 향상시키는 동시에 QA 작업 간의 충돌을 줄이는 방법은 무엇입니까? (2) 사전 학습을 위한 고품질 QA 중심 데이터가 부족하므로 대규모 QA 코퍼스를 어떻게 구성할 수 있습니까?
이에 비추어 우리는 구조적 프롬프트를 활용하여 다양한 QA 작업을 해결하기 위한 일반 모델을 구축하고 구조적 프롬프트 기반 사전 학습을 통해 일반적으로 요구되는 QA 능력을 향상시키는 통합 QA 패러다임인 ProQA를 구상합니다 .
첫째, 공통점을 모델링하고 작업 차이를 구별하기 위해 구조적으로 설계된 통일된 입력 스키마를 사용하여 입력을 구성하는 구조적 프롬프트를 채택합니다. 그림 1 에 도시된 바와 같이 , 복잡한 구성 요소(예: "Domain" , "Format" , "Task" , "Question" , "Passage" )가 입력으로 주어지면 ProQA는 구성 요소를 여러 키-값 쌍으로 나눕니다. "Question" 과 같은 특정 구성 요소는 키를 나타내며 이 구성 요소의 특정 인스턴스가 값으로 사용됩니다. 이러한 방식으로 모델은 주요 지표로 다양한 입력 구성 요소를 구별하고 작업별 값(학습 가능한 프롬프트)을 통해 각 작업의 특수성을 모델링할 수 있습니다.
둘째, 데이터 희소성 문제를 완화하고 모델에 새로운 작업 적응에 대한 전이성을 부여하기 위해 구조적 프롬프트 기반 사전 학습을 수행합니다 . 먼저 Wikipedia에서 대규모 합성 QA 코퍼스를 자동으로 구축하여 사전 학습 코퍼스 구성을 위한 사전 감독으로 몇 가지 시드 데이터 세트만 활용하고 최종적으로 기본 QA 형식을 다룹니다. 그런 다음 구조적 프롬프트를 사용하여 사전 학습 데이터의 형식을 지정하고 사전 학습을 통해 구조적 프롬프트의 각 구성 요소의 기능과 범용 QA 중심 능력을 학습하도록 모델을 가르칩니다.
우리는 11개의 다운스트림 QA 벤치마크에서 ProQA의 효율성을 평가했으며, 그 결과 우리 시스템이 전체 데이터 미세 조정, 퓨샷 학습 및 제로샷 학습 설정에서 일관된 성능 향상을 달성한 것으로 나타났습니다. 실험은 ProQA가 구조적 프롬프트에 있는 작업별 소프트 프롬프트를 복원하여 지속적인 학습 중에 치명적인 망각 문제를 더 잘 완화할 수 있음을 보여줍니다. 추가 분석에서는 우리 모델이 새로 관련된 작업에 더 빠르게 적응할 수 있기 때문에 더 나은 전달 가능성을 가지고 있음을 보여줍니다. 절제 연구는 소프트 프롬프트와 프롬프트 기반 사전 훈련 모두의 효과를 검증합니다.
기여는 다음과 같이 요약됩니다.
• 우리는 확장 가능하고 학습 가능한 구조적 프롬프트를 가교로 삼아 단일 패러다임 내에서 다양한 작업을 해결하기 위한 통합 QA 프레임워크인 ProQA를 제안합니다.
• 구조적 프롬프트 기반 사전 교육을 통해 전반적인 QA 중심 역량을 강화합니다.
• 포괄적인 실험에 따르면 우리 모델은 특히 저자원 설정에서 11가지 QA 작업의 성능을 지속적으로 향상시키고 지속적인 학습 및 소수의 전이 학습에서 더 나은 효율성을 나타냅니다.
2관련된 일
QA 형식 통합.
질문 유형, 답변 유형, 답변 소스 및 데이터 도메인에서 현재 QA 작업이 매우 다양함에도 불구하고 (Zeng et al.,2020) 다양한 QA 업무에 대한 통일된 형식을 모색하려는 노력이 있어 왔습니다 . 일부는 다양한 QA 작업 간의 일반화 및 이전 가능성을 입증하기 위해 선구적인 역할을 했습니다 (Talmor 및 Berant,2019; 두아 외.,2019a; Fisch et al.,2019) . 또 다른 작업 라인은 QA를 위한 다중 작업 학습을 조사합니다 (McCann et al.,2018; 센 외.,2019; 뎅 등,2019) 지식 공유를 촉진하기 위해 단일 인코더를 공동으로 교육합니다. 그러나 이러한 방법은 일반적으로 다양한 작업에 대해 고유한 예측 헤드를 배포해야 하므로 새로운 유형의 새로운 QA 작업에 직면할 때 확장성과 유연성이 저하됩니다.
이를 위해 여러 작업을 동일한 텍스트 대 텍스트 형식으로 캐스팅한 성공에서 영감을 얻었습니다 (Lewis et al.,2020; 라펠 외,2020) , 연구자들은 다양한 QA 형식을 통합하여 작업별 설계에 드는 수고를 덜어주는 단일 모델을 학습할 것을 제안합니다 (Khashabi et al.,2020b; 타피요르드와 클라크,2021) . 그러나 이러한 모델은 (1) 작업 또는 구성 요소 특성을 명시적으로 모델링하지 않으므로 QA 작업 간의 차이를 적절하게 분리하지 못합니다. (2) 데이터가 부족한 시나리오에서는 사용할 수 없는 특정 작업의 감독 데이터에 과도하게 의존합니다.
QA 중심의 사전 교육.
(1) 무작위로 선택된 복구를 위해 PLM을 훈련시키는 돌출 범위 마스킹을 사용한 언어 모델링 적응을 포함하여 대상 QA 작업을 미세 조정하기 전에 중간 사전 훈련 단계를 통해 PLM의 추론 능력을 향상시키기 위해 수많은 노력이 기울여졌습니다 (Guu et al .,2020; 왕 외.,2021) 또는 기계 생성 (Kang et al.,2020) 원시 코퍼스의 마스크된 명명된 엔터티; (2) 훈련 데이터 확대 Zhong et al. (2022년) (a) 적대적 훈련을 통한 의사 질문 생성과 같은 합성 질문-답변-컨텍스트 트리플 (Hosking and Riedel,2019; 리 외.,2019) , 지식 기반 (Hu et al.,2021) 또는 기계 번역 (Lewis et al.,2019; 리 외.,2020) , (b) 반복 범위를 활용하는 의사 답변 (Ram et al.,2021) 또는 경험적 방법에 기반한 규칙 (Bian et al.,2021) 및 (c) 정보 검색을 통한 의사 컨텍스트 (Glass et al.,2020) . 그럼에도 불구하고 이러한 작업은 주로 PLM의 특정 추론 능력을 향상시키는 것을 목표로 하므로 다른 QA 작업으로 쉽게 일반화될 수 없습니다.
PLM에 대한 프롬프트.
사전 훈련을 통해 획득한 지식을 효과적으로 자극하기 위해 신속한 지향의 미세 조정이 Liu et al. (2021); Dinget al. (2021) 수동으로 설계된 항목을 삽입하여 사전 훈련과 유사한 다운스트림 작업의 목표를 다시 공식화합니다 (Schick and Schütze,2021a,비) 또는 자동으로 검색됩니다 (Jiang et al.,2020; 신 외,2020) 하드 프롬프트 토큰을 입력 텍스트에 추가합니다. 연속 임베딩 공간에서는 개별 프롬프트가 최적의 솔루션이 아닐 수 있다는 점을 고려하여 최근 연구 (Li and Liang,2021; Hambardzumyanet al.,2021) 조정 가능한 소프트 프롬프트를 제안했습니다. 특히 모델 크기가 극도로 커질 때 만족스러운 성능을 달성합니다 (Lester et al.,2021) . PLM의 번거로운 매개 변수와 비교할 때 소프트 프롬프트는 가볍고 플러그 가능하므로 새로운 QA 작업에 유연하게 적응하려는 목표를 달성할 수 있습니다.
삼프로QA
본 섹션에서는 동일한 패러다임 내에서 다양한 QA 업무를 해결하는 범용 QA를 위한 ProQA의 전체 프레임워크를 자세히 설명합니다.
3.1개요
그림 2 에서 볼 수 있듯이 우리는 통일된 구조적 프롬프트 ( § 3.2 ) 를 사용하여 다양한 QA 작업의 입력을 구성 하고 질문 답변을 위한 통일된 모델을 채택합니다. 그런 다음 QA 중심 능력과 구조적 프롬프트의 의미를 학습하는 모델을 강화하기 위해 구조적 프롬프트로 포맷된 합성 사전 학습 코퍼스를 사용하여 구조적 프롬프트 기반 사전 학습을 수행합니다( § 3.3 ).
Khashabi 등 으로부터 영감을 얻었습니다 . (2020b) 및 T5 Raffel et al. (2020) , 우리는 통합된 텍스트-텍스트 모델을 사용하여 모든 다운스트림 QA 작업을 해결합니다. 이 작업에서는 주로 T5를 모델 백본으로 채택합니다. 구조적 프롬프트 기반 모델 입력을 받아 통합 모델은 질문에 대한 답변을 생성합니다.
그림 2:구조적 프롬프트의 그림입니다.
[]
특별한 핵심 지표를 나타냅니다.
<>
는 하드 프롬프트를 나타내고 회색 사각형은 연속적인 소프트 프롬프트를 나타냅니다.
3.2구조적 프롬프트
여기에서는 구조적 프롬프트의 디자인과 모델에 대한 형식화된 입력을 자세히 설명합니다.
정의.
우리는 구조적 프롬프트를 통해 복잡한 QA 작업 입력을 구성합니다. 그림 2 에서 볼 수 있듯이 구조적 프롬프트는 여러 개의 프롬프트로 구성됩니다.
{케이이자형와이:�ㅏ엘유이자형}
쌍, 여기서
케이이자형와이
특정 구성 요소를 나타냅니다 2
2
" Format " 키는 작업의 형식 유형(예: " MultiChoice QA ")을 나타내고 " Task " 키는 특정 데이터 세트(예: " SQuAD ")를 나타냅니다.
(예: " 작업 ", " 형식 ", " 질문 " 등) 및
�ㅏ엘유이자형
두 가지 가능한 유형이 있습니다: (1) 데이터 인스턴스의 텍스트 콘텐츠(예: 질문 , 구절 , 옵션 ); (2) 개별 하드 프롬프트 와 연속 소프트 프롬프트 의 조합으로 표현되는 작업 속성(예: 형식, 도메인 ) . 하드 프롬프트는 미리 정의된 개별 설명(여기서는 특수 토큰을 채택함)이고 소프트 프롬프트는 작업 적응에서 매개변수 효과적인 것으로 입증된 경량 학습 가능 및 플러그형 연속 임베딩입니다. Lester et al. (2021) . 구조적 프롬프트 형식의 예는 그림 1 에 나와 있습니다 . SQuAD 데이터세트의 경우, “
⟨
형식 프롬프트
⟩
","
⟨
작업 프롬프트
⟩
","
⟨
도메인 프롬프트
⟩
" 될거야 "
⟨
추출적 QA
⟩
","
⟨
분대
⟩
","
⟨
위키피디아
⟩
", 각각.
구성 요소 간의 기능적 차이를 식별하는 모델을 향상시키기 위해 각 키를 나타내는 학습 가능한 표현이 있는 특수 키 표시기를 채택합니다. 또한 여러 작업/도메인/형식 간의 차이를 모델링하기 위해 학습 가능하고 저장 가능한 특정 소프트 프롬프트 도 채택했습니다 .
�ㅏ엘유이자형
사용자 정의된 특성을 나타내기 때문에 모델이 작업 적응에 더 유연해집니다.
결과적으로 구조적 프롬프트는 다음과 같은 측면에서 모델에 권한을 부여할 수 있습니다. (1) 통합 입력 스키마를 활용하여 다양한 작업에 대한 지식 일반화 모델링; (2) 특수한 구성 요소로 다양한 구성 요소를 식별합니다.
케이이자형와이
지시자; (3) 학습 가능하고 저장 가능한 소프트 프롬프트를 사용하여 각 작업/형식/도메인의 특수성을 사용자 정의합니다.
�ㅏ엘유이자형
해당 키 아래에 있습니다.
입력 표현.
특히, 구조적 프롬프트 형식의 인스턴스가 주어지면 모델 입력의 특정 표현을 설명합니다. 우리는 먼저 번역합니다
케이티시간
핵심 지표 의 핵심
디케이
(특수 토큰), 토큰에 의해 첨부됨
�케이
특정 값을 사용하여 토큰 시퀀스를 형성합니다. 이는 다음과 같이 추가로 표현됩니다.
𝑬케이=이자형중비이자형디디나��([디케이;�케이])
. 의 표현
디케이
훈련 중에 초기화되고 업데이트됩니다. 우리는 소프트 프롬프트를 사용하기 때문에
𝑷일
/
𝑷체재
/
𝑷도메인
해당 키의 값으로 모든 작업에 일반적으로 필요하므로 편의를 위해 입력 앞에 추가하고 모든 키를 연결합니다.
𝑬케이
최종 모델 입력을 형성하기 위해
𝑿
:
|
𝑿=[𝑷도메인;𝑷체재;𝑷일;𝑬1;…;𝑬케이] |
(1) |
표현이 있다는 점도 주목할 가치가 있습니다.
𝑫
주요 지표 및 소프트 프롬프트
𝑷
구조적 프롬프트의 의미를 학습하기 위해 사전 훈련 중에 주요 모델 매개변수와 공동으로 훈련됩니다. 또한 다양한 작업을 통해 조정된 후 소프트 프롬프트가 표시됩니다.
𝑷
맞춤형 작업별 특성을 기록하기 위해 저장할 수 있습니다.
3.3구조적 프롬프트 기반 사전 훈련
이 부분에서는 모델이 일반적으로 요구되는 QA 능력과 사전 훈련 중에 구조적 프롬프트의 의미를 학습하여 구조적 프롬프트 기반 사전 훈련을 수행하여 다운스트림 작업에 대한 구조적 프롬프트의 적응을 촉진하는 방법을 소개합니다.
작업 공식화.
구조적 프롬프트 기반 패러다임과 함께 일반적인 QA 중심 능력을 주입하기 위한 사전 훈련을 위해 다양한 예시적인 QA 형식 유형(예: 추출 QA , 추상 QA , 객관식 QA 및 예/아니요 QA )을 나타냅니다. 다중 형식 QA 사전 훈련 코퍼스가 주어지면 제안된 구조적 프롬프트에 따라 모든 QA 형식을 변환하여 다양한 형식 간의 차이를 유지하면서 공동 사전 훈련을 가능하게 합니다. 구조적 프롬프트 형식의 인스턴스를 입력으로 사용하고 자유 형식 답변을 출력으로 사용하여 작업은 인코더-디코더 모델을 사용하는 QA 작업에 맞게 더욱 맞춤화됩니다.
사전 훈련 코퍼스 구성.
QA 사전 훈련 코퍼스를 준비할 때 (1) 사전 훈련을 위한 대규모 고품질 주석 데이터를 얻는 것이 비현실적이고 힘들며 (2) QA를 생성하기 어렵기 때문에 데이터 희소성 문제가 매우 심각합니다. -규칙 기반 방법(예: 토큰 마스킹 또는 문장 재정렬)을 사용하는 중심 자기 감독 데이터. 이 작품에서는 Lewis et al. (2021) , 우리는 거의 600만 개의 구절이 있는 레이블이 지정되지 않은 대규모 Wikipedia 코퍼스를 기반으로 대규모 사전 훈련 코퍼스를 합성하기 위해 세대 필터링 기반 코퍼스 구성 방법을 채택합니다.
일반적으로 일반 생성 필터링 프로세스는 다음 구성 요소로 구성됩니다.
1. QA 쌍 생성 모델
�큐ㅏ(큐,ㅏ|씨)
: 주어진 구절
씨
입력으로,
�큐ㅏ(큐,ㅏ|씨)
생성하다
큐[9월]ㅏ
한 쌍의 질문을 포함하는 출력 시퀀스로
큐
그리고 그 대답
ㅏ
.
2. 필터링 QA 언어 모델
에프(ㅏ|큐,씨)
질문과 답변의 품질과 일관성을 보장하기 위해 생성된 QA 쌍을 필터링합니다.
에프(ㅏ|큐,씨)
QA 쌍을 부드럽게 필터링하는 조건부 확률 기반 접근 방식입니다. QA 쌍의 점수를 매깁니다.
(큐,ㅏ)
대답의 확률로
ㅏ
통과 조건에 따라
씨
그리고 질문
큐
. 임계값보다 높은 점수를 가진 QA 쌍은 사전 훈련을 위해 보관됩니다.
우리는 생성 및 필터링 모델 모두의 모델 백본으로 § 3.1 에 설명된 것과 동일한 텍스트-텍스트 사전 학습 모델 T5를 채택합니다 .
생성 및 필터링 모델의 신뢰성을 보장하기 위해 필연적으로 이러한 모델을 교육하기 위한 사전 감독으로 몇 가지 시드 데이터 세트(일반적으로 각 QA 형식 유형에 대해 하나)를 선택합니다. 우리는 전체 패러다임이 더 나은 확장성을 가질 것으로 기대하기 때문에 말뭉치 구성에 더 많은 감독 데이터를 사용하지 않는다는 점을 언급할 가치가 있습니다. 즉, 새로 포함된 QA 형식 유형에 대한 패러다임을 확장하고 싶지만 지도 데이터가 제한된 경우 이러한 데이터를 활용하여 합성 대규모 사전 학습 코퍼스를 자동으로 생성할 수 있습니다.
보다 구체적으로 말하면, 입력 구성 요소에 따라 다양한 형식에 대한 구성 방법의 차이가 거의 없습니다. Extractive QA 와 Abstractive QA 의 경우 앞서 언급한 일반적인 방법을 사용하여 QA 쌍을 합성합니다. 또한 먼저 규칙 기반 방법(명명된 엔터티 또는 핵심 문구 추출)을 사용하여 답변을 추출하고 질문만 생성하려고 했습니다. 우리는 경험적으로 이 방법이 규칙 기반 방법의 단순 편향을 포함하므로 훨씬 더 나쁜 성능을 발휘한다는 것을 발견했습니다. 객관식 QA 의 입력에는 새로운 구성 요소인 " 후보 답변 "이 포함되므로 방해 요소(부정 옵션) 생성 모델을 채택합니다.
��이자형�(영형|씨,큐,ㅏ)
세 가지 부정적인 옵션을 생성하려면
영형
. 예/아니요 QA 의 경우 해당 답변으로 True/False를 취하여 질문을 생성합니다 . 자세한 내용은 부록 A 에 설명되어 있습니다 .
4실험 설정
|
체재 |
데이터세트 |
#기차 |
#개발 |
QA 기술 |
|
추출적 QA |
분대* |
87k |
10,000 |
단어 매칭 |
|
쿼레프 |
22,000 |
2천 |
상호참조 추론 | |
|
뉴스QA |
76,000 |
4K |
단어 매칭 | |
|
추상적인 QA |
나르QA* |
65,000 |
21,000 |
스토리 이해 |
|
떨어지다 |
77,000 |
9천 |
이산적 추론 | |
|
NQ오픈 |
79,000 |
3.6k |
다중 구절 이해 | |
|
MultiChoice QA |
경주* |
87k |
4K |
다중 문장 추론 |
|
꿈 |
6천 |
2천 |
대화 추론 | |
|
MC테스트 |
1.4k |
320 |
다중 문장 추론 | |
|
OBQA |
4K |
501 |
기본 상식 | |
|
시카 |
33.4k |
2.2k |
상식적 추론 |
1 번 테이블:데이터 세트 통계 및 필요한 언어 이해 기술. *가 있는 데이터 세트는 사전 학습 데이터 준비를 위한 시드 데이터 세트를 나타냅니다.
|
환경 |
데이터세트 |
추출QA |
추상적인QA |
MultiChoiceQA |
평균 | ||||||||
|
분대 |
쿼레프 |
뉴스QA |
나르QA |
떨어지다 |
NQ오픈 |
경주 |
꿈 |
MC테스트 |
OBQA |
시카 | |||
|
전체 데이터 |
T5 |
83.4 |
64.9 |
45.2 |
49.3 |
45.0 |
42.3 |
67.9 |
54.8 |
44.4 |
49.6 |
64.1 |
55.5 |
|
통합QA |
84.4 |
74.8 |
45.3 |
49.6 |
45.1 |
42.5 |
71.6 |
67.6 |
83.1 |
57.6 |
64.9 |
62.4 | |
|
ProQA (qapair) |
84.9 |
76.6 |
50.8 |
49.8 |
55.0 |
43.2 |
73.6 |
72.9 |
85.0 |
61.6 |
67.5 |
65.5 | |
|
ProQA(팩) |
85.3 |
76.8 |
50.4 |
50.1 |
52.5 |
43.9 |
73.2 |
73.3 |
85.9 |
61.4 |
67.2 |
65.5 | |
|
퓨샷 |
T5 |
6.7 |
14.6 |
20.5 |
3.4 |
5.8 |
11.9 |
26.2 |
34.7 |
38.1 |
29.0 |
32.4 |
20.3 |
|
통합QA |
82.0 |
38.2 |
34.2 |
49.1 |
22.2 |
31.6 |
53.0 |
57.4 |
73.8 |
41.2 |
42.8 |
48.1 | |
|
ProQA (qapair) |
82.9 |
44.2 |
41.1 |
49.1 |
24.9 |
33.3 |
63.4 |
64.5 |
82.5 |
46.2 |
49.1 |
52.8 | |
|
ProQA(팩) |
84.4 |
52.2 |
42.1 |
49.2 |
27.1 |
36.0 |
66.5 |
66.0 |
84.1 |
44.8 |
49.4 |
54.7 | |
|
제로샷 |
T5 |
0.0 |
0.0 |
0.0 |
3.5 |
2.0 |
1.5 |
24.1 |
34.2 |
27.5 |
21.9 |
33.2 |
13.5 |
|
통합QA |
80.7 |
27.9 |
31.4 |
48.3 |
18.0 |
30.9 |
53.0 |
57.0 |
73.4 |
35.9 |
40.3 |
45.2 | |
|
ProQA (qapair) |
80.4 |
30.5 |
30.7 |
48.1 |
17.0 |
33.0 |
62.6 |
64.3 |
81.3 |
36.0 |
47.2 |
48.3 | |
|
ProQA(팩) |
81.3 |
42.1 |
31.8 |
48.4 |
19.7 |
36.0 |
65.9 |
65.2 |
81.3 |
38.6 |
46.7 |
50.6 | |
표 2:전체 데이터 미세 조정, 소수 쇼 학습 및 제로샷 학습 설정에서 11개 다운스트림 QA 데이터 세트에 대한 주요 결과입니다. 시드 데이터 세트의 감독은 프리 트레이닝 코퍼스 구성에 사용되어 퓨샷 및 제로 샷 설정에 편향이 발생할 수 있으므로 해당 항목에 대한 결과에는 밑줄이 그어져 있습니다.
4.1데이터 세트 및 평가 지표
우리는 실험에서 추출적 QA, 추상적 QA 및 다중 선택 QA 3 의 세 가지 형식의 QA 데이터 세트를 고려합니다.
삼
또한 파일럿 연구에는 예/아니요 QA도 포함됩니다. 이 형식의 데이터 세트는 극히 드물기 때문에 주요 실험에서는 고려하지 않습니다. 이 QA 형식에 대한 결과는 부록 B 에 나와 있습니다 .
. 각 QA 형식에 대해 대규모 사전 훈련 데이터를 준비하기 위해 하나 의 시드 데이터 세트를 선택합니다. 시드 데이터셋은 사전 훈련 코퍼스 구성 과정에서 질문-답변 생성 및 필터링 모델을 훈련하는 데 사용됩니다. 전체적으로 세 가지 형식과 다양한 언어 이해 능력을 갖춘 11개의 QA 데이터 세트에 대해 실험이 수행되었습니다. 실험에 사용된 데이터세트의 개요와 필요한 QA 기술은 표 1 에 요약되어 있습니다 .
추출적 QA.
우리는 SQuAD 1.1 Rajpurkar et al을 사용합니다. (2016년) 을 추출 스타일 QA를 위한 시드 데이터세트로 사용합니다. 또한 NewsQA Trischler et al. (2017년) 및 Quoref Dasigi et al. (2019) 모델의 일반화 능력을 평가합니다. 추출된 스팬과 골드 답변 스팬 간의 EM(Exact Match) 점수는 추출적 QA의 평가 지표로 사용됩니다.
추상적인 QA.
내러티브 QA(NarQA) Kočiský et al. (2018)는 Abstractive QA의 시드 데이터세트로 사용됩니다. DROP Dua 외. (2019b) 및 NaturalQuestions(NQOpen) Kwiatkowski et al. 의 오픈 도메인 버전 . (2019) 도 고려된다. NQOpen의 각 질문에 대한 지문은 밀도가 높은 지문 검색기 Karpukhin et al. 에 의해 검색됩니다. (2020) 시퀀스로 연결됩니다. 우리는 ROUGE-L 린(2004년) DROP 및 NQOpen에 대한 NarQA 및 F1 점수에 대한 측정항목입니다.
객관식 QA.
객관식 QA의 경우 다음 데이터 세트가 고려됩니다. RACE Lai et al. (2017년) (시드 데이터세트), DREAM Sun et al. (2019) , MCTest Richardson 외. (2013년) , OpenBookQA(OBQA) Mihaylov et al. (2018) , Social IQa(SIQA) Sap et al. (2019) . OBQA에는 맥락(독해 구절)이 없습니다. DREAM의 맥락은 대화 스타일이며 이를 구절 입력으로 시퀀스로 연결합니다. 생성된 답변과 텍스트 유사성이 가장 높은 옵션을 최종 답변으로 선택합니다. 우리는 모든 객관식 QA 데이터 세트에 대해 올바른 옵션의 정확성을 계산합니다.
|
행동 양식 |
작업 A → 작업 B | |||||||||
|
전 → 전 |
전 → AB |
전 → MC |
AB → 전 |
AB → AB |
AB → MC |
MC → 전 |
MC → AB |
MC → MC |
평균 | |
|
작업 B 모델 |
20.5% |
26.2% |
13.0% |
8.9% |
6.3% |
6.5% |
4.6% |
4.9% |
0.9% |
9.9% |
|
작업 B 모델(작업 A 프롬프트 포함) |
17.1% |
10.6% |
6.7% |
3.1% |
3.1% |
2.2% |
0.4% |
0.7% |
-0.5% |
4.3% |
표 3: 원래 작업과 비교하여 평균 성능 저하에 대한 지속적인 학습 결과 A는 다른 작업 학습 순서에 따른 결과입니다( 낮을수록 좋음 ). 음수는 원래 작업 A 결과에 비해 성능이 향상되었음을 의미합니다. EX: 추출적 QA; AB: 추상적인 QA; MC: 여러 팀의 QA입니다.
4.2구혼
T5
Raffelet al. (2020)는 모든 텍스트 기반 언어 문제를 다루는 통합된 텍스트 대 텍스트 사전 학습 프레임워크입니다. 우리는 HuggingFace Transformers Wolf et al 의 google / t5-v1_1-base를 사용합니다. (2020) 감독된 훈련 데이터 세트(예: QA 데이터 세트)를 제외하고 C4에서만 사전 훈련되었습니다.
통합QA
Khashabiet al. (2020b)는 T5에서 텍스트 대 텍스트 작업으로 공식화하여 다양한 QA 작업의 형식 경계를 넘습니다. \n을 통한 모든 입력을 시퀀스로 직접 연결 하고 답을 예측하기 위해 T5에 공급합니다. 우리는 앞서 언급한 세 가지 시드 데이터 세트, 즉 SQuAD, NarQA 및 RACE의 조합을 통해 자체 UnifiedQA 모델을 교육합니다.
프로QA
우리가 제안한 구조적 프롬프트 기반 사전 훈련 접근법입니다. ProQA는 추출적 QA, 추상적 QA, 다중 선택 QA라는 세 가지 사전 훈련 코퍼스 형식으로 공동으로 사전 훈련됩니다. § 3.3 에 설명된 QA 쌍 생성 필터링 모델에서 준비된 코퍼스를 사용하는 이 접근 방식을 ProQA(qapair)라고 합니다. 또한, 우리는 아마도 묻는 질문/PAQ Lewis et al. 의 기성품 대규모 QA 쌍을 활용합니다 . (2021) , 그리고 추출적 QA 사전 훈련 코퍼스를 PAQ의 하위 집합으로 대체합니다(추상적 QA 및 객관식 QA 코퍼스는 변경되지 않음). PAQ는 QA 쌍 생성의 모든 단계(예: 구절 선택, 답변 식별, 질문 생성 및 필터링)에서 학습된 모델을 도입하는 세련된 파이프라인을 제공합니다. 우리는 이 변종을 ProQA(paq)라고 명명합니다.
모든 다운스트림 QA 데이터세트에 대해 위의 사전 훈련된 모델에서 시작하여 전체 데이터 미세 조정, 퓨샷 학습 및 제로샷 학습 설정에서 실험을 수행합니다. 퓨샷 학습을 위해 훈련 세트에서 무작위로 32개의 인스턴스를 샘플링합니다.
5결과 및 분석
5.1주요 결과
주요 결과는 표 2 에 나와 있으며 다음과 같은 관찰 결과가 있습니다.
• QA 중심의 사전 훈련된 모델, 즉 UnifiedQA 및 ProQA는 시드 데이터 세트와 비 시드 데이터 세트 모두에서 T5보다 큰 차이로 성능이 뛰어납니다. 이는 다양한 QA 작업 전반에 걸쳐 이전 가능한 지식이 있기 때문입니다. QA 작업을 통해 모델이 사전 훈련되면 학습된 지식을 다른 데이터세트에 일반화할 수 있습니다.
• ProQA는 UnifiedQA보다 더 나은 지식 사용자 정의 기능을 보여줍니다. ProQA는 퓨샷 및 제로샷 설정에서 UnifiedQA를 큰 차이로 능가합니다. 이는 (1) 구조적 프롬프트의 하드 프롬프트와 소프트 프롬프트가 모든 QA 작업, 특히 모든 QA 작업마다 다른 "작업" 키-값 쌍에 대해 더 나은 지식 사용자 정의를 가능하게 하기 때문입니다. (2) 구조적 프롬프트 기반 사전 훈련을 통해 ProQA는 이러한 비시드 데이터 세트에 더 빠르고( § 5.3 ) 더 효과적으로(표 2 ) 적응할 수 있습니다.
• ProQA(qapair)와 ProQA(paq)를 비교하면 ProQA(paq)가 대부분의 시나리오에서 더 나은 성능을 발휘한다는 것을 알 수 있습니다. 아마도 PAQ는 파이프라인 접근 방식을 통해 고품질 사전 훈련 코퍼스를 제공할 것입니다. PAQ 코퍼스 생성을 위해 준비할 BERT 크기 모델은 총 4개입니다. 대신 우리가 제안한 QA 쌍 생성 접근 방식은 간단하며 사전 학습 코퍼스 구성 프로세스에서 Extractive QA뿐만 아니라 Abstractive QA 및 Multiple-choice QA에도 적용할 수 있습니다.
5.2소프트 프롬프트를 통한 지속적인 학습
ProQA에 소프트 프롬프트를 도입하면 새로운 작업에 적응할 때 치명적인 망각 문제를 잠재적으로 완화할 수 있다는 이점이 있습니다. ProQA가 퓨샷 설정으로 작업 A와 작업 B에 대해 순차적으로 미세 조정 되면 작업 A에 대해 다시 평가될 때 작업 A 소프트 프롬프트를 다시 로드할 수 있습니다. ProQA의 플러그인 유연성은 기존 ProQA에 비해 크게 향상되었습니다. 작업 B 소프트 프롬프트를 유지하는 상대방.
형식 4 의 데이터 세트 간에 작업 A와 B를 서로 다른 조합으로 설정하여 지속적인 학습을 수행합니다.
4
동일한 형식(예: MC)에 대한 작업 적응을 직접 조사하기를 원하기 때문에 지속적인 학습에서 두 가지 작업을 고려합니다.
→
MC) 또는 다른 형식(예: AB
→
전).
: 추출 QA(EX), 추상 QA(AB), 객관식 QA(MC). 공식적으로는 먼저 모델 A를 얻기 위해 몇 번의 학습을 통해 작업 A에 ProQA를 적용합니다.
에프�ㅏ
성능으로
에스ㅏ
. 그런 다음 순차적으로 적응합니다.
에프�ㅏ
작업 B로 전송하고 작업 B 모델 수신
에프�ㅏ비
. 모델의 성능을 평가합니다.
에프�ㅏ비
작업 A에서 두 가지 설정: (1) 직접 테스트(작업 B 프롬프트) (2) 먼저 학습된 작업 A 프롬프트를 다음에서 복원합니다.
에프�ㅏ
모델에게
에프�ㅏ비
그런 다음 테스트합니다. 두 설정의 성능은 다음과 같이 표시됩니다.
에스ㅏ비
그리고
에스ㅏ비′
, 각각. 우리는 작업 A의 성능 저하 비율을 사용하여 이 두 가지 설정에서 지속적인 학습 성능을 평가합니다 . " 작업 B 모델 "=
에스ㅏ-에스ㅏ비에스ㅏ
및 " 작업 B 모델(작업 A 프롬프트 포함) " =
에스ㅏ-에스ㅏ비′에스ㅏ
.
표 3 에서 볼 수 있듯이 작업 B 모델(" 작업 B 모델 ") 을 사용하여 작업 A를 직접 평가할 때 치명적인 망각 문제가 존재합니다 . EX의 경우 성능이 최대 26.2% 저하됩니다.
→
AB. 그러나 작업 A 프롬프트를 복원하면 모든 작업 조합(" 작업 A 프롬프트가 포함된 작업 B 모델 ")에서 큰 개선이 이루어집니다. 작업 A 프롬프트를 복원하면 때때로 작업 A 성능이 향상될 수도 있다는 사실은 놀랍습니다(MC
→
MC =
-
0.5%). 아마도 동일한 질문 형식(MC) 하에서 두 가지 작업을 순차적으로 학습하면 모델이 전달 가능한 지식을 학습하게 되고 작업 프롬프트를 복원하면 작업별 지식을 가져오게 됩니다. 33개 데이터 세트 조합에 대한 자세한 실험 결과는 부록 C 에서 확인할 수 있습니다 .
그림 3: NewsQA 작업의 검증 세트에 대한 EM 점수의 몇 번의 학습 곡선입니다.
5.3융합분석
퓨샷 학습 설정에서 단계별 성능을 비교하여 사전 학습의 효율성을 조사합니다. NewsQA 작업의 검증 세트에 대한 EM 점수의 학습 곡선이 그림 3 에 나와 있습니다 . 세 가지 모델 중 T5 수렴은 QA 중심 지식이 없기 때문에 가장 느립니다. 반면 제안된 ProQA는 가장 빠르고 가장 잘 적응합니다. 또한 UnifiedQA EM 점수가 빠르게 포화되고 결국 약간 저하되는 것을 발견했는데, 이는 모델이 몇 번의 샷 설정에서 과적합되었음을 시사합니다. 반면, 구조적 프롬프트 내부의 하드 프롬프트와 소프트 프롬프트가 지식 일반화와 지식 맞춤화의 균형을 잘 유지하기 때문에 ProQA는 지속적으로 개선되고 결코 저하되지 않습니다.
|
환경 |
모델 |
뉴스QA |
떨어지다 |
꿈 |
|
전체 데이터 |
프로QA |
50.4 |
52.5 |
73.3 |
|
소프트 프롬프트 없이 |
48.6 |
51.2 |
69.9 | |
|
사전 훈련 없이 |
48.1 |
44.5 |
68.4 | |
|
UnifiedQA + 사전 학습 코퍼스 |
46.8 |
50.3 |
69.4 | |
|
퓨샷 |
프로QA |
42.1 |
27.1 |
66.0 |
|
소프트 프롬프트 없이 |
38.5 |
24.3 |
64.5 | |
|
사전 훈련 없이 |
20.5 |
4.8 |
35.1 | |
|
UnifiedQA + 사전 학습 코퍼스 |
37.3 |
23.5 |
59.6 | |
|
제로샷 |
프로QA |
31.8 |
19.7 |
65.2 |
|
소프트 프롬프트 없이 |
29.8 |
19.0 |
63.5 | |
|
사전 훈련 없이 |
0.0 |
0.2 |
32.6 | |
|
UnifiedQA + 사전 학습 코퍼스 |
26.0 |
18.1 |
58.0 |
표 4:서로 다른 QA 형식(추출, 추상, 객관식)으로 세 가지 비시드 데이터 세트에 대한 절제 연구 결과입니다.
5.4절제 연구
ProQA의 모든 구성 요소의 효율성을 밝히기 위해 절제 연구가 수행됩니다. 우리는 ProQA의 세 가지 변형을 고려합니다. (1) 구조적 프롬프트에 소프트 프롬프트가 없는 ProQA; (2) 프롬프트 기반 사전 교육 없이 ProQA를 추가로 수행합니다. (3) UnifiedQA + Pre-train Corpus는 준비된 대규모 합성 QA 코퍼스에 대해 사전 훈련된 UnifiedQA 모델입니다. 서로 다른 QA 형식의 세 가지 비시드 데이터 세트에 대한 결과가 표 4 에 나와 있습니다 . 모델에서 소프트 프롬프트를 제거하면 사전 훈련 중에 학습된 작업별 지식이 비활성화된다는 것을 발견했습니다. 게다가 프롬프트 기반 사전 훈련을 제거하면 동등한 모델(T5 + 하드 구조적 프롬프트)에 QA 지식이 없기 때문에 성능이 크게 저하됩니다. 마지막으로 UnifiedQA + Pre-train Corpus는 ProQA와 경쟁할 수 없었으며, 이는 우리가 제안한 구조적 프롬프트가 UnifiedQA보다 지식 일반화와 지식 맞춤화 사이에서 더 나은 균형을 얻는다는 것을 보여줍니다.
6논의
이 섹션에서는 새로운 스키마를 사용하여 ProQA를 새로운 작업으로 확장하는 방법에 대해 논의하고 잠재적인 향후 방향을 조명합니다.
1) 구조적 프롬프트를 통한 작업 적응: 구조적 프롬프트 설계는 ProQA에 더 나은 확장성을 부여합니다. 주요 실험에서는 3가지 형식 유형과 11가지 QA 작업을 채택했습니다. 앞으로는 ProQA를 더 많은 작업, 형식, 도메인 및 새로운 입력 스키마에 적용할 수 있습니다. 직관적으로 ProQA는 보이지 않는 형식/도메인이 있는 새로운 작업에 적응할 때 특정 소프트 프롬프트를 초기화하고 모델 훈련을 통해 새로운 도메인/작업의 특성을 학습할 수 있습니다. 또한, 새로운 키를 포함하는 새로운 입력 스키마(예: " 추출된 엔터티 또는 상식적 지식 ") 를 발견하면 입력 스키마에 새로운 키-값 쌍을 추가하고 훈련을 통해 새로운 키 지표의 기능을 학습할 수 있습니다.
2) 통합 QA 시스템: 통합 QA 시스템에 대한 추가 연구는 범용 QA를 위한 더 나은 사전 훈련 스키마를 목표로 하거나 더 복잡한 입력 또는 출력 형식을 처리하기 위한 구조적 프롬프트에 대한 모델링 전략을 최적화할 수 있다고 생각합니다(예: 추출된 엔터티 또는 검색된 지식).
3) 구조적 프롬프트와의 통합 : 구조적 프롬프트의 적용은 QA 업무에만 국한되지 않습니다. 직관적으로 다양한 형식이나 구성요소를 가진 작업 입력/출력은 감정 분석 Zhong et al. 과 같은 구조적 프롬프트로 구성될 수도 있습니다 . (2021) , 스타일 전달 Li et al. (2022년) . 이러한 방식으로 우리는 신중하게 구성된 구조적 입력으로 여러 작업을 통합하고 전체 패러다임의 통일성과 확장성을 향상시킬 수 있습니다.
7결론
구조적 프롬프트의 브리지를 통해 다양한 QA 작업을 해결하기 위해 단일 모델을 채택하는 통합 QA 패러다임인 ProQA를 소개합니다. 구조적 프롬프트는 구조적으로 설계된 학습 가능한 입력 스키마를 통해 다양한 작업에 필요한 공통 능력을 동시에 모델링하고 각 작업의 전문성을 유지합니다. 우리는 구조적 프롬프트 기반 사전 학습을 추가로 수행하여 모델에 일반적인 QA 중심 능력을 부여하고 구조적 프롬프트에 대한 의미론적 지식을 사전 학습 모델에 주입합니다. 11개 QA 벤치마크에 대한 실험 결과는 ProQA가 모든 설정에서 성능을 크게 향상시킬 수 있음을 보여줍니다. 추가 분석에서는 우리의 방법이 지속적인 학습 중에 치명적인 망각 문제를 더 잘 완화할 수 있으며 구조적 프롬프트의 이점을 활용하여 새로 관련된 작업에 더 빠르게 적응할 수 있음을 보여줍니다. 앞으로는 우리의 분석이 통합된 QA 방법에 대한 더 많은 탐색에 영감을 주거나 구조적 프롬프트에 의한 복잡한 입력 모델링을 통해 개별 작업을 통합할 수 있기를 바랍니다. 또한 복잡한 입력으로 더 많은 작업을 통합하는 데 구조적 프롬프트가 더욱 활용될 수 있기를 바랍니다.
8감사의 말
Jian Yin이 교신저자입니다. Wanjun Zhong, Jiahai Wang 및 Jian Yin은 광둥성 핵심 지역 연구 개발 프로그램(2020B0101100001)의 지원을 받습니다.
참고자료
Bianet al. (2021)Ning Bian, Xianpei Han, Bo Chen, Hongyu Lin, Ben He 및 Le Sun. 2021.언어 모델과 독해 사이의 격차 해소: 자기 감독을 통한 감독되지 않은 mrc .ArXiv 사전 인쇄 , ABS/2107.08582.
Bommasaniet al. (2021)Rishi Bommasani, Drew A Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S Bernstein, Jeannette Bohg, Antoine Bosselut, Emma Brunskill 등 2021.기초 모델의 기회와 위험에 대해 .ArXiv 사전 인쇄 , ABS/2108.07258.
Brownet al. (2020)톰 B. 브라운, 벤자민 맨, 닉 라이더, 멜라니 수비아, 자레드 카플란, 프라풀라 다리왈, 아르빈드 닐라칸탄, 프라나브 샴, 기리쉬 사스트리, 아만다 아스켈, 산디니 아가왈, 아리엘 허버트-보스, 그레첸 크루거, 톰 헤니한, 리원 차일드, 아디티야 Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever 및 Dario Amodei. 2020.언어 모델은 소수의 학습자입니다 .신경 정보 처리 시스템의 발전 33: 신경 정보 처리 시스템에 관한 연례 컨퍼런스 2020, NeurIPS 2020, 2020년 12월 6~12일, 가상 .
Clarket al. (2019)크리스토퍼 클라크, 켄튼 리, 장밍웨이, 톰 크위아트코스키, 마이클 콜린스, 크리스티나 투타노바. 2019.BoolQ: 자연스러운 예/아니요 질문의 놀라운 어려움 탐구 .전산 언어학 협회 북미 지부의 2019 회의 진행: 인간 언어 기술, 1권(장문 및 단기 논문) , 2924~2936페이지, 미네소타 주 미니애폴리스. 전산언어학협회.
Dasigiet al. (2019)Pradeep Dasigi, Nelson F. Liu, Ana Marasović, Noah A. Smith 및 Matt Gardner. 2019.Quoref: 상호 추론이 필요한 질문이 포함된 독해 데이터세트입니다 .2019년 자연어 처리의 경험적 방법에 관한 회의 및 제9차 자연어 처리에 관한 국제 합동 회의(EMNLP-IJCNLP) 진행 , 페이지 5925-5932, 홍콩, 중국. 전산언어학협회.
Deng et al. (2019)Yang Deng, Yuexiang Xie, Yaliang Li, Min Yang, Nan Du, Wei Fan, Kai Lei 및 Ying Shen. 2019.답변 선택 및 지식 기반 질문 답변을 위한 다중 뷰 주의를 통한 다중 작업 학습 .인공 지능에 관한 제33회 AAAI 컨퍼런스 , AAAI 2019, 제31회 인공 지능의 혁신적인 응용 컨퍼런스, IAAI 2019, 인공 지능 교육 발전에 관한 제9차 AAAI 심포지엄, EAAI 2019, 미국 하와이 호놀룰루, 1월 27일 - 2019년 2월 1일 , 6318~6325페이지. AAAI 프레스.
Dinget al. (2021)Ning Ding, Shengding Hu, Weilin Zhao, Yulin Chen, Zhiyuan Liu, Hai-Tao Zheng 및 Maosong Sun. 2021.Openprompt: 프롬프트 학습을 위한 오픈 소스 프레임워크입니다 .ArXiv 사전 인쇄 , ABS/2111.01998.
Duaet al. (2019a)Dheeru Dua, Ananth Gottumukkala, Alon Talmor, Sameer Singh 및 Matt Gardner. 2019a.Orb: 기계 독해력을 종합적으로 평가하기 위한 공개 독서 벤치마크입니다 .ArXiv 사전 인쇄 , ABS/1912.12598.
Duaet al. (2019b)Dheeru Dua, Yizhong Wang, Pradeep Dasigi, Gabriel Stanovsky, Sameer Singh 및 Matt Gardner. 2019b.삭제: 단락에 대한 개별 추론이 필요한 독해 벤치마크입니다 .전산 언어학 협회 북미 지부 2019 회의 진행: 인간 언어 기술, 1권(장문 및 단편 논문) , 2368~2378페이지, 미네소타 주 미니애폴리스. 전산언어학협회.
에치오니 (2011)오렌 에치오니. 2011.검색에는 변화가 필요합니다.자연 , 476(7358):25–26.
Fischet al. (2019)Adam Fisch, Alon Talmor, Robin Jia, 서민준, 최은솔, Danqi Chen. 2019.MRQA 2019 공유과제: 독해의 일반화 평가 .질문 답변을 위한 기계 판독에 관한 제2차 워크숍 진행 중 , 1~13페이지, 중국 홍콩. 전산언어학협회.
Gaoet al. (2021)Yifan Gao, Jingjing Li, Michael R Lyu 및 Irwin King. 2021.개방 검색 대화형 기계 읽기 .ArXiv 사전 인쇄 , ABS/2102.08633.
Gaoet al. (2020)Yifan Gao, Chien-Sheng Wu, Jingjing Li, Shafiq Joty, Steven CH Hoi, Caiming Xiong, Irwin King 및 Michael Lyu. 2020.Discern: 대화형 기계 읽기를 위한 담론 인식 수반 추론 네트워크 .2020년 EMNLP(자연어 처리의 경험적 방법에 관한 회의) 진행 과정 , 2439~2449페이지, 온라인. 전산언어학협회.
Glasset al. (2020)Michael Glass, Alfio Gliozzo, Rishav Chakravarti, Anthony Ferritto, Lin Pan, G P Shrivatsa Bhargav, Dinesh Garg 및 Avi Sil. 2020.질의 응답을 위한 스팬 선택 사전 훈련 .전산언어학협회 제58차 연차총회 진행 , 2773~2782페이지, 온라인. 전산언어학협회.
Guu et al. (2020)Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat 및 Ming-Wei Chang. 2020.영역: 검색 증강 언어 모델 사전 훈련 .ArXiv 사전 인쇄 , ABS/2002.08909.
Hambardzumyanet al. (2021)Karen Hambardzumyan, Hrant Khachatrian, Jonathan May. 2021.WARP: 단어 수준의 적대적 재프로그래밍 .컴퓨터 언어학 협회 제59차 연례 회의 및 자연어 처리에 관한 제11차 국제 합동 회의 진행 과정(1권: 긴 논문) , 페이지 4921-4933, 온라인. 전산언어학협회.
호스킹과 리델 (2019)톰 호스킹과 세바스찬 리델. 2019.질문 생성 모델에 대한 보상 평가 .전산 언어학 협회 북미 지부의 2019 회의 진행: 인간 언어 기술, 1권(장문 및 단편 논문) , 2278~2283페이지, 미네소타 주 미니애폴리스. 전산언어학협회.
Huet al. (2021)Ziniu Hu, Yizhou Sun 및 Kai-Wei Chang. 2021.오픈 도메인 질문 답변을 위한 관계 기반 사전 교육 .컴퓨터 언어학 협회 조사 결과: EMNLP 2021 , 3431~3448페이지, 도미니카 공화국 푼타 카나. 전산언어학협회.
Jianget al. (2020)Zhengbao Jiang, Frank F. Xu, Jun Araki, Graham Neubig. 2020.어떤 언어 모델이 알고 있는지 어떻게 알 수 있나요?전산언어학협회 거래 , 8:423-438.
Kanget al. (2020)강민기, 한문수, 황성주. 2020.신경 마스크 생성기: 언어 모델 적응을 위한 적응형 단어 마스킹을 생성하는 방법을 학습합니다 .2020년 EMNLP(자연어 처리의 경험적 방법에 관한 컨퍼런스) 간행물 , 페이지 6102-6120, 온라인. 전산언어학협회.
Karpukhinet al. (2020)Vladimir Karpukhin, Barlas Oguz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen 및 Wen-tau Yih. 2020.오픈 도메인 질문 답변을 위한 밀집된 구절 검색 .2020년 EMNLP(자연어 처리의 경험적 방법에 관한 회의) 진행 과정 , 페이지 6769-6781, 온라인. 전산언어학협회.
Khashabiet al. (2020a)다니엘 카샤비, 투샤르 코트, 아시시 사바왈. 2020a.비용 대비 더 큰 효과: 강력한 질문 답변을 위한 자연스러운 동요 .2020년 자연어 처리(EMNLP)의 경험적 방법에 관한 컨퍼런스 진행 , 163~170페이지, 온라인. 전산언어학협회.
Khashabiet al. (2020b)다니엘 카샤비(Daniel Khashabi), 민세원(Sewon Min), 투샤르 코트(Tushar Khot), 아시시 사바왈(Ashish Sabharwal), 오이빈드 타피요르드(Oyvind Tafjord), 피터 클라크(Peter Clark), 한나네 하지시르지(Hannaneh Hajishirzi). 2020b.UNIFIEDQA: 단일 QA 시스템으로 형식의 경계를 넘습니다 .전산 언어학 협회 조사 결과: EMNLP 2020 , 페이지 1896-1907, 온라인. 전산언어학협회.
Kočiskýet al. (2018)Tomáš Kočiský, Jonathan Schwarz, Phil Blunsom, Chris Dyer, Karl Moritz Hermann, Gábor Melis 및 Edward Grefenstette. 2018.NarrativeQA 독해 챌린지 .전산언어학협회 거래 , 6:317-328.
Kwiatkowskiet al. (2019)Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc Le 및 Slav Petrov. 2019.자연스러운 질문: 질문 답변 연구의 벤치마크입니다 .전산언어학협회 거래 , 7:452-466.
Laiet al. (2017)Guokun Lai, Qizhe Xie, Hanxiao Liu, Yiming Yang 및 Eduard Hovy. 2017.RACE: 시험에서 얻은 대규모 ReAding 이해 데이터세트 .자연어 처리의 경험적 방법에 관한 2017년 회의 간행물 , 페이지 785-794, 덴마크 코펜하겐. 전산언어학협회.
Lesteret al. (2021)브라이언 레스터, 라미 알푸, 노아 콘스탄트. 2021.매개변수 효율적인 프롬프트 튜닝을 위한 규모의 힘 .자연어 처리의 경험적 방법에 관한 2021년 컨퍼런스 진행 , 3045~3059페이지, 온라인 및 도미니카 공화국 푼타 카나. 전산언어학협회.
Lewiset al. (2020)Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov 및 Luke Zettlemoyer. 2020.BART: 자연어 생성, 번역 및 이해를 위한 시퀀스 간 사전 훈련을 제거합니다 .전산언어학협회 제58차 연차총회 진행 , 7871-7880페이지, 온라인. 전산언어학협회.
Lewiset al. (2019)패트릭 루이스, 루도빅 드노이어, 세바스티안 리델. 2019.cloze 번역을 통한 자율 질문 답변 .전산언어학협회 제57차 연차총회 진행 , 4896~4910페이지, 이탈리아 피렌체. 전산언어학협회.
Lewiset al. (2021)Patrick Lewis, Yuxiang Wu, Linqing Liu, Pasquale Minervini, Heinrich Küttler, Aleksandra Piktus, Pontus Stenetorp 및 Sebastian Riedel. 2021.PAQ: 6,500만 개의 질문과 이를 활용하여 무엇을 할 수 있는지 .전산언어학협회 거래 , 9:1098-1115.
Li et al. (2019)Jingjing Li, Yifan Gao, Lidong Bing, Irwin King 및 Michael R. Lyu. 2019.요점 맥락에 맞게 질문 생성을 개선합니다 .2019년 자연어 처리의 경험적 방법에 관한 회의 및 제9차 자연어 처리에 관한 국제 합동 회의(EMNLP-IJCNLP) 간행물 , 페이지 3216-3226, 홍콩, 중국. 전산언어학협회.
Li et al. (2022)Jingjing Li, Zichao Li, Tao Ge, Irwin King 및 Michael R Lyu. 2022.즉각적인 표현 최적화를 통한 텍스트 개정 .ArXiv 사전 인쇄 , ABS/2204.07359.
Li et al. (2020)Jingjing Li, Zichao Li, Lili Mou, Xin Jiang, Michael R. Lyu 및 Irwin King. 2020.검색 학습을 통한 비지도 텍스트 생성 .신경 정보 처리 시스템의 발전 33: 신경 정보 처리 시스템에 관한 연례 컨퍼런스 2020, NeurIPS 2020, 2020년 12월 6~12일, 가상 .
리 앤 리앙 (2021)샹 리사 리와 퍼시 리앙. 2021.접두사 조정: 생성을 위한 연속 프롬프트 최적화 .전산 언어학 협회 제59차 연례 회의 및 자연어 처리에 관한 제11차 국제 합동 회의 진행 과정(1권: 긴 논문) , 페이지 4582-4597, 온라인. 전산언어학협회.
린 (2004)친유 린. 2004.ROUGE: 요약 자동 평가용 패키지입니다 .텍스트 요약 에서 분기가 나옴 , 74~81페이지, 스페인 바르셀로나. 전산언어학협회.
Liu et al. (2021)Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi 및 Graham Neubig. 2021.사전 학습, 프롬프트 및 예측: 자연어 처리의 프롬프트 방법에 대한 체계적인 조사 .ArXiv 사전 인쇄 , ABS/2107.13586.
McCannet al. (2018)브라이언 맥캔(Bryan McCann), 니티시 쉬리쉬 케스카르(Nitish Shirish Keskar), 카이밍 시옹(Caiming Xiong), 리차드 소커(Richard Socher). 2018.자연어 10종 경기: 질문 답변을 통한 멀티태스킹 학습 .ArXiv 사전 인쇄 , ABS/1806.08730.
Mihaylovet al. (2018)Todor Mihaylov, Peter Clark, Tushar Khot 및 Ashish Sabharwal. 2018.갑옷이 전기를 전도할 수 있나요? 오픈북 질문답변을 위한 새로운 데이터세트 .2018년 자연어 처리의 경험적 방법에 관한 컨퍼런스 진행 , 2381~2391페이지, 벨기에 브뤼셀. 전산언어학협회.
Raffelet al. (2020)Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li 및 Peter J. Liu. 2020.통합된 텍스트-텍스트 변환기를 사용하여 전이 학습의 한계를 탐색합니다 .기계 학습 연구 저널 , 21(140):1–67.
Rajpurkaret al. (2016)Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev 및 Percy Liang. 2016.SQuAD: 기계의 텍스트 이해를 위한 100,000개 이상의 질문 .자연어 처리의 경험적 방법에 관한 2016년 컨퍼런스 진행 , 2383~2392페이지, 텍사스 주 오스틴. 전산언어학협회.
Ramet al. (2021)오리 램, 유발 커스테인, 조나단 베란트, 아미르 글로버슨, 오메르 레비. 2021.사전 학습 범위 선택을 통한 퓨샷 질문 답변 .전산 언어학 협회 제59차 연례 회의 및 자연어 처리에 관한 제11차 국제 합동 회의 진행 과정(1권: 긴 논문) , 3066~3079페이지, 온라인. 전산언어학협회.
Richardsonet al. (2013)매튜 리처드슨, 크리스토퍼 JC 버지스, 에린 렌쇼. 2013.MCTest: 오픈 도메인 기계의 텍스트 이해를 위한 챌린지 데이터 세트입니다 .2013년 자연어 처리의 경험적 방법에 관한 컨퍼런스 진행 , 193~203페이지, 미국 워싱턴주 시애틀. 전산언어학협회.
Sap et al. (2019)마틴 삽, 한나 래쉬킨, 데릭 첸, 로난 르 브라스, 최예진. 2019.Social IQa: 사회적 상호작용에 대한 상식적 추론 .2019년 자연어 처리 실증적 방법 회의 및 제9회 자연어 처리에 관한 국제 합동 회의(EMNLP-IJCNLP) 진행 , 4463~4473페이지, 중국 홍콩. 전산언어학협회.
쉬크와 슈체(2021a)티모 쉬크(Timo Schick)와 힌리히 슈체(Hinrich Schütze). 2021a.소수의 텍스트 분류 및 자연어 추론을 위해 cloze-questions를 활용합니다 .전산 언어학 협회 유럽 지부의 제16차 회의 진행: 주요 볼륨 , 255-269페이지, 온라인. 전산언어학협회.
쉬크와 슈체(2021b)티모 쉬크(Timo Schick)와 힌리히 슈체(Hinrich Schütze). 2021b.중요한 것은 크기만이 아닙니다. 소규모 언어 모델은 소수의 학습자이기도 합니다 .전산언어학협회 북미지부의 2021년 컨퍼런스 진행: 인간 언어 기술 , 페이지 2339-2352, 온라인. 전산언어학협회.
Shenet al. (2019)Tao Shen, Xiubo Geng, Tao Qin, Daya Guo, Duyu Tang, Nan Duan, Guodong Long 및 Daxin Jiang. 2019.대규모 지식베이스를 통한 대화형 질의응답을 위한 멀티태스킹 학습 .2019년 자연어 처리 실증적 방법 회의 및 제9회 자연어 처리에 관한 국제 합동 회의(EMNLP-IJCNLP) 진행 과정 , 2442~2451페이지, 중국 홍콩. 전산언어학협회.
Shinet al. (2020)Taylor Shin, Yasaman Razeghi, Robert L. Logan IV, Eric Wallace 및 Sameer Singh. 2020.자동 프롬프트: 자동으로 생성된 프롬프트를 사용하여 언어 모델에서 지식 추출 .2020년 EMNLP(자연어 처리의 경험적 방법에 관한 회의) 진행 과정 , 4222~4235페이지, 온라인. 전산언어학협회.
Sunet al. (2019)카이 선(Kai Sun), 디안 유(Dian Yu), 첸젠슈(Jianshu Chen), 동유(Dong Yu), 최예진(Yejin Choi), 클레어 카디(Claire Cardie). 2019.꿈: 대화 기반 독해를 위한 챌린지 데이터 세트 및 모델 .전산언어학협회 거래 , 7:217-231.
타피요르드와 클라크(2021)오이빈드 타피요르드(Oyvind Tafjord)와 피터 클라크(Peter Clark). 2021.마카우를 이용한 범용 질의응답 .ArXiv 사전 인쇄 , ABS/2109.02593.
탤모어와 베란트 (2019)알론 탤머(Alon Talmor)와 조나단 베란트(Jonathan Berant). 2019.MultiQA: 독해의 일반화 및 전달에 대한 실증적 조사입니다 .전산언어학협회 제57차 연례 회의 진행 , 4911~4921페이지, 이탈리아 피렌체. 전산언어학협회.
Trischleret al. (2017)Adam Trischler, Tong Wang, Xingdi Yuan, Justin Harris, Alessandro Sordoni, Philip Bachman 및 Kaheer Suleman. 2017.NewsQA: 기계 이해 데이터 세트 .NLP를 위한 표현 학습에 관한 2차 워크숍 진행 , 191~200페이지, 캐나다 밴쿠버. 전산언어학협회.
왕 외. (2021)Cunxiang Wang, Pai Liu, Yue Zhang. 2021.사전 훈련된 생성적 언어 모델이 비공개 QA를 위한 지식 기반으로 사용될 수 있습니까?전산 언어학 협회 제59차 연례 회의 및 자연어 처리에 관한 제11차 국제 합동 회의 진행 과정(1권: 긴 논문) , 3241~3251페이지, 온라인. 전산언어학협회.
Wolfet al. (2020)Thomas Wolf, Lysandre 데뷔, Victor Sanh, Julien Chaumond, Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick von Platen, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest 및 Alexander Rush. 2020.Transformers: 최첨단 자연어 처리 .자연어 처리의 경험적 방법에 관한 2020 컨퍼런스 진행: 시스템 시연 , 38~45페이지, 온라인. 전산언어학협회.
Yanget al. (2018)Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov 및 Christopher D. Manning. 2018.HotpotQA: 다양하고 설명 가능한 다중 홉 질문 답변을 위한 데이터세트입니다 .2018년 자연어 처리의 경험적 방법에 관한 컨퍼런스 진행 , 2369~2380페이지, 벨기에 브뤼셀. 전산언어학협회.
Zenget al. (2020)Changchang Zeng, Shaobo Li, Qin Li, Jie Hu 및 Jianjun Hu. 2020.기계 독해력에 대한 설문 조사 - 작업, 평가 지표 및 벤치마크 데이터 세트.응용과학 , 10(21):7640.
Zhonget al. (2022)Wanjun Zhong, Junjie Huang, Qian Liu, Ming Zhou, Jiahai Wang, Jian Yin 및 Nan Duan. 2022.테이블 및 텍스트 오픈 도메인 qa에 대한 하이브리드 체인에 대한 추론 .ArXiv 사전 인쇄 , ABS/2201.05880.
Zhonget al. (2021)Wanjun Zhong, Duyu Tang, Jiahai Wang, Jian Yin 및 Nan Duan. 2021.UserAdapter: 감정 분석에서 사용자 학습이 거의 이루어지지 않습니다 .컴퓨터 언어학 협회 조사 결과: ACL-IJCNLP 2021 , 1484~1488페이지, 온라인. 전산언어학협회.
부록구현 세부정보
A.1코퍼스 준비
이 부분에서는 말뭉치 구성의 세부 사항을 설명합니다.
현재 사전 훈련 코퍼스에는 100만 개의 객관식 QA 인스턴스, 200만 개의 추출 QA 인스턴스, 200만 개의 추상 QA 인스턴스를 포함하여 구조적 프롬프트로 공식화된 거의 400만 개의 사전 훈련 인스턴스가 포함되어 있습니다. 질문과 답변을 생성할 때 컨텍스트를 입력 으로 사용하고 " 질문 [SEP] 답변 " 시퀀스를 출력으로 사용합니다. 필터링 모델을 훈련하기 위해 컨텍스트 와 질문 을 입력으로 사용하고 답변을 다음 과 같이 사용합니다. QA 쌍 필터링의 추론 과정에서 컨텍스트와 생성된 질문을 QA 모델의 모델 입력으로 사용하고 생성된 답변을 레이블로 설정한 다음 교차 엔트로피 손실을 사용하여 최종 소프트 스코어를 계산합니다. 라벨과 QA 모델에 의해 생성된 답변 사이에서 다음으로 생성된 모든 QA 쌍의 소프트 스코어에 따라 오름차순으로 다시 순위를 지정하여 가장 일관된 QA 쌍을 사전 훈련 인스턴스로 선택합니다.
구체적으로 우리는 모델 훈련을 위한 최적화 도구로 AdamW를 사용합니다. 우리는 T5-Large를 모델 백본으로 채택하고 시드 데이터 세트를 질문-답변 쌍 생성 및 필터링 QA 모델 교육을 위한 감독으로 채택합니다. 학습 속도를 1e-5로, 준비 단계를 0으로, 배치 크기를 GPU당 2로, 훈련 에포크를 10으로 설정했습니다.
A.2사전 훈련 및 작업 적응에 대한 세부정보입니다.
사전 훈련.
사전 훈련 중에 우리는 특수 핵심 지표 와 작업/형식별 소프트 프롬프트 의 표현을 사용하여 주요 모델 매개변수를 공동으로 훈련합니다 .
처음에는 사전 훈련 중에 특정 작업이 없으므로 세 가지 사전 훈련 코퍼스(예: " MultiChoiceQA, Extractive QA 및 Abstractive QA ")를 세 가지 초기 작업으로 취하고 작업을 무작위로 초기화하고 특정 소프트 프롬프트 형식을 지정합니다.
구체적으로, 우리는 T5-Base를 모델 백본으로 사용하고 학습 속도를 1e-4로, 배치 크기를 GPU당 8로, 그래디언트 누적 단계를 10으로 설정했습니다. 사전 훈련을 위해 8개의 V100 GPU를 채택했습니다.
미세 조정.
미세 조정하는 동안 특정 다운스트림 작업에 대한 작업/형식별 소프트 프롬프트를 초기화해야 합니다. 작업이 사전 훈련 단계에 참여하는 특정 형식에 해당하는 경우 이 형식 유형의 해당 소프트 프롬프트를 사용하여 학습된 지식을 전달하기 위해 현재 작업에 대한 소프트 프롬프트를 초기화합니다. 작업이 새로운 형식에 해당하는 경우 작업/형식 프롬프트를 무작위로 초기화할 수 있습니다.
구체적으로 T5-Base를 모델 백본으로 사용 하고 학습 속도를 1e-4로, 배치 크기를 GPU당 2로, 그래디언트 누적 단계를 2로, 훈련 에포크를 5로 설정했습니다. 미세 조정을 위해 8개의 V100 GPU를 채택했습니다.
퓨샷 학습.
우리는 Few-Shot 학습을 위해 작업별 소프트 프롬프트를 초기화하는 유사한 방법을 채택했습니다. 퓨샷 학습을 위해 무작위로 선택된 32개의 인스턴스를 활용하는 표준 설정을 사용합니다. 구체적으로 T5-Base를 모델 백본으로 채택하고 학습률을 1e-5로, 배치 크기를 GPU당 1로, 그래디언트 누적 단계를 1로, 학습 단계를 800으로 설정하여 소수 샷 학습을 수행합니다.
제로샷 학습
제로샷 학습에는 훈련 단계가 포함되지 않으므로 추론을 위해 작업별 프롬프트만 초기화하면 됩니다. 따라서 해당 형식 유형의 사전 훈련된 작업 프롬프트를 사용하여 작업별 프롬프트를 초기화합니다.
|
환경 |
데이터세트 |
부울Q |
|
전체 데이터 |
T5 |
62.2 |
|
프로 QA |
80.6 | |
|
퓨샷 |
T5 |
0.0 |
|
프로 QA |
55.4 | |
|
제로샷 |
T5 |
0.0 |
|
프로 QA |
62.1 |
표 5:전체 데이터 미세 조정, 퓨샷 학습 및 제로샷 학습 설정에 따른 두 가지 예/아니요 QA 작업의 결과입니다.
|
작업 A |
작업 A 모델 (몇 가지 결과) |
작업 B |
Task B 모델 (Task A 평가) |
작업 B 모델(작업 A 프롬프트 포함) (작업 A에 대한 평가) |
|
EX/NewsQA (EM) |
42.1 |
EX/쿼레프(EM) |
33.7 |
35.3 |
|
AB/드롭(F1) |
31.3 |
33.7 | ||
|
AB/NQ열기 (F1) |
27.6 |
34.2 | ||
|
MC/드림(Acc) |
35.2 |
37.9 | ||
|
MC/MC테스트(Acc) |
34.5 |
36.8 | ||
|
MC/OBQA(Acc) |
34.4 |
35.9 | ||
|
EX/쿼레프(EM) |
52.2 |
EX/NewsQA (EM) |
41.1 |
42.8 |
|
AB/드롭(F1) |
43.0 |
51.4 | ||
|
AB/NQ열기 (F1) |
38.0 |
51.0 | ||
|
MC/드림(Acc) |
47.2 |
51.3 | ||
|
MC/MC테스트(Acc) |
47.8 |
52.0 | ||
|
MC/OBQA(Acc) |
48.5 |
51.6 | ||
|
AB/NQ열기 (F1) |
36.0 |
EX/NewsQA (EM) |
32.8 |
33.9 |
|
EX/쿼레프(EM) |
36.2 |
35.4 | ||
|
AB/드롭(F1) |
34.3 |
35.8 | ||
|
AB/드롭(F1) |
27.1 |
EX/NewsQA (EM) |
22.8 |
26.3 |
|
EX/쿼레프(EM) |
24.0 |
26.6 | ||
|
AB/NQ열기 (F1) |
25.0 |
25.6 | ||
|
MC/드림(Acc) |
25.1 |
26.2 | ||
|
MC/MC테스트(Acc) |
25.4 |
26.7 | ||
|
MC/OBQA(Acc) |
25.6 |
26.7 | ||
|
MC/MC테스트(Acc) |
84.1 |
EX/NewsQA (EM) |
81.6 |
83.1 |
|
AB/드롭(F1) |
82.8 |
83.8 | ||
|
MC/드림(Acc) |
83.2 |
83.8 | ||
|
MC/OBQA(Acc) |
82.2 |
82.5 | ||
|
MC/드림(Acc) |
66.0 |
EX/NewsQA (EM) |
64.0 |
65.4 |
|
AB/드롭(F1) |
63.5 |
65.7 | ||
|
MC/MC테스트(Acc) |
65.5 |
65.8 | ||
|
MC/OBQA(Acc) |
65.2 |
65.5 | ||
|
MC/OBQA(Acc) |
44.8 |
EX/NewsQA (EM) |
41.4 |
45.2 |
|
AB/드롭(F1) |
40.6 |
44.2 | ||
|
MC/MC테스트(Acc) |
44.8 |
45.8 | ||
|
MC/드림(Acc) |
44.2 |
46.8 |
표 6: 지속적인 학습에 대한 전체 결과입니다. 각 작업에 대해 작업 형식(EX, AB, MC)과 해당 평가 지표(EM, F1, Acc)를 제공합니다. EX: 추출적 QA; AB: 추상적인 QA; MC: 객관식 QA.
부록 B예/아니요 사전 훈련 결과
파일럿 연구 중에 우리는 BoolQ Clark et al. (2019)를 시드 데이터세트로 사용하여 대규모 사전 학습 코퍼스를 구축하고, 사전 학습된 ProQA 위에 전체 데이터, 퓨샷, 제로샷을 테스트합니다. 우리는 또한 이 데이터 세트 BoolQ-NP Khashabi et al. 의 자연적으로 교란된 버전을 사용합니다 . (2020a) 평가를 위해 고려됩니다. 결과를 표 5 에 나타내었다 . 우리는 ProQA가 모든 설정에서 T5 기준보다 훨씬 뛰어난 성능을 보인다는 것을 발견했습니다. 우리는 모델의 출력을 엄격하게 평가합니다. 즉, 출력이 "예", "아니오", "참", "거짓" 형식이 아닌 경우 해당 예측은 잘못된 것으로 분류됩니다.
부록 C지속적인 학습에 대한 세부 사항
표 6은 연속 학습 실험의 전체 결과를 제공합니다. 모델은 먼저 몇 번의 샷 설정으로 작업 A에 대해 학습한 다음 작업 B에 대해 미세 조정합니다. 그런 다음 작업 A에 대해 학습된 "작업 B 모델"과 "작업 B 모델(작업 A 프롬프트 포함)"을 평가합니다. 지속적인 학습 능력을 테스트합니다. 모든 작업 A/작업 B 조합(총 33개 보고)에 대한 자세한 결과는 표 6 에 나와 있습니다 . 동일한 형식(예: MC)에 대한 작업 적응도 조사하고 싶기 때문에 지속적인 학습에서 두 가지 작업을 고려합니다.
→
MC) 또는 다른 형식(예: AB
→
전). 결과는 여러 작업이 도착했을 때 전반적인 최고의 성과를 달성하기 위해 작업에 대한 훈련 순서를 어떻게 배열할 수 있는지에 대해 밝혀줍니다.
|
|
|||
답글 이전글 |
아버지 어머니께 드리는 현대식 제례문을 써줘 | 2024.04.27. | |
| ProQA: 통합 질문 응답을 위한 구조적 프롬프트 기반 사전 교육 | 2024.04.01. | ||
ProQA: 통합 질문 응답을 위한 구조적 프롬프트 기반 사전 교육
|
2024.04.01. | ||
