초록) A fine-grained comparison of pragmatic language understanding in humans and language models

Pragmatics and non-literal language understanding are essential to human communication, and present a long-standing challenge for artificial language models. We perform a fine-grained comparison of language models and humans on seven pragmatic phenomena, using zero-shot prompting on a expert-curated set of English materials. We ask whether models (1) select pragmatic interpretations of speaker utterances, (2) make similar error patterns as humans, and (3) use similar linguistic cues as humans to solve the tasks. We find that the largest models achieve high accuracy and match human error patterns: within incorrect responses, models favor literal interpretations over heruristic-based distractors. We also find preliminary evidence that models and humans are sensitive to silimlar linguistic cues. Our result suggest that pragmatic behaviors can emerge in models without explicibly constructed represetations of mental states. However, models tend to struggle with phenomena relying on social expectation violations.

 

화용론과 축자적 의미(non-literal)를 가지고 있지 않은 언어에 대한 이해는 인간 의사소통의 핵심이며, 인공지능 모델에 있어 도전과제로 여겨지고 있다. 이 연구에서는 7개 화용론적 현상을 다룬, 전문가가 엄선한 영어 데이터들에 대해 제로샷 프롬프팅을 사용하여 언어 모델과 사람 간 이해에 다한 세밀한 비교를 수행하였다. 우리는 모델에게 

1) 화자의 발화에 대한 화용론적 해석, 2) 사람이 만드는 오류 패턴과 비슷한 패턴 생성, 3) 인간이 task를 해결하기 위해 사용하는 언어학적 cue와 비슷한 큐 사용하기 등을 물어보았다. 이 과정에서 가장 큰 모델이 높은 정확도를 기록했으며, 인간이 생성하는 에러 패턴을 똑같이 생성하였다. 부정확한 응답 측면에서 모델은 heruristic-based distractors에 대해 축자적 의미의 해석을 내놓는 것을 선호하였다. 또한 모델과 사람은이 비슷한 linguistic cue에 민감하다는 기초적인 증거를 발견하였다. 

우리의 연구결과는 모델의 화용론적 behavior가 정신적인 상태에 대한 명시적인 representation을 심어주는 것 없이도 출현할 수 있다는 것을 보여주었다.  다만 모델은 사회적으로 기대되는 violation과 관련된 상황을 이해하는 데에는 어려움을 겪었다.