초록) Probing LLMs for Joint Encoding of Linguistic Categories

<Abstract>

Large Language Models (LLMs) exhibit impressive performance on a range of NLP tasks, due to the general-purpose linguistic knowledge acquired during pretraining. Existing model interpretability research (tenney et al., 2019) suggests that a linguistic hierarchy emerges in the LLM layers, with lower layers better suited to solving syntactic tasks and higher layers employed for semantic processing. Yey, little is known about how encodings of different linguitis phenemena interact within the models and to what extent processing of linguisitically-related categories relies on the same, shared model representations. In this paper, we propose a framework for testing the joint encoding both at the same (related part-of-speech POS classes0 and different (POS classes and related syntactic dependency relations) levels of linguistic hierarchy. Our crosslingual experiments show that the same patterns hold across language in multilingual LLMs.

 

초거대 언어 모델(LLM)들은 사전 학습 시 습득한 범용적 문법 지식(general-purpose linguistic knowledge)으로 인해 NLP 태스크들에서 굉장히 좋은 성능을 내고 있습니다. 기존 interpretability 연구(Tenney et al., 2019)에 따르면 언어학 층위가 LLM 레이어에도 나타나며, 낮은 레이어들은 통사 구조적 태스크에, 높은 레이어는 semantic 태스크에 더 적합합니다. 그러나, 인코딩된 다양한 언어학적 현상들이 어떻게 모델 내에서 어떻게 상호작용하는지, 언어학적 현상과 관련된 범주들의 처리가 동일한 모델 representation에 얼마나 의존하는지에 대해서는 잘 알려지지 않았습니다.  본 연구에서는 LLM 내 언어학적 범주에 대한 joint encoding을 테스트할 수 있는 프레임워크를 제안합니다. 통사론(syntax)에 초점을 맞추어, 우리는 같거나(POS 클래스 관련) 다른(POS와 그와 관련된 의존관계 관련) 레벨의 언어적 hierarchy에 대한 증거를 찾았습니다. 우리의 cross lingual 실험은 multilingual LLM 내 언어들이 동일한 패턴을 공유하는 것을 발견하기도 하였습니다.