초록) Are Human Explanations Always Helpful? Towards Objective Evaluation of Human Natural Language Explanations (2023)

Human-annotated labels and explanations are critical for training explainable NLP models. However, unlike human-annotated labels whose quality is easier to calibrate (e.g., with a  majority vote, human-crafted free-form explanations) can be quite subjective. Before blindly using them as ground truth to train ML models, a vital question needs to be asked: How do we evaluate a human-annotated explanation's quality? In this paper, we build on the view that the quality of a human-annotated explanation can be measured based on its helpfulness (or impairment) to the ML models' performance for the desired NLP tasks for which the annotations were collected. In comparison to the commonly used Simulatability score, we define a new metric that can take into consideration of the helpfulness of an explanation for model performance at both fine-tuning and inference. With the help of a unified dataset format, we evaluated the proposed metric on five datasets (e.g., e-SNLI) agianst two model architectures (T5 and BART), and the results show that our proposed metric can objectively evaluate the quality of human-annotated explanations, while Simulatiability falls short. 

 

인간 주석 라벨이나 설명은 설명가능한 NLP 모델 학습에 중요합니다. 그러나 품질이 쉽게 변동(calibrate)되기 쉬운 인간 주석은 매우 주관적이기도 합니다. 이들은 무작정 ML 모델 학습을 위한 ground truth로 사용하기 전에, 한가지 질문을 던져보아야 합니다: 어떻게 우리는 인간이 주석한 설명의 품질을 평가할 수 있을까요? 이 연구에서 우리는 인간 주석 설명의 품질을 시키고자 하는 task를 얼마나 잘 수행했는지, 즉 ML모델 성능에 대한 helpfulness(or impaiment)를 기준으로 하여 측정하려 합니다. 보편적으로 사용되는 Simulatiability와 다르게 본 연구에서는 파인 튜닝과 인퍼런스 모두에서의 모델 성능에 대해 설명할 수 있는 helpfulness를 고려하여 새로운 지표를 만들었습니다. 통일된 데이터셋 포맷을 사용하여 본 연구에서는 제안하는 메트릭을 5개의 데이터셋과 2개의 모델(T5, BART)에 대해 실험하였으며, 실험 결과 제안하는 지표는 Simulatiability와 달리 객관적으로 인간 주석 수준의 설명 품질을 측정할 수 있었습니다.