초록) Eight Things to Know about Large Language Models

원문

The widespread public deployment of large languaeg models (LLMs) in recent moths has prompted a wave of new attention and engagement from advocates, policymakers, and scholars from many fields. This attention is a timely response to the many urgent questions that this technology raises, but it can sometimes miss important considerations. This paper surveys the evidence for eight potentially surprising such points:      1. LLMs predictably get more capable with increasing investment, even without targeted innovation.      2. Many important LLM behaviors emerge unpredictably as a byproduct of increasing investment.      3. LLms often appear to learn and use representations of the outside world.      4. There are no reliable techniques for steering the behavior of LLMs.      5. Experts are not yet able to interpret the inner workings of LLMs.      6. Human performance on a task isn't an upper bound on LLm performance.      7. LLMs need not express the values of their creators nor the values encoded in web text.      8. Brief interactions with LLMs are often misleading.

 

최근 몇 달간 LLM의 대중적인 사용은 새로운 관심의 물결을 일으킨 것은 물론 찬성자, 정책 입법자, 그리고 다양한 분야의 학자들의 참여를 이끌었다. 이 관심은 기술이 불러일으킨 시급한 몇몇 질문들에 대한 적절한 응답이기도 하지만,  때때로 중요한 고려 사항들을 놓치는 것이기도 하다. 이 논문은 잠재적으로 놀라운 8개 포인트들에 대해 연구하였다.

1. LLM들은 예측컨대 목적으로 하는 개혁들이 없더라도, 더 많은 투자들을 받을 여지가 있다. 

2. 증대된 투자의 부산물로 중요하면서도 다양한 LLM의 행동 양식들이 예측 불가하게 등장할 것이다. 

3. LLM들은 종종 외부 세계를 배우고 표상하는 것처럼 보인다.

4. LLM의 행동을 조정할 수 있는 신뢰할 만한 기술은 없다.

5. 전문가들은 LLM들의 내부 작동 방식을 해석할 수 있는 능력이 아직 있지 않다.

6. 태스크에 대한 인간 수행 결과는 LLM 수행 결과의 상한이 결코 아니다. 

7. LLM들은 그들의 창조자들에 대한 가치나, 웹에 존재하는 텍스트들의 가치에 대해서 표현할 필요가 없다.

8. LLM과의 매우 짧은 상호작용은 때때로 오해의 소지가 있다.