Generative AI
-
Exploring the Cognitive Knowledge Structure of LLMGenerative AI 2024. 9. 2. 21:53
Zhang, Z., Yu, J., Li, J., & Hou, L. (2023). Exploring the Cognitive Knowledge Structure of Large Language Models: An Educational Diagnostic Assessment Approach. arXiv preprint arXiv:2310.08172. 내가 관심갖는 분야와 정말 가까이 붙어있음 연구 동기최근 LLM들의 성능이 높아졌으며, 많은 곳에서 human-centric한 벤치마크를 많이 사용 다만 이러한 benchmark들은 LLM의 knowledge, cognitive patterns를 고려하지 않은 한계가 있음 이에 해당 연구에서는 model들의 knowledge, cognitive distribu..
-
Multilingual Large Language Model:A Survey of Resources, Taxonomy and FrontiersGenerative AI/trends 2024. 8. 2. 10:15
Qin, L., Chen, Q., Zhou, Y., Chen, Z., Li, Y., Liao, L., ... & Yu, P. S. (2024). Multilingual large language model: A survey of resources, taxonomy and frontiers. arXiv preprint arXiv:2404.04925.
-
Trustworthiness of LLMsGenerative AI/trends 2024. 7. 30. 09:48
1) Liu, Y., Yao, Y., Ton, J. F., Zhang, X., Cheng, R. G. H., Klochkov, Y., ... & Li, H. (2023). Trustworthy LLMs: A survey and guideline for evaluating large language models' alignment. arXiv preprint arXiv:2308.05374. Truthworthiness에 대한 정의 및 세부 능력군 설정 2) Sun, L., Huang, Y., Wang, H., Wu, S., Zhang, Q., Gao, C., ... & Zhao, Y. (2024). Trustllm: Trustworthiness in large language models. arXiv p..
-
Large Language Models: A SurveyGenerative AI/models 2024. 7. 30. 09:37
Minaee, S., Mikolov, T., Nikzad, N., Chenaghlu, M., Socher, R., Amatriain, X., & Gao, J. (2024). Large language models: A survey. arXiv preprint arXiv:2402.06196. 매년 쏟아지는 서베이 논문 중 2024년 가장 최신 버전모델별로 훈련 과정과 원리, 데이터셋, 벤치마크 성능 등이 총망라 되어있어 유용한 논문
-
leveraging large language models for NLG Evaluation: A surveyGenerative AI/benchmarks 2024. 1. 22. 15:32
Li, Z., Xu, X., Shen, T., Xu, C., Gu, J. C., & Tao, C. (2024). Leveraging Large Language Models for NLG Evaluation: A Survey. arXiv preprint arXiv:2401.07103. 1. Introduction ㅇ imperative to establish robust evaluation methodologies that can reliably gauge the quality of the generated content ㅇ shortage of Traditional NLG evaluation metrics - BLEU, ROUGE, TER.. they only focus surface-level text..
-
Can Large Language Models Understand Real-World Complex Instructions?Generative AI/benchmarks 2023. 11. 30. 02:54
* He, Q., Zeng, J., Huang, W., Chen, L., Xiao, J., He, Q., ... & Xiao, Y. (2023). Can Large Language Models Understand Real-World Complex Instructions?. arXiv preprint arXiv:2309.09150. (AAAI accepted) * 주안점 - 대부분은 English model들이 인스트럭션 이해를 잘함 - 한편 Chinese data가 Chinese model 성능을 높임 - 모델 34개 정도는 실험해야 accept이 되는구나... ㅇ LLM들의 발전은 눈부시나 complex instruction을 이해하는데 한계 - what is complex instruction? 1)..