응급실 환경에 적용할 수 있는, LLM 기반의 환자 및 보호자 친화적 응급 의료 서비스 제공을 위한 모델을 개발하던 중, 의료 LLM의 평가 방법과 지표들 정리의 필요성을 느꼈다. LLM의 평가 방법은 기존 모델들의 평가 방법과 다르게 명확하게 정해져있지 않다. 그 이유는 여러 가지가 있지만, 언어 자체의 복잡하고 모호한 특성, 응답 품질의 주관성, 전통적인 정량 지표의 한계, 추론 능력 측정의 어려움 등이 있다. 특히, 의료 LLM의 경우 답변의 정확도에 따라 생명을 좌우하기 때문에 정확한 평가가 이루어져야 하고, 평가자의 전문성이 요구되며, 윤리적/법적 책임 문제, 의학적 근거의 최신성도 고려해야하기 때문에 더욱 복잡하고 어렵다. 효율적인 평가 방식을 제안할 수 있도록, 의료 LLM 평가와 관련된 연..
