본 논문은 프롬프트의 Politeness(공손함) 수준이 Large Language Models (LLMs)의 성능과 편향성에 미치는 영향을 영어, 중국어, 일본어라는 다국어 환경에서 체계적으로 분석한 연구입니다. 연구진은 LLM이 인간의 사회적 규범과 문화적 맥락을 반영한다는 가설하에, 프롬프트의 공손함이 응답 품질, 과제 수행 능력, 그리고 고정관념적 편향(Stereotypical Bias)에 어떠한 차이를 만드는지 탐구했습니다.

핵심 방법론

1. 실험 설계: 각 언어별로 가장 공손한 수준부터 가장 무례한 수준까지 총 8단계의 Prompt 템플릿을 설계했습니다. 이를 위해 원어민의 설문조사를 거쳐 각 프롬프트의 Politeness 수준을 객관적으로 등급화했습니다.
2. 평가 과제:
   • Summarization: CNN/Dailymail, XL-Sum 데이터셋을 활용하여 요약문의 품질(BERTScore, ROUGE-L)과 길이를 분석했습니다.
   • Language Understanding: 영어의 MMLU, 중국어의 C-Eval, 그리고 일본어 성능 평가를 위해 신규 구축한 JMMLU를 활용했습니다. 정답 번호가 생성 텍스트에 포함되는지를 기준으로 성능을 측정했습니다.
   • Stereotypical Bias Detection: 기존 방법론의 언어적 한계를 극복하기 위해 Bias Index (BI)라는 새로운 지표를 제안했습니다.

$$BI = \frac{\text{Number of Different Pairs}}{\text{Total Number of Pairs}} \times 100$$
이는 편향적 속성만 변경된 문장 쌍(예: '노인' vs '청년')에 대해 모델이 서로 다른 평가를 내리는 빈도를 측정하는 방식입니다.

3. 모델 비교: GPT-3.5-Turbo, GPT-4와 더불어 각 언어 특화 모델인 Llama-2-70b-chat, ChatGLM3, Swallow-70b-instruct-hf를 사용하였습니다. 또한, SFT(Supervised Fine-Tuning)와 RLHF(Reinforcement Learning from Human Feedback)의 영향을 파악하기 위해 Llama-2-70B의 Base 모델과 Instruct 모델을 비교했습니다.

주요 연구 결과

• 성능과 공손함의 상관관계: 전반적으로 무례한 프롬프트는 성능 저하를 야기하지만, 지나치게 공손하거나 아첨하는 프롬프트가 반드시 최상의 결과를 보장하지는 않았습니다. 특히 모델의 성능에 따른 Politeness 민감도가 상이하며, GPT-4와 같은 고성능 모델은 상대적으로 프롬프트의 Politeness 변화에 강건(Robust)함을 보였습니다.
• 문화적 차이: Politeness 수준에 따른 성능 최적점은 언어권마다 다르게 나타났습니다. 예를 들어, 일본어는 높은 경어 체계(Keigo) 문화의 영향으로 특정 공손함 수준에서 응답의 길이와 품질이 변화하는 독특한 패턴을 보였습니다.
• 편향성(Bias)의 발현: Politeness가 낮은 프롬프트에서는 모델이 응답을 거부하거나 편향된 답변을 생성할 확률이 높았습니다. 흥미롭게도 인간의 사회적 상호작용과 유사하게, 중간 수준의 공손함에서 모델이 가장 진솔하게 답변하거나 편향성을 드러내는 경향이 관찰되었습니다.
• RLHF의 역할: RLHF가 적용된 모델은 프롬프트의 Politeness 수준에 더 민감하게 반응하며 인간의 의사소통 규범을 모방하는 경향이 강화됨을 확인했습니다.

결론

본 연구는 LLM이 단순한 정보 처리기를 넘어 인간의 사회적 에티켓과 문화적 배경을 학습하고 반영하는 존재임을 입증합니다. 따라서 다국어 자연어 처리 및 LLM 활용 시, 대상 언어와 문화권에 적합한 Politeness 전략을 선택하는 것이 프롬프트 엔지니어링의 효율성을 높이는 중요한 요소임을 시사합니다.