Instruction Tuning된 LLM이 얼마나 지시에 잘 따르는지에 대한 criteria에는 무엇이 있는가?
Instruction Tuning된 Language Model(LLM)이 지시에 잘 따르는지 평가하는 데 사용되는 몇 가지 criteria는 다음과 같습니다:

1. 정확성: 모델이 제공된 지시에 따라 정확하게 응답하는지 확인합니다.

2. 일관성: 모델이 동일한 입력에 대해 일관된 응답을 제공하는지 확인합니다.

3. 적절성: 모델이 지시에 맞는 적절한 응답을 제공하는지 확인합니다.

4. 다양성: 모델이 다양한 응답을 제공하여 동일한 입력에 대해 다양한 답변을 제공하는지 확인합니다.

5. 일반화: 모델이 다양한 입력에 대해 일관된 응답을 제공하는지 확인합니다.

6. 효율성: 모델이 입력에 대한 응답을 빠르게 생성하는지 확인합니다.

7. 협력성: 모델이 사용자와 원활하게 협력하여 원하는 결과를 얻을 수 있는지 확인합니다.

8. 학습 가능성: 모델이 새로운 지시를 학습하고 적용할 수 있는지 확인합니다.

9. 일반화 가능성: 모델이 새로운 입력에 대해 일반화할 수 있는지 확인합니다.

10. 오류 허용성: 모델이 사용자의 오타나 오타를 인식하고 적절한 응답을 제공하는지 확인합니다.

이러한 criteria는 모델이 지시에 잘 따르는지 평가하는 데 도움이 되며, 이를 통해 모델의 성능을 개선하고 더 나은 응답을 제공할 수 있습니다.
지시에 잘 따르는 LLM을 평가하기 위한 주요 기준은 다음과 같습니다:

1. 지시 이해도: LLM이 주어진 지시를 정확히 이해하고 있는지 확인합니다. 지시의 의도와 세부 사항을 정확히 파악해야 합니다.

2. 지시 준수도: LLM이 실제로 주어진 지시대로 행동하는지 평가합니다. 지시를 완전히 따르고 있는지, 일부만 따르고 있는지 등을 확인합니다.

3. 출력 품질: LLM의 출력물이 지시에 부합하는지, 정확하고 관련성 있는지 평가합니다. 오류, 부정확성, 관련 없는 내용이 없어야 합니다.

4. 일관성: 유사한 지시에 대해 LLM이 일관된 출력을 생성하는지 확인합니다. 출력이 모순되거나 불일치해서는 안 됩니다.

5. 안전성: LLM의 출력이 유해하거나 부적절한 내용을 포함하지 않는지 평가합니다. 윤리적이고 안전한 응답을 해야 합니다.

6. 강건성: 다양한 지시와 상황에서 LLM이 견고하게 작동하는지 확인합니다. 예외 상황에서도 적절히 대응해야 합니다.

7. 효율성: LLM이 지시를 신속하고 효율적으로 처리하는지 평가합니다. 과도한 지연이나 리소스 소모가 없어야 합니다.

이러한 기준들을 종합적으로 고려하여 LLM의 지시 준수 능력을 평가할 수 있습니다.