UICHEOL-HWANG/Dacon-contest-obfuscation-ko-gemma-7b

Dacon 난독화 데이터셋 파인튜닝

• 원본 대회 정보
• Dacon

대회 링크 https://dacon.io

• Machine Spec
• GCP V100

  • 실행 Spec

    • batch_size : 4, max_length : 512, trl, peft, BitsAndBytesConfig, bfloat16으로 실행
    • total loss : 2.1

  • 위 모델의 데이터는 Dacon을 통해 제공 받았으며, 해당 모델은 비영리적으로 사용할 예정 입니다(포트폴리오용, 시험 제출용)

  • beomi/gemma-ko-7b fine-tune