| asr_datsets = {'LibriSpeech-Test-Clean': 'aa', | |
| 'LibriSpeech-Test-Other': 'bb', | |
| 'Common-Voice-15-En-Test': 'cc', | |
| 'Peoples-Speech-Test': 'dd', | |
| 'GigaSpeech-Test': 'ee', | |
| 'Earnings21-Test': 'ff', | |
| 'Earnings22-Test': 'gg', | |
| 'Tedlium3-Test': 'hh', | |
| 'Tedlium3-Long-form-Test': 'ii', | |
| 'IMDA-Part1-ASR-Test': 'jj', | |
| 'IMDA-Part2-ASR-Test': 'kk' | |
| } | |
| sqa_datasets = {'CN-College-Listen-MCQ-Test': 'aa', | |
| 'DREAM-TTS-MCQ-Test': 'bb', | |
| 'SLUE-P2-SQA5-Test': 'cc', | |
| 'Public-SG-Speech-QA-Test': 'dd', | |
| 'Spoken-Squad-v1': 'ee' | |
| } | |
| si_datasets = {'OpenHermes-Audio-Test': 'aa', | |
| 'ALPACA-Audio-Test': 'bb' | |
| } | |
| ac_datasets = { | |
| 'WavCaps-Test': 'aa', | |
| 'AudioCaps-Test': 'bb' | |
| } | |
| asqa_datasets = { | |
| 'Clotho-AQA-Test': 'aa', | |
| 'WavCaps-QA-Test': 'bb', | |
| 'AudioCaps-QA-Test': 'cc' | |
| } | |
| er_datasets = { | |
| 'IEMOCAP-Emotion-Test': 'aa', | |
| 'MELD-Sentiment-Test': 'bb', | |
| 'MELD-Emotion-Test': 'cc' | |
| } | |
| ar_datsets = { | |
| 'VoxCeleb-Accent-Test': 'aa' | |
| } | |
| gr_datasets = { | |
| 'VoxCeleb-Gender-Test': 'aa', | |
| 'IEMOCAP-Gender-Test': 'bb' | |
| } | |
| spt_datasets = { | |
| 'Covost2-EN-ID-test': 'aa', | |
| 'Covost2-EN-ZH-test': 'bb', | |
| 'Covost2-EN-TA-test': 'cc', | |
| 'Covost2-ID-EN-test': 'dd', | |
| 'Covost2-ZH-EN-test': 'ee', | |
| 'Covost2-TA-EN-test': 'ff' | |
| } | |
| cnasr_datasets = { | |
| 'Aishell-ASR-ZH-Test': 'aa' | |
| } | |
| metrics = { | |
| 'wer': '11', | |
| 'llama3_70b_judge_binary': '22', | |
| 'llama3_70b_judge': '33', | |
| 'meteor': '44', | |
| 'bleu': '55' | |
| } |