Upload checkpoint, sanitized config, and transcripts for group-dro_mms_set_3

README.md

@@ -0,0 +1,41 @@
+---
+title: "Group-DRO MMS-based ASR model - set 3"
+language: multilingual
+tags:
+  - asr
+  - group-dro
+  - MMS
+license: cc-by-nc-4.0
+---
+
+# Group-DRO MMS-based ASR model - set 3
+
+This repository contains a Group-DRO MMS-based automatic speech recognition (ASR) model trained with ESPnet.  
+The model was trained on balanced training data from set 3.
+
+## Intended Use
+
+This model is intended for ASR. Users can run inference using the provided checkpoint (`valid.loss.best.pth`) and configuration file (`config.yaml`):
+```bash
+import soundfile as sf
+from espnet2.bin.asr_inference import Speech2Text
+
+asr_train_config = "group-dro_mms_set_3/config.yaml"
+asr_model_file = "group-dro_mms_set_3/valid.loss.best.pth"
+
+model = Speech2Text.from_pretrained(
+    asr_train_config=asr_train_config,
+    asr_model_file=asr_model_file
+)
+
+speech, _ = sf.read("input.wav")
+text, *_ = model(speech)[0]
+
+print("Recognized text:", text)
+```
+
+## How to Use
+
+1. Clone this repository.
+2. Use ESPnet’s inference scripts with the provided `config.yaml` and checkpoint file.
+3. Ensure any external resources referenced in `config.yaml` are available at the indicated relative paths.

config.yaml

@@ -0,0 +1,1050 @@
+accum_grad: 16
+adapter: lora
+adapter_conf: {}
+allow_multi_rates: false
+allow_variable_data_keys: false
+aux_ctc_tasks: []
+batch_bins: 1000000
+batch_size: 4
+batch_type: sorted
+best_model_criterion:
+- - valid
+  - loss
+  - min
+bpemodel: null
+chunk_default_fs: null
+chunk_excluded_key_prefixes: []
+chunk_length: 500
+chunk_shift_ratio: 0.5
+cleaner: null
+collect_stats: false
+create_graph_in_tensorboard: false
+ctc_conf:
+  accumulation: false
+  agg: mean
+  ctc_type: droctc
+  dro_group_count: 6
+  dro_q_epsilon: 1.0e-10
+  dro_step_size: 0.0001
+  final_step_size: 0.001
+  init_strategy: uniform
+  initial_step_size: 0.0001
+  laplace_smoothing: 0.0
+  max_epoch: 40
+  normalize_grad: false
+  num_iters_per_epoch: 900
+  running_mean_window: -1
+  scheduling: false
+  use_running_mean: false
+  warmup_steps: 0
+cudnn_benchmark: false
+cudnn_deterministic: true
+cudnn_enabled: true
+decoder: null
+decoder_conf: {}
+detect_anomaly: false
+distributed: false
+drop_last_iter: false
+dry_run: false
+duration_batch_length: -1
+early_stopping_criterion:
+- valid
+- loss
+- min
+encoder: transformer
+encoder_conf:
+  attention_dropout_rate: 0.1
+  attention_heads: 8
+  dropout_rate: 0.1
+  input_layer: conv2d2
+  linear_units: 1024
+  normalize_before: true
+  num_blocks: 2
+  output_size: 256
+  positional_dropout_rate: 0.1
+exclude_weight_decay: false
+exclude_weight_decay_conf: {}
+fold_length:
+- 80000
+- 150
+freeze_param: []
+frontend: s3prl
+frontend_conf:
+  download_dir: ./hub
+  frontend_conf:
+    path_or_url: facebook/mms-300m
+    upstream: hf_wav2vec2_custom
+  fs: 16k
+  multilayer_feature: true
+g2p: null
+grad_clip: 5.0
+grad_clip_type: 2.0
+grad_noise: false
+ignore_init_mismatch: false
+init: xavier_uniform
+init_param: []
+input_size: null
+iterator_type: sequence
+joint_net_conf: null
+keep_nbest_models: 2
+log_interval: null
+log_level: INFO
+max_cache_fd: 32
+max_cache_size: 0.0
+max_epoch: 40
+model: espnet
+model_conf:
+  ctc_weight: 1.0
+multiple_iterator: false
+multiprocessing_distributed: false
+nbest_averaging_interval: 0
+ngpu: 1
+no_forward_run: false
+noise_apply_prob: 1.0
+noise_db_range: '13_15'
+noise_scp: null
+non_linguistic_symbols: ./nlsyms.txt
+normalize: utterance_mvn
+normalize_conf: {}
+num_att_plot: 3
+num_cache_chunks: 1024
+num_iters_per_epoch: 900
+num_workers: 4
+optim: adam
+optim_conf:
+  lr: 0.0001
+  weight_decay: 1.0e-06
+output_dir: ./inference_results
+patience: null
+postencoder: null
+postencoder_conf: {}
+preencoder: linear
+preencoder_conf:
+  input_size: 1024
+  output_size: 80
+preprocessor: default
+preprocessor_conf: {}
+pretrain_path: null
+print_config: false
+required:
+- output_dir
+- token_list
+resume: true
+rir_apply_prob: 1.0
+rir_scp: null
+save_strategy: all
+scheduler: null
+scheduler_conf: {}
+seed: 0
+sharded_ddp: false
+short_noise_thres: 0.5
+shuffle_within_batch: false
+sort_batch: descending
+sort_in_batch: descending
+specaug: specaug
+specaug_conf:
+  apply_freq_mask: true
+  apply_time_mask: true
+  apply_time_warp: true
+  freq_mask_width_range:
+  - 0
+  - 27
+  num_freq_mask: 2
+  num_time_mask: 10
+  time_mask_width_ratio_range:
+  - 0.0
+  - 0.05
+  time_warp_mode: bicubic
+  time_warp_window: 5
+speech_volume_normalize: null
+token_list:
+- <blank>
+- <unk>
+- <space>
+- E
+- A
+- I
+- N
+- R
+- K
+- T
+- L
+- O
+- А
+- S
+- M
+- D
+- H
+- ា
+- ្
+- U
+- G
+- B
+- Е
+- Н
+- Л
+- Ы
+- ន
+- Р
+- Ә
+- К
+- រ
+- Т
+- W
+- ក
+- ប
+- Y
+- V
+- И
+- Ê
+- J
+- ស
+- '[tat]'
+- ម
+- Б
+- P
+- ង
+- ល
+- '[nbl]'
+- Z
+- '[kmr]'
+- '[nno]'
+- ត
+- М
+- Г
+- У
+- Д
+- Î
+- F
+- С
+- ់
+- ទ
+- ដ
+- យ
+- З
+- Å
+- ំ
+- ិ
+- ុ
+- Ш
+- ព
+- ើ
+- 다
+- េ
+- វ
+- П
+- ែ
+- Ч
+- ី
+- 이
+- Й
+- ច
+- О
+- អ
+- 는
+- គ
+- Ү
+- ូ
+- ជ
+- X
+- Ң
+- Û
+- 에
+- '[kor]'
+- Ө
+- ោ
+- C
+- Я
+- ះ
+- ួ
+- ៅ
+- ហ
+- 을
+- '[khm]'
+- Ş
+- Ø
+- 하
+- 의
+- 니
+- ណ
+- 로
+- 은
+- 가
+- 지
+- ភ
+- ផ
+- 고
+- ខ
+- Х
+- ថ
+- Җ
+- ធ
+- Ç
+- ៉
+- ញ
+- 서
+- 기
+- 사
+- Q
+- 있
+- 한
+- ឹ
+- '0'
+- В
+- 를
+- 수
+- 으
+- 스
+- 습
+- 도
+- 어
+- 아
+- ៃ
+- 들
+- 시
+- 리
+- 인
+- 해
+- 그
+- 대
+- ឺ
+- '1'
+- 자
+- ឡ
+- 적
+- ៊
+- 보
+- 라
+- 부
+- 나
+- Ь
+- 했
+- 일
+- ័
+- 것
+- '2'
+- 전
+- Ю
+- 게
+- ៀ
+- 상
+- 만
+- 주
+- Һ
+- ឆ
+- 트
+- Э
+- ៍
+- 정
+- 제
+- 과
+- 여
+- 었
+- 할
+- 문
+- 장
+- 와
+- 미
+- 유
+- 면
+- 되
+- 동
+- ៏
+- 물
+- 위
+- 원
+- 우
+- 거
+- 국
+- 모
+- 구
+- 소
+- 경
+- 세
+- 입
+- 계
+- 간
+- 며
+- 러
+- 요
+- 공
+- 비
+- 르
+- Ф
+- 식
+- 오
+- '9'
+- 성
+- ៗ
+- 발
+- ឋ
+- 합
+- 년
+- 된
+- 개
+- 관
+- 방
+- 화
+- 분
+- 중
+- 않
+- 프
+- 데
+- '5'
+- 선
+- 드
+- '6'
+- 용
+- 려
+- 연
+- 무
+- 명
+- 람
+- 안
+- 조
+- 차
+- 터
+- 생
+- 바
+- 타
+- 야
+- '3'
+- 행
+- 내
+- 당
+- 운
+- 마
+- '8'
+- 법
+- 른
+- 따
+- ឱ
+- 영
+- 때
+- 실
+- ៈ
+- ឌ
+- 포
+- 키
+- 던
+- 노
+- 크
+- 작
+- 신
+- '4'
+- 역
+- 통
+- 진
+- 학
+- 교
+- 쪽
+- ឬ
+- 피
+- 함
+- 몇
+- 히
+- 불
+- 재
+- 파
+- 달
+- 강
+- 남
+- Æ
+- ឈ
+- 든
+- 치
+- 회
+- 능
+- 없
+- 결
+- 체
+- 두
+- 필
+- 호
+- 록
+- 루
+- 류
+- 반
+- 저
+- 더
+- 올
+- 점
+- 또
+- 디
+- '7'
+- 심
+- 음
+- 양
+- 카
+- 말
+- 각
+- 열
+- 군
+- 속
+- 족
+- ឿ
+- 워
+- 많
+- 았
+- 태
+- 력
+- 토
+- 버
+- 민
+- 린
+- 론
+- 메
+- 랑
+- 코
+- 임
+- 현
+- 예
+- 매
+- 까
+- 움
+- 후
+- Ц
+- ឃ
+- 졌
+- 져
+- 곳
+- 손
+- 직
+- 단
+- 종
+- 티
+- 건
+- 본
+- 표
+- 레
+- 형
+- 증
+- Ò
+- Ъ
+- ឥ
+- ៌
+- 급
+- 초
+- 금
+- 및
+- 격
+- 항
+- 였
+- 집
+- 북
+- 알
+- 산
+- 새
+- ឧ
+- 름
+- 최
+- 순
+- 환
+- 페
+- 준
+- 언
+- 눈
+- 출
+- 험
+- 림
+- 근
+- 션
+- 너
+- 독
+- 래
+- 됩
+- 활
+- 특
+- 돌
+- 온
+- 응
+- 못
+- 승
+- 추
+- 질
+- 석
+- 련
+- 난
+- ។
+- 배
+- 처
+- 등
+- 충
+- 견
+- 착
+- 브
+- 월
+- 편
+- 겨
+- 긴
+- 감
+- 란
+- 탈
+- 취
+- 받
+- 즈
+- 테
+- 설
+- 투
+- 런
+- 권
+- 탄
+- 볼
+- 될
+- 엔
+- 픽
+- 업
+- 쿠
+- 머
+- 네
+- 누
+- 령
+- 확
+- 츠
+- 천
+- 별
+- ឯ
+- 굴
+- 량
+- 번
+- 박
+- 폭
+- 십
+- 랜
+- 릴
+- 헤
+- 케
+- 향
+- 료
+- 같
+- 좋
+- 병
+- 채
+- 먼
+- 복
+- 날
+- 킬
+- 혀
+- 쇼
+- 베
+- 접
+- 럽
+- 닌
+- 목
+- 칠
+- 싸
+- 극
+- Ж
+- ឍ
+- ឲ
+- ៧
+- 잘
+- 혹
+- 텔
+- 념
+- 쉽
+- 곡
+- 뉴
+- 걸
+- 약
+- 깨
+- 끝
+- 왔
+- 품
+- 절
+- 길
+- 염
+- 판
+- 팀
+- 침
+- 울
+- 육
+- 첫
+- 망
+- 숙
+- 렇
+- 칸
+- 웨
+- 막
+- 립
+- 갖
+- 므
+- 맞
+- 협
+- 외
+- 변
+- 냅
+- 객
+- 숨
+- 압
+- 덤
+- 존
+- 패
+- 탐
+- 홍
+- 렸
+- 큰
+- 릅
+- 앞
+- 풍
+- 애
+- 살
+- 평
+- 퍼
+- 째
+- 냥
+- 얼
+- 잡
+- 램
+- 턴
+- 끄
+- 익
+- 텐
+- 슷
+- 엘
+- 잠
+- 웹
+- 광
+- 렌
+- 슬
+- 푸
+- 청
+- 획
+- 떤
+- 끌
+- —
+- ៖
+- Ü
+- ១
+- 측
+- 죄
+- 럼
+- 끼
+- 캐
+- 떨
+- 황
+- 규
+- 억
+- 쓸
+- 닙
+- 왕
+- 멘
+- 깥
+- 덮
+- 색
+- 콩
+- 척
+- 땅
+- 밀
+- 검
+- 욕
+- 밝
+- 냐
+- 괴
+- 킹
+- 녀
+- 웃
+- 락
+- 늘
+- 밴
+- 왜
+- 캠
+- 핑
+- 쓰
+- 친
+- 뒤
+- 슈
+- 골
+- 빠
+- 켰
+- 컨
+- 롤
+- 섬
+- 슨
+- 클
+- 완
+- 흑
+- 둘
+- 농
+- 큼
+- 싱
+- 례
+- 폴
+- 먹
+- 창
+- 륙
+- 송
+- 렴
+- ”
+- ០
+- 븐
+- 붙
+- 즉
+- 률
+- 싶
+- 갑
+- 링
+- 럭
+- 낮
+- 꽤
+- 느
+- 줄
+- 흥
+- 쌓
+- 탕
+- 엄
+- 쳐
+- 플
+- 잔
+- 틴
+- 덜
+- 얇
+- 책
+- 헨
+- 즌
+- 훈
+- 컴
+- 퓨
+- 얻
+- 힘
+- 엽
+- 찰
+- 촉
+- 좌
+- 즐
+- 암
+- 옵
+- 렵
+- 뜰
+- 혁
+- 혐
+- 깃
+- 핀
+- 쿄
+- 옮
+- 곤
+- 켜
+- 펼
+- 짧
+- 빵
+- 펜
+- 술
+- 택
+- 묘
+- 찬
+- 켓
+- 겠
+- 톱
+- 혼
+- 윤
+- 템
+- 칼
+- 릭
+- 악
+- 씨
+- 징
+- 폐
+- 넘
+- 허
+- 께
+- 잉
+- 덴
+- 팬
+- 꽃
+- 맹
+- 희
+- 냄
+- 뜨
+- 쟁
+- 참
+- 훨
+- 씬
+- 략
+- “
+- ’
+- É
+- È
+- «
+- »
+- Щ
+- ២
+- 혈
+- 액
+- 팸
+- 돈
+- 춘
+- 꼭
+- 랍
+- 꼽
+- 힐
+- 샤
+- 핼
+- 팩
+- 댈
+- 뇨
+- 밤
+- 높
+- 줬
+- 풀
+- 핵
+- 융
+- 릉
+- 뭅
+- 납
+- 릎
+- 죽
+- 헬
+- 콥
+- 콘
+- 줍
+- 뿐
+- 잃
+- 커
+- 젼
+- 범
+- 헝
+- 롱
+- 뻗
+- 철
+- 녹
+- 귀
+- 겪
+- 묵
+- 낼
+- 셀
+- 햇
+- 빛
+- 센
+- 렀
+- 섯
+- 늄
+- 층
+- 콜
+- 휠
+- 볍
+- 총
+- 잭
+- 담
+- 낸
+- 읽
+- 앙
+- 축
+- 싣
+- 썰
+- 랙
+- 맥
+- 닫
+- 백
+- 갈
+- 갇
+- 겁
+- 팡
+- 셔
+- 윙
+- 졸
+- 겼
+- 맷
+- 옛
+- 빈
+- 벽
+- 딘
+- 낭
+- 벤
+- 캄
+- 놈
+- 갱
+- 논
+- 햄
+- 렉
+- 낙
+- 뤄
+- 멀
+- 좀
+- 뭔
+- 텍
+- 쿨
+- 벨
+- 벗
+- 앉
+- 옆
+- 긋
+- 빼
+- 괜
+- 찮
+- 뚫
+- 뀌
+- 쇄
+- 뷰
+- 칭
+- 밑
+- 빙
+- 널
+- 튼
+- 샛
+- 룩
+- 셈
+- 캔
+- 좁
+- 욱
+- 둥
+- 폰
+- 앱
+- 찾
+- 냈
+- 짐
+- 텨
+- 씀
+- 탁
+- 쌍
+- 섭
+- 곰
+- 붕
+- 퀴
+- 탑
+- 닥
+- 슴
+- 롭
+- 득
+- 옥
+- 맛
+- 훼
+- 됐
+- 몬
+- °
+- 죠
+- 빗
+- 덕
+- 흩
+- 몰
+- 칙
+- 흡
+- 랐
+- 뱅
+- 삼
+- 글
+- 났
+- 췄
+- 뽑
+- 혔
+- 꿈
+- <sos/eos>
+token_type: char
+train_dtype: float32
+unused_parameters: true
+use_adapter: false
+use_amp: false
+use_lang_prompt: false
+use_matplotlib: true
+use_nlp_prompt: false
+use_preprocessor: true
+use_tensorboard: true
+val_scheduler_criterion:
+- valid
+- loss
+valid_batch_bins: null
+valid_batch_size: null
+valid_batch_type: null
+valid_iterator_type: null
+valid_max_cache_size: null
+version: '202402'
+write_collected_feats: false

valid.loss.best.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:14396c7fddbdfe4f453c5c61d64aaa348a953ae684857d0001db9fe46144c045
+size 1281577228