jamarju's picture
Update README.md
a09950f
metadata
language:
  - es
datasets:
  - squad_es
widget:
  - text: ¿Quién era el duque en la batalla de Hastings?
    context: >-
      La dinastía normanda tuvo un gran impacto político, cultural y militar en
      la Europa medieval e incluso en el Cercano Oriente. Los normandos eran
      famosos por su espíritu marcial y, finalmente, por su piedad cristiana,
      convirtiéndose en exponentes de la ortodoxia católica en la que se
      asimilaron. Adoptaron la lengua galorromance de la tierra franca que
      establecieron, siendo su dialecto conocido como francés normando, normando
      o normando, una lengua literaria importante. El ducado de Normandía, que
      formaron por tratado con la corona francesa, fue un gran feudo de la
      Francia medieval, y bajo Ricardo I de Normandía se forjó en un principado
      cohesionado y formidable en la tenencia feudal. Los normandos se
      caracterizan tanto por su cultura, como por su singular arquitectura
      románica y sus tradiciones musicales, y por sus importantes logros e
      innovaciones militares. Aventureros normandos fundaron el Reino de Sicilia
      bajo Roger II después de conquistar el sur de Italia con los sarracenos y
      bizantinos, y una expedición en nombre de su duque, Guillermo el
      Conquistador, condujo a la conquista normanda de Inglaterra. La influencia
      cultural y militar normanda se extendió desde estos nuevos centros
      europeos a los estados cruzados del Cercano Oriente, donde su príncipe
      Bohemundo I fundó el Principado de Antioquía en el Levante mediterráneo, a
      Escocia y Gales en Gran Bretaña.

This is the BSC-TeMU/roberta-large-bne model (source) trained on the squad_es v2.0.0 dataset (source).

Current achievement: em=60.21, f1=68.61

Results:

{
    "epoch": 4.0,
    "eval_HasAns_exact": 48.44804318488529,
    "eval_HasAns_f1": 65.24520506718169,
    "eval_HasAns_total": 5928,
    "eval_NoAns_exact": 71.97301854974705,
    "eval_NoAns_f1": 71.97301854974705,
    "eval_NoAns_total": 5930,
    "eval_best_exact": 60.22094788328555,
    "eval_best_exact_thresh": 0.0,
    "eval_best_f1": 68.6181122987237,
    "eval_best_f1_thresh": 0.0,
    "eval_exact": 60.2125147579693,
    "eval_f1": 68.60967917340695,
    "eval_samples": 12203,
    "eval_total": 11858
}

Training script:

python -m torch.distributed.launch --nproc_per_node=3 ./run_qa.py \
    --model_name_or_path BSC-TeMU/roberta-large-bne \
    --dataset_name squad_es \
    --dataset_config_name v2.0.0 \
    --do_train \
    --do_eval \
    --learning_rate 3e-5 \
    --num_train_epochs 4 \
    --max_seq_length 384 \
    --doc_stride 128 \
    --output_dir ./models/roberta-large-bne-finetuned-squad-es/ \
    --per_device_eval_batch_size=24   \
    --per_device_train_batch_size=12   \
    --version_2_with_negative \
    --ddp_find_unused_parameters=False \