args.yaml

wandb:
  use: True
  project: mrc_project
  name: god # 뒤에 model_name | batch_size | max_epoch | lr | warmup_steps | weight_decay가 자동으로 붙습니다. 비워두면 이것만 나옵니다

model:
  model_name: klue/roberta-large
  saved_model_path: /opt/ml/models/train_dataset # inference 때 사용# inference 때 사용 및 korquad 1차 fine-tuning시 finetuning_dataset_roberta 사용
  config_name: null
  tokenizer_name: null
  tok_train: False
  retrieval_tokenizer: monologg/koelectra-base-v3-finetuned-korquad # sparse_embedding.bin 이나 bm25_sparse_embedding.bin 은 tokenizer에 따라 달라집니다. 바꿀 경우, 삭제 후 inference하셔야 합니다.
  do_finetuning: False # korquad 1차 finetuning시 True (default 및 2차 때는 False)

data:
  train_dataset_name: /opt/ml/input/data/train_dataset
  test_dataset_name: /opt/ml/input/data/test_dataset
  overwrite_cache: False
  preprocessing_num_workers: null
  max_seq_length: 384
  pad_to_max_length: False
  doc_stride: 128
  max_answer_length: 100
  eval_retrieval: True
  num_clusters: 64
  top_k_retrieval: 40
  use_faiss: False
  data_type: original # original, korquad, korquad_hard, mix, mix_hard (설명은 prepare_dataset.py에)
  independent: True # 문서를 concat하지 않고 각각에 대해 inference를 하고 싶으시면 True
  retrieval_type: reranking # tfidf, bm25, reranking, reranking2, es (es는 bin 파일을 생성하지 않습니다.)
  unuse_remove: False # True 하면 \\n을 지워주고 학습, False 하면 원래대로 학습

train:
  batch_size: 16
  max_epoch: 2
  learning_rate: 9.0e-6
  eval_step: 1000
  logging_step: 1000
  save_step: 1000
  gradient_accumulation: 1
  do_train: False # FALSE
  do_eval: False # train에서 True, 제출용 inference에서는 False, eval inference는 True
  do_predict: True # train에서 False, 제출용 inference에서는 True, eval inference에서는 False
  train_output_dir: /opt/ml/models/train_dataset # korquad 1차 finetuning 시 저장할 dir 이름(예: finetuning_dataset_roberta)으로 바꿔줘야 함
  inference_output_dir: /opt/ml/outputs/test_dataset
  warmup_steps: 0
  weight_decay: 0.0
  seed: 42
  use_sep_token_in_inference: False
  fix_embedding_layer: False # True 하면, 학습 시 embedding layer fix !
  fix_else_layer: False # tokenizer 재학습 시킬 경우 True로 해주세요 한 번 학습하신 후 False로 바꾸고 다시 학습시키면 됩니다.