Cleaned Kaggle - riid dataset

[MoonJaeHoon]

Kaggle riid Dataset

본래 train.csv 와 변수명을 동일하게 전처리하였음.

• kaggle_riid_train.csv : 정제완료된 train 파일
• kaggle_riid_전처리.ipynb : 전처리 notebook 파일

https://drive.google.com/drive/folders/1UUrxMIPUClxGU73bFqHwtu_pGPLPxKTL?usp=sharing

위 링크에서
kaggle_riid_train.csv 파일을 /input/data/train_dataset 경로에 다운로드하고 본래 train시키듯이 모델을 학습시키면 됨.

학습방법

먼저 다음 사진속
dataloader.py의 주석처리된 부분들을 풀어주고,

Command Line에서 다음과 같이 실행하면 됩니다.

>>> python train.py --file_name kaggle_riid_train.csv --data_dir /opt/ml/input/data/train_dataset 

[gvsteve24]

kaggle_riid_전처리.ipynb 에서 이상한점을 발견했습니다.

1. reduce_mem_usage를 실행하기 전 메모리체크
   train.memory_usage(deep=True)

Index 794170400
row_id 397085200
timestamp 397085200
user_id 397085200
content_id 397085200
content_type_id 397085200
task_container_id 397085200
user_answer 397085200
answered_correctly 397085200
prior_question_elapsed_time 397085200
prior_question_had_explanation 397085200
dtype: int64

2. reduce_mem_usage를 실행한 후 메모리체크
   train.memory_usage(deep=True)

Index 794170400
row_id 397085200
timestamp 397085200
user_id 397085200
content_id 397085200
content_type_id 397085200
task_container_id 397085200
user_answer 397085200
answered_correctly 397085200
prior_question_elapsed_time 397085200
prior_question_had_explanation 397085200
dtype: int64

3. reduce_mem_usage(train) 결과화면
   MEMORY USAGE AFTER COMPLETION:
   Memory usage is: 4544.279479980469 MB
   This is 117.07317073170732 % of the initial size

메모리가 줄어드는게 아니라 늘어나는데, 타입이 전체적으로 float32로 다 바뀌어서 그렇게 되는거 같아요.