add feature

README.md

@@ -8,6 +8,8 @@
 
 ### 3. $ python3 whole-in-one.py
 학습-추론 한번에 실행
+단, lgbm은 inference를 따로 수행하지 않아도 됩니다. train부분에서 모두 처리
+실행시 폴더에 학습 때 사용한 하이퍼 파라미터와 피처를 json으로 저장
 
 ### 4. $ python3 submit.py
 key와 파일path를 입력하면 다운로드할 필요 없이 서버에서 바로 제출

conf.yml

@@ -8,7 +8,7 @@ wandb :
         - baseline
 
 ##main params
-task_name: lgbm_test
+task_name: lgbm_test_featureconf
 seed: 42
 device: cuda
 

dkt/trainer.py

@@ -24,12 +24,15 @@ def run(args, train_data, valid_data):
     train_loader, valid_loader = get_loaders(args, train_data, valid_data)
 
     if args.model=='lgbm':
-        #학습
+        #학습(train_dataset+test_dataset(마지막행 제외)
+
         model,auc,acc=lgbm_train(args,train_data,valid_data)
         wandb.log({"valid_auc":auc, "valid_acc":acc})
         #추론준비
+
         csv_file_path = os.path.join(args.data_dir, args.test_file_name)
         test_df = pd.read_csv(csv_file_path)#, nrows=100000)
+
         test_df = make_lgbm_feature(test_df)
         #유저별 시퀀스를 고려하기 위해 아래와 같이 정렬
         test_df.sort_values(by=['userID','Timestamp'], inplace=True)

lgbm_utils.py

@@ -21,7 +21,11 @@ def make_lgbm_feature(df):
     correct_t.columns = ["test_mean", 'test_sum']
     correct_k = df.groupby(['KnowledgeTag'])['answerCode'].agg(['mean', 'sum'])
     correct_k.columns = ["tag_mean", 'tag_sum']
-
+    #학생의 학년을 정하고 푼 문제지의 학년합을 구해본다
+    df['test_level']=df['assessmentItemID'].apply(lambda x:int(x[2]))
+    correct_l = df.groupby(['userID'])['test_level'].agg(['mean', 'sum'])
+    correct_l.columns = ["level_mean", 'level_sum']
+    df = pd.merge(df, correct_l, on=['userID'], how="left")
 
     df = pd.merge(df, correct_t, on=['testId'], how="left")
     df = pd.merge(df, correct_k, on=['KnowledgeTag'], how="left")
@@ -32,6 +36,7 @@ def make_lgbm_feature(df):
 
 def lgbm_split_data(data,ratio):
     random.seed(42)
+
     users = list(zip(data['userID'].value_counts().index, data['userID'].value_counts()))
     random.shuffle(users)
 
@@ -94,6 +99,7 @@ def lgbm_train(args,train_data,valid_data):
 
     _ = lgb.plot_importance(model)
 
+
     return model,auc,acc
 
 def lgbm_inference(args,model, test_data):
@@ -114,4 +120,12 @@ def lgbm_inference(args,model, test_data):
         for id, p in enumerate(answer):
             w.write('{},{}\n'.format(id,p))
 
-    print(f"lgbm의 예측파일이 {new_output_path}/{args.task_name}.csv 로 저장됐습니다.")
+    print(f"lgbm의 예측파일이 {new_output_path}/{args.task_name}.csv 로 저장됐습니다.")
+
+    save_path=f"{args.output_dir}{args.task_name}/feature{len(FEATS)}_config.json"
+    json.dump(
+        FEATS,
+        open(save_path, "w"),
+        indent=2,
+        ensure_ascii=False,
+    )

submit.py

@@ -25,8 +25,8 @@ def submit(user_key='', file_path = ''):
     requests.post(url=submit_url, data=body, files={'file': open(file_path, 'rb')})
 
 if __name__ == "__main__":
-    test_dir='/opt/ml'#prediction folder path
+    test_dir='/opt/ml/code/output/lgbm_add_test_data'#prediction folder path
 
     # 아래 글을 통해 자신의 key값 찾아 넣기
     # http://boostcamp.stages.ai/competitions/3/discussion/post/110
-    submit("Bearer 15bdf505e0902975b2e6f578148d22136b2f7717", os.path.join(test_dir, 'answer.csv'))
+    submit("Bearer 15bdf505e0902975b2e6f578148d22136b2f7717", os.path.join(test_dir, 'output.csv'))

train.py

@@ -20,7 +20,7 @@ def main(args):
     preprocess = Preprocess(args)
     preprocess.load_train_data(args.file_name)
     train_data = preprocess.get_train_data()
-    
+
     train_data, valid_data = preprocess.split_data(train_data)