#?-*-?coding:utf-8?-*-

‘‘‘
@lptMusketeers?2017.10.20
‘‘‘
import?pickle
import?pandas?as?pd
import?numpy?as?np
from?unittest.mock?import?inplace

class?PreProcess（object）:
????def?gen_courseid_dict（selfsource_path）:
????????df?=?pd.read_csv（source_pathusecols=[0]）
????????course_map?=?pd.factorize（df.course_id）[1]
????????course_dict?=?dict（zip（course_maprange（len（course_map））））
????????print?（“course_dict?done...“）
????????return?course_dict
????
????def?gen_username_dict（selfsource_path_trainsource_path_test）:
????????df?=?pd.read_csv（source_path_trainusecols=[1]）
????????username_map?=?pd.factorize（df.username）[1]
????????username_dict?=?dict（zip（username_maprange（len（username_map））））
????????
????????df2?=?pd.read_csv（source_path_testusecols=[1]）
????????username_map2?=?pd.factorize（df2.username）[1]
????????diff?=?[w?for?w?in?username_map2?if?w?not?in?username_map]
????????username_dict2?=dict（zip（diffnp.arange（len（username_map）len（username_map）+len（diff））））
????????
????????username_dict.update（username_dict2）
????????print?（“username_dict?done...“）
????????return?username_dict
????
????def?course_map（selfx）:
????????return?self.course_dict[x]
????
????def?username_map（selfx）:
????????return?self.username_dict[x]
????
????def?time_split（selfx）:
????????x?=?x[:10]
????????return?x
????
????def?enrollment_map（selfsource_path_trainsource_path_testtarget_path_traintarget_path_test）:
????????print?（“read?enrollment_train.csv“）
????????#?enrollment_train.csv?enrollment_id?username?course_id
????????df1?=?pd.read_csv（source_path_trainusecols=[012]converters={1:self.username_map2:self.course_map}）
????????df1.to_csv（target_path_trainindex=False）
????????df2?=?pd.read_csv（source_path_testusecols=[012]converters={1:self.username_map2:self.course_map}）
????????df2.to_csv（target_path_testindex=False）
????????
????def?date_map（selfsource_pathtarget_path）:
????????print?（“read?date.csv“）
????????df1?=?pd.read_csv（source_pathconverters={0:self.course_map}）
????????df1[“day_nums“]=?（pd.to_datetime（df1[“to“]）?-?pd.to_datetime（df1[“from“]））
????????df1[“day_nums“]?=?df1[“day_nums“].map（lambda?x:?x.days）
????????df1.to_csv（target_pathindex=False）
????
????def?log_clean（selfsource_pathtarget_path）:
????????print?（“read?log_train.csv?“）
????????df1?=?pd.read_csv（source_pathusecols=[013]）?#change
????????df1[“date“]?=?df1[“time“].map（lambda?x:?x[:10]）
????????df1[“time“]?=?df1[“time“].map（lambda?x:?x[11:]）
????????
????????df1.to_csv（target_pathindex=False）
????
????def?course_enrollment（selfsource_path_trainsource_path_testsource_path_datetarget_path_traintarget_path_test）:
????????print（“course_enrollment....“）
????????df1?=?pd.read_csv（source_path_train）?#如果不設(shè)置index，read_csv讀取是默認index（序號），不是第一列
????????df2?=?pd.read_csv（source_path_test）
????????df3?=?pd.read_csv（source_path_date）
????????df4?=?pd.merge（df1df3how=“l(fā)eft“l(fā)eft_on=“course_id“right_