import?os
import?numpy?as?np
import?struct
import?PIL.Image

train_data_dir?=?“HWDB1.1trn_gnt“
test_data_dir?=?“HWDB1.1tst_gnt“


#?讀取圖像和對(duì)應(yīng)的漢字
def?read_from_gnt_dir（gnt_dir=train_data_dir）:
????def?one_file（f）:
????????header_size?=?10
????????while?True:
????????????header?=?np.fromfile（f?dtype=‘uint8‘?count=header_size）
????????????if?not?header.size:?break
????????????sample_size?=?header[0]?+?（header[1]?<????????????tagcode?=?header[5]?+?（header[4]?<????????????width?=?header[6]?+?（header[7]?<????????????height?=?header[8]?+?（header[9]?<????????????if?header_size?+?width?*?height?!=?sample_size:
????????????????break
????????????image?=?np.fromfile（f?dtype=‘uint8‘?count=width?*?height）.reshape（（height?width））
????????????yield?image?tagcode

????for?file_name?in?os.listdir（gnt_dir）:
????????if?file_name.endswith（‘.gnt‘）:
????????????file_path?=?os.path.join（gnt_dir?file_name）
????????????with?open（file_path?‘rb‘）?as?f:
????????????????for?image?tagcode?in?one_file（f）:
????????????????????yield?image?tagcode


import?scipy.misc
from?sklearn.utils?import?shuffle
import?tensorflow?as?tf

#?我取常用的前140個(gè)漢字進(jìn)行測(cè)試
char_set?=?“的一是了我不人在他有這個(gè)上們來(lái)到時(shí)大地為子中你說(shuō)生國(guó)年著就那和要她出也得里后自以會(huì)家可下而過(guò)天去能對(duì)小多然于心學(xué)么之都好看起發(fā)當(dāng)沒(méi)成只如事把還用第樣道想作種開(kāi)美總從無(wú)情己面最女但現(xiàn)前些所同日手又行意動(dòng)方期它頭經(jīng)長(zhǎng)兒回位分愛(ài)老因很給名法間斯知世什兩次使身者被高已親其進(jìn)此話常與活正感“


def?resize_and_normalize_image（img）:
????#?補(bǔ)方
????pad_size?=?abs（img.shape[0]?-?img.shape[1]）?//?2
????if?img.shape[0]?????????pad_dims?=?（（pad_size?pad_size）?（0?0））
????else:
????????pad_dims?=?（（0?0）?（pad_size?pad_size））
????img?=?np.lib.pad（img?pad_dims?mode=‘constant‘?constant_values=255）
????#?縮放
????img?=?scipy.misc.imresize（img?（64?-?4?*?2?64?-?4?*?2））
????img?=?np.lib.pad（img?（（4?4）?（4?4））?mode=‘constant‘?constant_values=255）
????assert?img.shape?==?（64?64）

????img?=?img.flatten（）
????#?像素值范圍-1到1
????img?=?（img?-?128）?/?128
????return?img


#?one?hot
def?convert_to_one_hot（char）:
????vector?=?np.zeros（len（char_set））
????vector[char_set.index（char）]?=?1
????return?vector


#?由于數(shù)據(jù)量不大?可一次全部加載到RAM
train_data_x?=?[]
train_data_y?=?[]

for?image?tagcode?in?read_from_gnt_dir（gnt_dir=train_data_dir）:
????tagcode_unicode?=?struct.pack（‘>H‘?tagcode）.decode（‘gb2312‘）
????if?tagcode_unicode?in?char_set:
????????train_data_x.append（resize_and_normalize_image（image））
????????train_data_y.append（convert_to_one_hot（tagcode_unicode））

#?shuffle樣本
train_data_x?train_data_y?=?shuffle（train_data_x?train_data_y?random_state=0）

batch_size?=?128
num_batch?=?len（train_data_x）?//?batch_size

text_data_x?=?[]
text_data_y?=?[]
for?image?tagcode?in?read_from_gnt_dir（gnt_dir=test_data_dir）:
????tagcode_unicode?=?struct.pack（‘>H‘?tagcode）.decode（‘gb2312‘）
????if?tagcode_unicode?in?char_set:
????????text_data_x.append（resize_and_normalize_image（image））
????????text_data_y.append（convert_to_one_hot（tagcode_unicode）