資源簡介
本文主要增加了一個(gè)搜索功能，通過該搜索框能展示搜索節(jié)點(diǎn)的相關(guān)內(nèi)容，同時(shí)在張老師的基礎(chǔ)上增加搜索節(jié)點(diǎn)相關(guān)聯(lián)的邊及節(jié)點(diǎn)。前面作者講解了很多知識(shí)圖譜原理知識(shí)，包括知識(shí)圖譜相關(guān)技術(shù)、Neo4j繪制關(guān)系圖譜等，但仍缺少一個(gè)系統(tǒng)全面的實(shí)例。為了加深自己對(duì)知識(shí)圖譜構(gòu)建的認(rèn)識(shí)，為后續(xù)創(chuàng)建貴州旅游知識(shí)圖譜打下基礎(chǔ)，作者深入學(xué)習(xí)了張宏倫老師的網(wǎng)易云課程（星球系列電影），并結(jié)合自己的理解和技術(shù)分享了該系列專欄，從數(shù)據(jù)采集、數(shù)據(jù)展示、數(shù)據(jù)分析到知識(shí)圖譜構(gòu)建，文章后續(xù)還會(huì)講解中文數(shù)據(jù)的實(shí)體識(shí)別、關(guān)系抽取、知識(shí)計(jì)算等。
---------------------
作者：Eastmount
來源：CSDN
原文：https://blog.csdn.net/Eastmount/article/details/87270150
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請(qǐng)附上博文鏈接！
代碼片段和文件信息
#?coding:?utf-8
import?urllib.request?as?urllib2
import?json
#設(shè)置headers
headers?=?{}
headers[“User-Agent“]?=?“Mozilla/5.0?（Windows?NT?10.0;?Win64;?x64）?AppleWebKit/537.36?（KHTML?like?Gecko）?Chrome/70.0.3538.102?Safari/537.36“
#讀取文件-讀取json信息并將json格式數(shù)據(jù)轉(zhuǎn)換為字典
f?=?open（‘films.csv‘?‘r‘?encoding=‘utf-8‘）
films?=?[]
for?line?in?f.readlines（）:
????#print（line）
????print（line.strip（‘\n‘））
????line?=?json.loads（line.strip（‘\n‘））
????films.append（line）
f.close（）
#遍歷每部電影films的實(shí)體并獲取其他實(shí)體
#獲取?characters人物?planets星球?starships飛船?vehicles裝備?species種族
targets?=?[‘characters‘?‘planets‘?‘starships‘?‘vehicles‘?‘species‘]
for?target?in?targets:
????print（target）
????#循環(huán)獲取五類數(shù)據(jù)并存儲(chǔ)至文件
????fw?=?open（‘film_‘?+?target?+?‘.csv‘?‘w‘）
????data?=?[]
????#獲取7部電影信息的實(shí)體名稱
????for?item?in?films:??
????????tmp?=?item[target]??#實(shí)體對(duì)應(yīng)的鏈接
????????print（tmp）
????????for?t?in?tmp:
????????????if?t?in?data:?#如果實(shí)體已經(jīng)存在則跳過?比如某部電影人物另一部也出現(xiàn)了
????????????????continue
????????????else:
????????????????data.append（t）
????????????
????????????#循環(huán)請(qǐng)求直到成功?防止網(wǎng)絡(luò)延遲
????????????while?1:
????????????????try:
????????????????????print（t）
????????????????????request?=?urllib2.Request（url=t?headers=headers）
????????????????????response?=?urllib2.urlopen（request）
????????????????????result?=?response.read（）.decode（‘utf-8‘）
????????????????except?Exception?as?e:
????????????????????continue?#請(qǐng)求失敗循環(huán)繼續(xù)
????????????????else:
????????????????????fw.write（result+“\n“）
????????????????????break?#請(qǐng)求成功跳出循環(huán)
????????????????finally:
????????????????????pass
????????????????
????#查看七部電影含這種實(shí)體多少個(gè)
????print（str（len（data））?target）
????fw.close（）
print（“success“）
?屬性????????????大小?????日期????時(shí)間???名稱
-----------?---------??----------?-----??----
?????文件??????19712??2019-01-31?15:32??（best）完整代碼\（1）?爬蟲?Spider_KG\films.csv
?????文件??????42166??2019-01-31?15:35??（best）完整代碼\（1）?爬蟲?Spider_KG\film_characters.csv
?????文件???????9894??2019-01-31?15:35??（best）完整代碼\（1）?爬蟲?Spider_KG\film_planets.csv
?????文件??????20519??2019-01-31?15:37??（best）完整代碼\（1）?爬蟲?Spider_KG\film_species.csv
?????文件??????20993??2019-01-31?15:36??（best）完整代碼\（1）?爬蟲?Spider_KG\film_starships.csv
?????文件??????18780??2019-01-31?15:37??（best）完整代碼\（1）?爬蟲?Spider_KG\film_vehicles.csv
?????文件???????1986??2019-01-31?15:33??（best）完整代碼\（1）?爬蟲?Spider_KG\get_details.py
?????文件????????805??2019-01-31?15:32??（best）完整代碼\（1）?爬蟲?Spider_KG\get_films.py
?????文件??????19712??2019-01-31?15:32??（best）完整代碼\（2）?可視化?ShowPic_KG\films.csv
?????文件??????42166??2019-01-31?15:35??（best）完整代碼\（2）?可視化?ShowPic_KG\film_characters.csv
?????文件???????9894??2019-01-31?15:35??（best）完整代碼\（2）?可視化?ShowPic_KG\film_planets.csv
?????文件??????20519??2019-01-31?15:37??（best）完整代碼\（2）?可視化?ShowPic_KG\film_species.csv
?????文件??????20993??2019-01-31?15:36??（best）完整代碼\（2）?可視化?ShowPic_KG\film_starships.csv
?????文件??????18780??2019-01-31?15:37??（best）完整代碼\（2）?可視化?ShowPic_KG\film_vehicles.csv
?????文件???????1986??2019-01-31?15:33??（best）完整代碼\（2）?可視化?ShowPic_KG\get_details.py
?????文件????????805??2019-01-31?15:32??（best）完整代碼\（2）?可視化?ShowPic_KG\get_films.py
?????文件????????732??2019-02-01?14:18??（best）完整代碼\（2）?可視化?ShowPic_KG\get_jsondetails.py
?????文件????????756??2019-01-31?17:12??（best）完整代碼\（2）?可視化?ShowPic_KG\get_jsonfils.py
?????文件???????1804??2019-02-01?15:10??（best）完整代碼\（2）?可視化?ShowPic_KG\show_height_mass.py
?????文件????????896??2019-02-01?15:16??（best）完整代碼\（2）?可視化?ShowPic_KG\show_height_mass2.py
?????文件????????582??2019-02-01?14:04??（best）完整代碼\（2）?可視化?ShowPic_KG\show_hist.py
?????文件????????831??2019-02-01?14:22??（best）完整代碼\（2）?可視化?ShowPic_KG\show_scatter.py
?????文件???????1119??2019-02-01?13:48??（best）完整代碼\（2）?可視化?ShowPic_KG\stat_basic.csv
?????文件???????5041??2019-02-01?14:18??（best）完整代碼\（2）?可視化?ShowPic_KG\stat_character.csv
?????文件??????19712??2019-01-31?15:32??（best）完整代碼\（3-1）?獲取json數(shù)據(jù)?neo4j_data\films.csv
?????文件??????42166??2019-01-31?15:35??（best）完整代碼\（3-1）?獲取json數(shù)據(jù)?neo4j_data\film_characters.csv
?????文件???????9894??2019-01-31?15:35??（best）完整代碼\（3-1）?獲取json數(shù)據(jù)?neo4j_data\film_planets.csv
?????文件??????20519??2019-01-31?15:37??（best）完整代碼\（3-1）?獲取json數(shù)據(jù)?neo4j_data\film_species.csv
?????文件??????20993??2019-01-31?15:36??（best）完整代碼\（3-1）?獲取json數(shù)據(jù)?neo4j_data\film_starships.csv
?????文件??????18780??2019-01-31?15:37??（best）完整代碼\（3-1）?獲取json數(shù)據(jù)?neo4j_data\film_vehicles.csv
............此處省略45個(gè)文件信息
評(píng)論
共有 條評(píng)論
川公網(wǎng)安備 51152502000135號(hào)