資源簡介
使用python爬蟲技術爬取知網的標題和摘要信息。使用了多線程,爬取的數據存儲在mysql數據庫中。
代碼片段和文件信息
#?-*-?coding:?utf-8?-*-
import?pymysql
class?MySqlDemo():
????def?__init__(self):
????????pass
????def?saveData(selftitleabstractclass1class2FCSC):
????????#?創建連接
????????try:
????????????conn?=?pymysql.connect(host=‘localhost‘?port=3306?user=‘root‘?passwd=‘123456‘?db=‘huarui‘?charset=‘utf8‘?)
????????????#?創建游標
????????????cursor?=?conn.cursor()
????????????sql?=?“insert?into?zw_data(titleabstractclass1class2FCSC)?values(%s?%s?%s?%s?%s?%s)“??#?注意是%s不是s%
????????????result?=?cursor.execute(sql?[titleabstractclass1class2FCSC])??#?列表格式數據
????????????print(result)
????????????conn.commit();
????????except?Exception?as?e:
????????????conn.rollback()
????????????print(“數據庫方面錯誤“)
????????????print(e);
????????finally:
????????????#?關閉游標
????????
?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????文件?????????11??2018-10-25?17:15??SeleiumDemo\.idea\.name
?????文件????????159??2018-10-25?17:15??SeleiumDemo\.idea\encodings.xm
?????文件????????687??2018-10-26?19:30??SeleiumDemo\.idea\misc.xm
?????文件????????274??2018-10-25?17:15??SeleiumDemo\.idea\modules.xm
?????文件????????459??2018-10-25?17:17??SeleiumDemo\.idea\SeleiumDemo.iml
?????文件??????42315??2018-12-08?20:44??SeleiumDemo\.idea\workspace.xm
?????文件??????29287??2018-11-10?12:21??SeleiumDemo\ghostdriver.log
?????文件???????2583??2018-10-28?20:36??SeleiumDemo\SaveData.py
?????文件???????6577??2018-12-08?20:35??SeleiumDemo\Spider.py
?????文件???????3302??2018-12-08?20:29??SeleiumDemo\ThreadDemo.py
?????文件???????2687??2018-10-29?18:49??SeleiumDemo\ZW.py
?????文件???????2318??2018-10-28?21:07??SeleiumDemo\__pycache__\SaveData.cpython-35.pyc
?????文件???????4125??2018-10-29?19:10??SeleiumDemo\__pycache__\Spider.cpython-35.pyc
?????文件???????1574??2018-10-29?18:50??SeleiumDemo\__pycache__\ZW.cpython-35.pyc
?????目錄??????????0??2018-12-08?20:44??SeleiumDemo\.idea
?????目錄??????????0??2018-10-29?19:10??SeleiumDemo\__pycache__
?????目錄??????????0??2018-12-08?20:35??SeleiumDemo
-----------?---------??----------?-----??----
????????????????96358????????????????????17
評論
共有 條評論