資源簡介
這個工具是爬淘寶商品排名的,例如按價格排序,然后把搜索出來的所有商品保存成一個json文件,代碼里面有json轉sql的工具類,可以直接保存所以已經排名的商品信息到數據庫。已經驗證過,非常不錯。希望幫到有需要的朋友。
代碼片段和文件信息
#-*-?coding:?UTF-8?-*-
import?json
data?=?[]
with?open(‘taobao/taobao.json‘)?as?f:
????for?line?in?f:
????????data.append(json.loads(line))
#print?json.dumps(data?ensure_ascii=False)
str?=?“\r\n“
for?item?in?data:
????#print?json.dumps(item)
????str?=?str?+?“insert?into?taobao(namecatalogworkLocationrecruitNumberdetaillinkpublishTime)?values?“
????str?=?str?+?“(‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘‘%s‘);\r\n“?%?(item[‘name‘]item[‘catalog‘]item[‘workLocation‘]item[‘recruitNumber‘]item[‘detaillink‘]item[‘publishTime‘])
import?codecs
file_object?=?codecs.open(‘taobao.sql‘?‘w‘?“utf-8“)
file_object.write(str)
file_object.close()
print?“success“
?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????文件????????654??2016-01-19?15:38??taobao?-?priceok\json2sql.py
?????文件?????????31??2016-01-19?15:37??taobao?-?priceok\README.md
?????文件????????254??2016-01-19?15:31??taobao?-?priceok\taobao\scrapy.cfg
?????文件????????980??2016-01-20?15:21??taobao?-?priceok\taobao\taobao\downloadwebkit.py
?????文件???????1267??2016-01-20?15:21??taobao?-?priceok\taobao\taobao\downloadwebkit.pyc
?????文件????????402??2016-01-20?00:00??taobao?-?priceok\taobao\taobao\items.py
?????文件????????635??2016-01-20?15:13??taobao?-?priceok\taobao\taobao\items.pyc
?????文件????????195??2014-04-27?18:19??taobao?-?priceok\taobao\taobao\misc\log.py
?????文件????????826??2016-01-20?14:24??taobao?-?priceok\taobao\taobao\misc\log.pyc
?????文件??????????0??2014-04-27?18:19??taobao?-?priceok\taobao\taobao\misc\__init__.py
?????文件????????144??2016-01-20?14:24??taobao?-?priceok\taobao\taobao\misc\__init__.pyc
?????文件????????587??2016-01-19?15:34??taobao?-?priceok\taobao\taobao\pipelines.py
?????文件???????1230??2016-01-20?15:13??taobao?-?priceok\taobao\taobao\pipelines.pyc
?????文件????????756??2016-01-20?10:34??taobao?-?priceok\taobao\taobao\settings.py
?????文件????????590??2016-01-20?15:13??taobao?-?priceok\taobao\taobao\settings.pyc
?????文件???????2189??2016-01-20?21:51??taobao?-?priceok\taobao\taobao\spiders\taobao_spider.py
?????文件???????2568??2016-01-20?21:51??taobao?-?priceok\taobao\taobao\spiders\taobao_spider.pyc
?????文件????????161??2014-04-27?18:19??taobao?-?priceok\taobao\taobao\spiders\__init__.py
?????文件????????147??2016-01-20?15:13??taobao?-?priceok\taobao\taobao\spiders\__init__.pyc
?????文件??????????0??2014-04-27?18:19??taobao?-?priceok\taobao\taobao\__init__.py
?????文件????????139??2016-01-20?15:13??taobao?-?priceok\taobao\taobao\__init__.pyc
?????文件???????1012??2016-01-20?21:51??taobao?-?priceok\taobao\taobao.json
?????文件?????567043??2016-01-20?21:51??taobao?-?priceok\taobao\taobaohtml.json
?????目錄??????????0??2016-01-20?21:54??taobao?-?priceok\taobao\taobao\misc
?????目錄??????????0??2016-01-20?21:54??taobao?-?priceok\taobao\taobao\spiders
?????目錄??????????0??2016-01-20?21:54??taobao?-?priceok\taobao\taobao
?????目錄??????????0??2016-01-20?21:54??taobao?-?priceok\taobao
?????目錄??????????0??2016-01-20?21:54??taobao?-?priceok
-----------?---------??----------?-----??----
???????????????581810????????????????????28
............此處省略1個文件信息
- 上一篇:SkinMagic破解版
- 下一篇:DataGridView 綁定多表并且更新
評論
共有 條評論