91av视频/亚洲h视频/操亚洲美女/外国一级黄色毛片 - 国产三级三级三级三级

  • 大小: 0.02M
    文件類型: .zip
    金幣: 1
    下載: 0 次
    發(fā)布日期: 2021-03-27
  • 語言: 其他
  • 標(biāo)簽: 其他??

資源簡介


scrapy爬蟲爬取csdn博客新聞列表保存到本地?cái)?shù)據(jù)庫。這個(gè)是本人最近學(xué)習(xí)爬蟲的一個(gè)實(shí)踐案例，源碼解析詳情請移步博文：https://blog.csdn.net/xiaocy66/article/details/83834261

資源截圖

代碼片段和文件信息 

#?-*-?coding:?utf-8?-*-

#?Define?here?the?models?for?your?scraped?items
#
#?See?documentation?in:
#?https://doc.scrapy.org/en/latest/topics/items.html

import?scrapy


class?CsdnnewsItem（scrapy.Item）:
????#?define?the?fields?for?your?item?here?like:
????
????#?頭像
????avatar?=?scrapy.Field（）

????#?標(biāo)題
????title?=?scrapy.Field（）

????#?分類文本
????category?=?scrapy.Field（）

????#?分類id
????category_id?=?scrapy.Field（）

????#?渠道
????channel?=?scrapy.Field（）

????#?創(chuàng)建時(shí)間
????created_time?=?scrapy.Field（）

????#?當(dāng)前id
????cur_id?=?scrapy.Field（）

????#?用戶名
????user_name?=?scrapy.Field（）

????#?作者昵稱
????nickname?=?scrapy.Field（）

????#?用戶詳情url
????user_url?=?scrapy.Field（）

????#?展示時(shí)間
????showtime?=?scrapy.Field（）

????#?展示時(shí)間，比如2018年8月、19小時(shí)前、2天前
????show_datetime?=?scrapy.Field（）
????
????#?來源
????source_from?=?scrapy.Field（）
????
????#?摘要
????summary?=?scrapy.Field（）

????#?標(biāo)簽（多個(gè)標(biāo)簽以|分割）
????tag?=?scrapy.Field（）

????#?類型（blog、news、article

?屬性????????????大小?????日期????時(shí)間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2018-11-08?17:40??csdnnews\
?????目錄???????????0??2018-11-08?17:40??csdnnews\csdnnews\
?????目錄???????????0??2018-11-08?17:37??csdnnews\csdnnews\db\
?????文件????????2482??2018-11-08?17:37??csdnnews\csdnnews\db\dbhelper.py
?????文件????????1686??2018-11-08?17:35??csdnnews\csdnnews\db\init.sql
?????文件?????????165??2018-11-08?17:35??csdnnews\csdnnews\db\__init__.py
?????目錄???????????0??2018-11-08?17:35??csdnnews\csdnnews\db\__pycache__\
?????文件????????2401??2018-11-08?17:35??csdnnews\csdnnews\db\__pycache__\dbhelper.cpython-36.pyc
?????文件?????????148??2018-11-08?17:35??csdnnews\csdnnews\db\__pycache__\__init__.cpython-36.pyc
?????文件????????1341??2018-11-08?17:40??csdnnews\csdnnews\items.py
?????文件????????3704??2018-11-08?17:40??csdnnews\csdnnews\middlewares.py
?????文件?????????711??2018-11-08?17:40??csdnnews\csdnnews\pipelines.py
?????文件????????3393??2018-11-08?17:40??csdnnews\csdnnews\settings.py
?????目錄???????????0??2018-11-08?17:41??csdnnews\csdnnews\spiders\
?????文件????????5092??2018-11-08?17:35??csdnnews\csdnnews\spiders\csdnspider.py
?????文件?????????165??2018-11-08?17:40??csdnnews\csdnnews\spiders\__init__.py
?????目錄???????????0??2018-11-08?17:35??csdnnews\csdnnews\spiders\__pycache__\
?????文件????????3788??2018-11-08?17:35??csdnnews\csdnnews\spiders\__pycache__\csdnspider.cpython-36.pyc
?????文件????????1287??2018-11-08?17:35??csdnnews\csdnnews\spiders\__pycache__\tt.cpython-36.pyc
?????文件?????????153??2018-11-08?17:35??csdnnews\csdnnews\spiders\__pycache__\__init__.cpython-36.pyc
?????文件???????????0??2018-11-08?17:40??csdnnews\csdnnews\__init__.py
?????目錄???????????0??2018-11-08?17:35??csdnnews\csdnnews\__pycache__\
?????文件?????????724??2018-11-08?17:35??csdnnews\csdnnews\__pycache__\items.cpython-36.pyc
?????文件????????1043??2018-11-08?17:35??csdnnews\csdnnews\__pycache__\pipelines.cpython-36.pyc
?????文件?????????456??2018-11-08?17:35??csdnnews\csdnnews\__pycache__\settings.cpython-36.pyc
?????文件?????????145??2018-11-08?17:35??csdnnews\csdnnews\__pycache__\__init__.cpython-36.pyc
?????文件?????????270??2018-11-08?17:40??csdnnews\scrapy.cfg

評論

共有 條評論