91av视频/亚洲h视频/操亚洲美女/外国一级黄色毛片 - 国产三级三级三级三级

  • 大小: 2.29KB
    文件類型: .py
    金幣: 1
    下載: 0 次
    發(fā)布日期: 2021-03-01
  • 語言: Python
  • 標(biāo)簽: 小說??爬取??

資源簡介

【實例簡介】

主要功能模塊及界面(截圖)

代碼的入口是

 

 

它首先是讓用戶輸入書名,調(diào)用了下載模塊

 

調(diào)用下載模塊后會獲得到小說的URL和小說名字,程序把獲得小說的網(wǎng)址調(diào)用給獲取章節(jié)模塊

 

調(diào)用獲取章節(jié)模塊后會獲得到小說的URL,得到小說的URL后,把傳過來的URL的頁面內(nèi)容進(jìn)行解析,把小說的章節(jié)個解析獲取下了。并把傳輸顯示和寫入模塊,進(jìn)行每一個章節(jié)的URL內(nèi)容解析,把每章的內(nèi)容給循環(huán)取出,寫入到TXT文本里面,而且還顯示當(dāng)前寫入的章節(jié)名和爬取網(wǎng)站的總進(jìn)度。


資源截圖

代碼片段和文件信息

import?requests
import?re
import?time
import?random

def?download(book_name):
????#?下載模塊
????search_real_url?=?‘https://www.biquge5200.com/modules/article/search.php?searchkey=‘?+?book_name
????try:
????????novel_source?=?requests.get(search_real_url).text
????????reg1?=?r‘(.*?).*?(.*?)‘
????????#?所有搜索到的結(jié)果(包括小說網(wǎng)址、名稱、作者姓名)
????????novel_list?=?re.findall(reg1?novel_source?re.S)
????????#?判斷是否有數(shù)據(jù)返回
????????if?len(novel_list)?==?0:
????????????print(‘搜索不到你要的小說‘)
????except?Exception?as?e:
????????print(e)
????for?novel_url?novel_name?novel_author?in?novel_list:
????????if?novel_name?==?book_name:
????????????print(‘書名:%s?作者:%s‘?%?(novel_name?novel_author))
????????????return?novel_url?novel_name


def?get_chapter(url):
????#?獲取章節(jié)頁面模塊
????try:
????????#?章節(jié)頁面源代碼
????????chapter_page_source?=?requests.get(url).text
????????reg2?=?r‘
(.*?)

????????chapter_list?=?re.fi

評論

共有 條評論