91av视频/亚洲h视频/操亚洲美女/外国一级黄色毛片 - 国产三级三级三级三级

  • 大小: 10.42MB
    文件類型: .zip
    金幣: 2
    下載: 0 次
    發布日期: 2023-10-15
  • 語言: 其他
  • 標簽: 分布式??爬蟲??python??

資源簡介

1.從一個給定的網址中分析其所包含的 URL 并爬取對應的網頁，直到爬取完全部 不重復的網頁為止。 2.支持分布式爬取，同時記錄輸出每一個網頁的大小。 3.采用多線程結構設計，實現高性能的網絡爬蟲。

資源截圖

代碼片段和文件信息 

from?workers?import?app

url=‘http://www.csu.edu.cn/‘

if?__name__?==?‘__main__‘:
????app.send_task（‘task.thread_crawling‘?args=（url））

?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????目錄???????????0??2018-12-17?20:45??實驗三\
?????目錄???????????0??2018-12-26?16:21??實驗三\.idea\
?????文件?????????201??2018-12-09?04:09??實驗三\.idea\misc.xml
?????文件?????????270??2018-12-09?04:03??實驗三\.idea\modules.xml
?????文件???????29367??2018-12-26?16:21??實驗三\.idea\workspace.xml
?????文件?????????515??2018-12-09?04:09??實驗三\.idea\實驗三.iml
?????文件?????????141??2018-12-16?16:20??實驗三\exec_crawling.py
?????文件????????2564??2018-12-16?16:26??實驗三\task.py
?????目錄???????????0??2018-12-09?05:57??實驗三\venv\
?????目錄???????????0??2018-12-09?04:03??實驗三\venv\Include\
?????目錄???????????0??2018-12-09?04:03??實驗三\venv\Lib\
?????目錄???????????0??2018-12-09?04:05??實驗三\venv\Lib\site-packages\
?????目錄???????????0??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\
?????目錄???????????0??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp-2.3.2.dist-info\
?????文件???????????4??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp-2.3.2.dist-info\INSTALLER
?????文件????????2372??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp-2.3.2.dist-info\LICENSE.txt
?????文件????????6052??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp-2.3.2.dist-info\metaDATA
?????文件????????2263??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp-2.3.2.dist-info\RECORD
?????文件???????????5??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp-2.3.2.dist-info\top_level.txt
?????文件?????????110??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp-2.3.2.dist-info\WHEEL
?????文件????????4160??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\abstract_channel.py
?????文件????????3330??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\basic_message.py
?????文件???????71260??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\channel.py
?????文件???????25749??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\connection.py
?????文件????????7164??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\exceptions.py
?????文件?????????178??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\five.py
?????文件????????5985??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\method_framing.py
?????文件????????2409??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\platform.py
?????文件?????????348??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\protocol.py
?????文件????????5758??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\sasl.py
?????文件???????17257??2018-12-09?04:05??實驗三\venv\Lib\site-packages\amqp\serialization.py
............此處省略1610個文件信息

評論

共有 條評論