資源簡(jiǎn)介
"蜘蛛"(Spider)是Internet上一種很有用的程序,搜索引擎利用蜘蛛程序?qū)eb頁(yè)面收集到數(shù)據(jù)庫(kù),企業(yè)利用蜘蛛程序監(jiān)視競(jìng)爭(zhēng)對(duì)手的網(wǎng)站并跟蹤變動(dòng),個(gè)人用戶用蜘蛛程序下載Web頁(yè)面以便脫機(jī)使用,開(kāi)發(fā)者利用蜘蛛程序掃描自己的Web檢查無(wú)效的鏈接……對(duì)于不同的用戶,蜘蛛程序有不同的用途。那么,蜘蛛程序到底是怎樣工作的呢?
蜘蛛是一種半自動(dòng)的程序,就象現(xiàn)實(shí)當(dāng)中的蜘蛛在它的Web(蜘蛛網(wǎng))上旅行一樣,蜘蛛程序也按照類似的方式在Web鏈接織成的網(wǎng)上旅行。蜘蛛程序之所以是半自動(dòng)的,是因?yàn)樗偸切枰粋€(gè)初始鏈接(出發(fā)點(diǎn)),但此后的運(yùn)行情況就要由它自己決定了,蜘蛛程序會(huì)掃描起始頁(yè)面包含的鏈接,然后訪問(wèn)這些鏈接指向的頁(yè)面,再分析和追蹤那些頁(yè)面包含的鏈接。從理論上看,最終蜘蛛程序會(huì)訪問(wèn)到Internet上的每一個(gè)頁(yè)面,因?yàn)镮nternet上幾乎每一個(gè)頁(yè)面總是被其他或多或少的頁(yè)面引用。
蜘蛛是一種半自動(dòng)的程序,就象現(xiàn)實(shí)當(dāng)中的蜘蛛在它的Web(蜘蛛網(wǎng))上旅行一樣,蜘蛛程序也按照類似的方式在Web鏈接織成的網(wǎng)上旅行。蜘蛛程序之所以是半自動(dòng)的,是因?yàn)樗偸切枰粋€(gè)初始鏈接(出發(fā)點(diǎn)),但此后的運(yùn)行情況就要由它自己決定了,蜘蛛程序會(huì)掃描起始頁(yè)面包含的鏈接,然后訪問(wèn)這些鏈接指向的頁(yè)面,再分析和追蹤那些頁(yè)面包含的鏈接。從理論上看,最終蜘蛛程序會(huì)訪問(wèn)到Internet上的每一個(gè)頁(yè)面,因?yàn)镮nternet上幾乎每一個(gè)頁(yè)面總是被其他或多或少的頁(yè)面引用。
下載后測(cè)試的時(shí)候,請(qǐng)將該程序拷貝至其它目錄,程序有幾個(gè)bug:
1.關(guān)掉程序后 程序沒(méi)有完全退出,可在任務(wù)管理器中 殺掉,也可以 改下代碼 application.exit()
2.將改程序 拷貝至其它目錄之后,再運(yùn)行調(diào)試,因?yàn)樵摮绦?有個(gè)目錄bug,帶符號(hào)的目錄 不識(shí)別(內(nèi)部報(bào)錯(cuò))
代碼片段和文件信息
using?System.Reflection;
using?System.Runtime.CompilerServices;
//
//?General?Information?about?an?assembly?is?controlled?through?the?following?
//?set?of?attributes.?Change?these?attribute?values?to?modify?the?information
//?associated?with?an?assembly.
//
[assembly:?Assemblytitle(““)]
[assembly:?AssemblyDescription(““)]
[assembly:?AssemblyConfiguration(““)]
[assembly:?AssemblyCompany(““)]
[assembly:?AssemblyProduct(““)]
[assembly:?AssemblyCopyright(““)]
[assembly:?AssemblyTrademark(““)]
[assembly:?AssemblyCulture(““)]
//
//?Version?information?for?an?assembly?consists?of?the?following?four?values:
//
//??????Major?Version
//??????Minor?Version?
//??????Build?Number
//??????Revision
//
//?You?can?specify?all?the?values?or?you?can?default?the?Revision?and?Build
?屬性????????????大小?????日期????時(shí)間???名稱
-----------?---------??----------?-----??----
?????文件???????1078??2003-05-04?06:05??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\App.ico
?????文件???????2426??2003-05-04?06:05??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\AssemblyInfo.cs
?????文件???????2464??2008-03-11?11:57??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\Attribute.cs
?????文件???????3469??2008-03-11?11:57??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\AttributeList.cs
?????文件???????7998??2008-03-11?12:05??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\DocumentWorker.cs
?????文件???????2590??2008-03-11?11:57??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\Done.cs
?????文件???????5008??2008-03-11?12:16??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\Parse.cs
?????文件???????2715??2008-03-11?11:57??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\ParseHTML.cs
?????文件???????5723??2008-03-11?11:57??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.cs
?????文件???????4932??2008-03-11?11:58??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.csproj
?????文件???????2081??2008-03-11?10:56??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.csproj.user
?????文件??????32768??2008-03-11?12:20??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.exe
?????文件????????895??2008-03-11?10:56??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.sln
????..A..H.?????23040??2008-03-11?12:22??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\Spider.suo
?????文件??????13789??2008-03-11?12:20??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\SpiderForm.cs
?????文件???????5814??2008-03-11?12:16??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\SpiderForm.resx
?????文件??????28627??2015-09-06?11:20??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\1\index.html
?????文件??????46189??2015-09-06?11:20??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\10\index.html
?????文件??????43298??2015-09-06?11:20??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\142\index.html
?????文件???????7401??2015-09-06?11:21??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\146\8244.htm
?????文件??????41778??2015-09-06?11:21??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\146\index.html
?????文件??????41889??2015-09-06?11:20??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\152\index.html
?????文件??????42885??2015-09-06?11:20??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\153\index.html
?????文件??????42054??2015-09-06?11:20??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\154\index.html
?????文件??????43448??2015-09-06?11:21??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\157\index.html
?????文件??????42419??2015-09-06?11:21??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\158\index.html
?????文件??????19119??2015-09-06?11:21??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\16\1206.htm
?????文件???????8800??2015-09-06?11:21??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\16\682.htm
?????文件??????43117??2015-09-06?11:20??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\16\index.html
?????文件??????18267??2015-09-06?11:21??C#寫的蜘蛛程序也叫小偷程序\CSharpSpider\temp\160\8241.htm
............此處省略173個(gè)文件信息
- 上一篇:測(cè)試URL請(qǐng)求
- 下一篇:SignalRChatRoom聊天室
評(píng)論
共有 條評(píng)論