資源簡介
強大的新聞采集系統(tǒng)，對目標網(wǎng)站進行信息自動抓取，支持HTML頁面內(nèi)各種數(shù)據(jù)的采集，如文本信息，URL，數(shù)字，日期，圖片等。 用戶對每類信息自定義來源與分類 可以下載圖片與各類文件，如PDF，F(xiàn)lash等 支持用戶名與密碼自動登錄 支持命令行格式，可以Windows任務(wù)計劃器配合，定期抽取目標網(wǎng)站 支持記錄唯一索引，避免相同信息重復(fù)入庫 支持智能替換功能，可以將內(nèi)容中嵌入的所有的無關(guān)部分如廣告去除 支持多頁面文章內(nèi)容自動抽取與合并 支持下一頁自動瀏覽功能 數(shù)據(jù)直接進入數(shù)據(jù)庫而不是文件中，因此與利用這些數(shù)據(jù)的網(wǎng)站程序或者桌面
代碼片段和文件信息
using?System;
using?System.Collections.Generic;
using?System.ComponentModel;
using?System.Data;
using?System.Drawing;
using?System.Text;
using?System.Windows.Forms;
using?System.Threading;
using?System.xml;
namespace?個性系列_智能新聞自動采集系統(tǒng)
{
????public?partial?class?Main?:?Form
????{
????????Thread?ThreadGetNews;
????????public?Main（）
????????{
????????????InitializeComponent（）;
????????}
????????private?void?Main_Load（object?sender?EventArgs?e）
????????{
????????????BindGrid（）;
????????????if?（IsAutoGet（））
????????????{
????????????????GetNews（）;
????????????}
????????}
????????bool?IsAutoGet（）
????????{
????????????xmlDocument?xml?=?new?xmlDocument（）;
????????????xml.Load（“RssNews.xml“）;
????????????string?autoGet?=?““;
????????????xmlNode?Node?=?xml.SelectSingleNode（“RssNews/Config“）;
????????????if?（Node?!=?null）
????????????{
????????????????autoGet?=?Node[“IsAutoGet“].InnerText;
????????????????if?（autoGet?==?“True“）
????????????????{
????????????????????程序啟動就開始獲取ToolStripMenuItem.Checked?=?true;
????????????????????return?true;
????????????????}
????????????}
????????????return?false;
????????}
????????void?SetGetNewsBtn（string?Enable）
????????{
????????????if?（Enable?==?“false“）
????????????{
????????????????停止獲取新聞ToolStripMenuItem.Enabled?=?true;
????????????????開始獲取新聞ToolStripMenuItem.Enabled?=?false;
????????????}
????????????else
????????????{
????????????????停止獲取新聞ToolStripMenuItem.Enabled?=?false;
????????????????開始獲取新聞ToolStripMenuItem.Enabled?=?true;
????????????}
????????}
????????void?GetNews（）
????????{
????????????treeView1.Nodes.Clear（）;
????????????ThreadGetNews?=?new?Thread（new?ThreadStart（BeginGetNews））;
????????????ThreadGetNews.Start（）;
????????}
????????void?AddTreeNode（TreeNode?Node1?TreeNode?Node2）
????????{
????????????Node1.Nodes.Add（Node2）;
????????????//Node1.ExpandAll（）;
????????}
????????void?SetStateText（string?a）
????????{
????????????txtState.Text?=?a;
????????}
????????void?AddRootTreeNode（TreeNode?Node1?TreeNode?Node2）
????????{
????????????treeView1.Nodes.Add（Node1）;
????????}
????????delegate?void?A（string?a）;
????????delegate?void?B（TreeNode?Node1?TreeNode?Node2）;
????????void?BeginGetNews（）
????????{
????????????object?o?=?new?object（）;
????????????lock?（o）
????????????{
????????????????try
????????????????{
????????????????????int?NewsCount?=?0;
????????????????????int?Rsscount?=?0;
????????????????????A?detSetGetNewsBtn?=?new?A（SetGetNewsBtn）;
????????????????????A?detSetStateText?=?new?A（SetStateText）;
????????????????????B?detAddRootTreeNode?=?new?B（AddRootTreeNode）;
????????????????????B?detAddTreeNode?=?new?B（AddTreeNode）;
????????????????????this.Invoke（detSetGetNewsBtn?“false“）;
????????????????????List?rssList?=?News.GetRssList（）;
????????????????????foreach?（RssModel?rss?in?rssList）
????????????????????{
????????????????????????this.Invoke（detSetStateText?“正在獲取:“?+?rss.NewsName）;
????????? ?屬性????????????大小?????日期????時間???名稱
-----------?---------??----------?-----??----
?????文件?????284672??2007-04-14?10:39??NewsDig使用說明書.doc
????..A..H.?????24064??2006-10-14?15:30??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng).suo
?????文件???????1018??2006-07-28?22:05??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng).sln
?????文件??????86358??2006-07-29?02:29??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\Favorites.ico
?????文件???????4007??2006-07-29?02:29??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\個性系列-智能新聞自動采集系統(tǒng).csproj
?????文件??????14393??2006-09-07?14:01??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\News.cs
?????文件???????1603??2006-08-12?16:50??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\NewsModel.cs
?????文件????????168??2006-07-28?22:42??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\個性系列-智能新聞自動采集系統(tǒng).csproj.user
?????文件???????6492??2006-08-12?16:54??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\Rss.cs
?????文件????????978??2006-07-29?01:00??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\NewsConfig.cs
?????文件???????2049??2006-08-12?09:38??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\RssModel.cs
?????文件????????501??2006-07-28?22:05??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\Program.cs
?????文件??????34734??2006-09-07?14:07??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\Main.Designer.cs
?????文件?????143675??2006-09-07?14:07??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\Main.resx
?????文件??????18986??2006-09-07?14:07??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\Main.cs
?????文件????????585??2006-10-14?15:12??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\obj\個性系列-智能新聞自動采集系統(tǒng).csproj.FileList.txt
?????文件??????91803??2006-09-07?14:07??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\obj\Debug\個性系列_智能新聞自動采集系統(tǒng).Main.resources
?????文件????????180??2006-07-28?22:13??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\obj\Debug\個性系列_智能新聞自動采集系統(tǒng).Properties.Resources.resources
?????文件??????91648??2006-09-07?14:07??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\obj\Debug\個性系列-智能新聞自動采集系統(tǒng).pdb
?????文件?????233472??2006-09-07?14:07??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\obj\Debug\個性系列-智能新聞自動采集系統(tǒng).exe
?????文件????????841??2006-09-07?14:07??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\obj\Debug\個性系列-智能新聞自動采集系統(tǒng).csproj.GenerateResource.Cache
?????目錄??????????0??2006-11-06?20:19??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\obj\Debug\Refactor
?????目錄??????????0??2006-11-06?20:19??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\obj\Debug\TempPE
?????目錄??????????0??2006-11-06?20:19??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\obj\Debug
?????目錄??????????0??2006-11-06?20:19??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\obj
?????文件???????5632??2005-12-08?14:51??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\bin\Debug\個性系列-智能新聞自動采集系統(tǒng).vshost.exe
?????文件?????233472??2006-09-07?14:07??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\bin\Debug\個性系列-智能新聞自動采集系統(tǒng).exe
?????文件??????91648??2006-09-07?14:07??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\bin\Debug\個性系列-智能新聞自動采集系統(tǒng).pdb
?????文件???????6935??2006-10-13?21:35??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\bin\Debug\RssNews.xm
?????文件?????786432??2006-08-20?19:27??NewsDig?原代碼\個性系列-智能新聞自動采集系統(tǒng)\bin\Debug\qw_News_log.LDF
............此處省略18個文件信息
- 上一篇：仿京東商城H5移動端首頁
- 下一篇：ThreeJS 汽車模型
評論
共有 條評論
川公網(wǎng)安備 51152502000135號