NCrawler是一款國外的開源網(wǎng)絡(luò)爬蟲軟件，遵循LGPL許可協(xié)議。其HTML處理使用的是htmlagilitypack開源庫，采用xpath的方式處理定位網(wǎng)頁元素，十分方便。同時(shí)其采用HttpWebRequest異步的方式獲取網(wǎng)頁，采集效率較高。