本文在深入分析難過過搜索引擎基本原理、架構設計和核心技術的基礎上,結合可擴展的scrapy框架、開源搜索引擎lucene的實現原理以及多種分詞技術,設計并實現了一個可擴展可復用的小型搜索引擎文本預處理系統。