編譯原理涉及詞法分析，語法分析，語義分析及優化設計等各方面。詞法分析階段是編譯過程的第一個階段，是編譯的基礎。這個階段的任務是從左到右一個字符一個字符地讀入源程序，即對構成源程序的字符流進行掃描然后根據構詞規則識別單詞(也稱單詞符號或符號)。詞法分析程序實現這個任務。詞法分析程序可以使用Lex等工具自動生成。從左到右逐個字符對構成源程序的字符串進行掃描，依據詞法規則，識別出一個一個的標記（token），把源程序變為等價的標記串序列。執行詞法分析的程序稱為詞法分析器，也稱為掃描器。詞法分析是所有分析優化的基礎，涉及的知識較少，如狀態轉換圖等，易于實現。