在系統軟件設計過程中，最核心的一部分是手勢識別過程，通過Kinect傳感器采集人的手部信息，將采集到的數據返回給Processing軟件進行處理，將處理的結果通過計算機的串口發送給Arduino的串口，最后通過Arduino對電機進行控制，實現小車的前進，后退，以及轉向。