Spark是加州大學伯克利分校AMP實驗室（Algorithms, Machines, and People Lab）開發通用內存并行計算框架。Spark在2013年6月進入Apache成為孵化項目，8個月后成為Apache頂級項目，速度之快足見過人之處，Spark以其先進的設計理念，迅速成為社區的熱門項目，圍繞著Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等組件，也就是BDAS（伯克利數據分析棧），這些組件逐漸形成大數據處理一站式解決平臺。從各方面報道來看Spark抱負并非池魚，而是希望替代Hadoop在大數據中的地位，成為大數據處理的主流標準，不過Spark還沒有太多大項目的檢驗，離這個目標還有很大路要走。