from?pyspark.shell?import?sc
from?pyspark.sql.types?import?*
from?pyspark.sql?import?SparkSession
spark?=SparkSession.builder.master（“l(fā)ocal“）.appName（“Word?Count“）.config（“spark.some.config.option“?“some-value“）.getOrCreate（）

rdd?=?sc.textFile（“xxxxx.txt“）
header?=?rdd.first（）.split（““）
header1?=?rdd.first（）
print（header）
schema?=?StructType（[StructField（header[0]StringType（）True）StructField（header[1]StringType（）True）StructField（header[2]StringType（）True）StructField（header[3]StringType（）True）StructField（header[4]StringType（）True）StructField（header[5]StringType（）True）]）

def?filter_line（line）:
????if?line?==?header1:
????????return?False
????else:
????????return?True

rdd1?=?rdd.filter（lambda?line:line!=header1）.map（lambda?line:line.split（““））.map（lambda?x:tuple（x））

df?=?rdd1.toDF（schema）

#?#?df.show（）
#?“““
#?建表
#?“““
df.registerTempTable（“tb_book“）


#?spark.sql（“select?*?from?tb_book“）.show（15）
#?spark.sql（“select?*?from?tb_book?where?‘書名‘?like?‘%%微積分%%‘“）.show（）
#?spark.sql（“select?‘書名‘‘價格‘?from?tb_book“）.show（10）
#?number?=spark.sql（“select?*?from?tb_book?where?‘書名‘?like?‘%%微積分%%‘“）.count（）
#?print（number）
#?spark.sql（“select?*?from?tb_book?where?‘評分‘>‘9‘“）.show（10）
#?spark.sql（“select?avg?（‘評分‘）?from?tb_book?where?‘書名‘?like?‘%%微積分%%‘?“）.show（）
#?spark.sql（“select?*?from?tb_book?order?by?‘評分‘?desc?“）.show（15）
#?group?=spark.sql（“select?‘出版社‘count（‘出版社‘）?from?tb_book?GROUP?by?‘出版社‘“）.collect（）
#?print（group）

#?ddf?=spark.sql（“select?*?from?tb_book?where?‘書名‘?like?‘%%微積分%%‘“）
#?ddf.write.parquet（“/home/zhuang/138/tb_book“）
#?ddf.write.format（‘csv‘）.save（“/home/zhuang/138/16034460138.csv“）
#?userDF=spark.read.format（“csv“）.load（‘/home/zhuang/138/16034460138.csv/part-00000-e2c9db96-961e-45d7-8221-c2ff5e90d174-c000.csv‘）
#?userDF.printSchema（）
#?userDF.show（）

#?rdd_1?=sc.textFile（“/home/zhuang/138/16034460138.csv/part-00000-e2c9db96-961e-45d7-8221-c2ff5e90d174-c000.csv“）
#?rdd_2?=?rdd_1.map（lambda?line:line.split（““））.map（lambda?x:tuple（x））
#?dfff?=?rdd_2.toDF（schema）
#?dfff.select（“書名“）.show（）