Spark6:spark sql使用

Spark6:spark sql使用

 
 

使用报错

notion image

原因

因为已经有多个其他Spark-Shell实例已经运行并且已经拥有了derby DB,所以当我启动另一个Spark Shell并使用RDD.toDF()创建数据框时,它抛出错误

解决

执行命令
ps -ef | grep spark-shell
notion image
杀死进程
kill -9 进程号
上述方法并没有解决我的问题
关闭了spark集群,发现还有两个spark集成,我这里,杀死了这两个进程
notion image

重启Spark集群

root@redis01:/usr/local/spark/sbin# ./start-all.sh
启动spark-sql,解决问题
root@redis01:/usr/local/spark/bin# ./spark-sql