使用报错
原因
因为已经有多个其他Spark-Shell实例已经运行并且已经拥有了derby DB,所以当我启动另一个Spark Shell并使用RDD.toDF()创建数据框时,它抛出错误
解决
执行命令
ps -ef | grep spark-shell
杀死进程
kill -9 进程号
上述方法并没有解决我的问题
关闭了spark集群,发现还有两个spark集成,我这里,杀死了这两个进程
重启Spark集群
root@redis01:/usr/local/spark/sbin# ./start-all.sh
启动spark-sql,解决问题
root@redis01:/usr/local/spark/bin# ./spark-sql