[Spark]pysparkinsertInto去重插入数据表

来源：叨叨游戏网

[Spark]pysparkinsertInto去重插⼊数据表

pyspark有个bug, 虽然下⾯代码写了 write.mode(\"overwrite\")但是不⽣效

spark.conf.set(\"hive.exec.dynamic.partition.mode\", \"constrict\")db_df.repartition(1).write.mode(\"overwrite\").insertInto(\"TABLE\")

所以会导致TABLE内数据有重复的现象。如何去重插⼊数据表？

在insertInto(\"TABLE\True) 加上True参数即可，表⽰的同样是\"isOverwrite\".

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文

违法及侵权请联系：TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务