在看一段spark寫數據到關系型數據庫代碼時,發現一個參數沒有見過:
df.write.format("org.apache.spark.sql.execution.datasources.jdbc2").options(Map("savemode" -> JDBCSaveMode.Update.toString,"driver" -> exportDriver,"url" -> exportUrl,"user" -> exportUserName,"password" -> exportPassword,"dbtable" -> targetTable,"useSSL" -> "false","duplicateIncs" -> "",//需要更新的字段,不寫全部根據主鍵更新"showSql" -> "true")).save()
那就是duplicateIncs,翻閱相關資料:
這應該是mysql 4.1之后的一個可用配置,比如:
UPDATE table SET c=c+1 WHERE a=1;
如果是用insert語句,怎么達到相同的效果呢?(指定某個字段更新)
INSERT INTO table (a,b,c) VALUES (1,2,3) ON DUPLICATE KEY UPDATE c=c+1;
當然前提是,這個表要有主鍵或唯一索引,這里是a字段。
還可以指定多個字段:ON DUPLICATE KEY UPDATE后面可以放多個字段,用英文逗號分割。
下面是表中更改(增加或修改)兩條記錄的例子:
INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6) ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);