2016-01-25 24 views
24

qual è il modo corretto di eseguire un inserimento di massaOrUpdate in Slick 3.0?Inserimento o aggiornamento di Slick 3.0 (upsert)

Sto usando MySQL in cui la query appropriata sarebbe

INSERT INTO table (a,b,c) VALUES (1,2,3),(4,5,6) 
ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b); 

MySQL bulk INSERT or UPDATE

Ecco il mio codice attuale, che è molto lenta :-(

// FIXME -- this is slow but will stop repeats, an insertOrUpdate 
// functions for a list would be much better 
val rowsInserted = rows.map { 
    row => await(run(TableQuery[FooTable].insertOrUpdate(row))) 
}.sum 

Quello che sto cercando è l'equivalente di

def insertOrUpdate(values: Iterable[U]): DriverAction[MultiInsertResult, NoStream, Effect.Write] 

risposta

28

Ci sono diversi modi che si possono rendere questo codice più veloce (ognuno dovrebbe essere più veloce rispetto a quelli precedenti, ma diventa progressivamente meno idiomatica-chiazza di petrolio):

  • eseguire il vostro eventi DBIO tutto in una volta, piuttosto che aspettare per ciascuno di impegnarsi prima di eseguire il prossimo:

    val toBeInserted = rows.map { row => TableQuery[FooTable].insertOrUpdate(row) } 
    val inOneGo = DBIO.sequence(toBeInserted) 
    val dbioFuture = run(inOneGo) 
    // Optionally, you can add a `.transactionally` 
    // and/or `.withPinnedSession` here to pin all of these upserts 
    // to the same transaction/connection 
    // which *may* get you a little more speed: 
    // val dbioFuture = run(inOneGo.transactionally) 
    val rowsInserted = await(dbioFuture).sum 
    
  • goccia fino al livello JDBC ed eseguire l'upsert tutto in una volta sola (idea via this answer):

    val SQL = """INSERT INTO table (a,b,c) VALUES (?, ?, ?) 
    ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);""" 
    
    SimpleDBIO[List[Int]] { session => 
        val statement = session.connection.prepareStatement(SQL) 
        rows.map { row => 
        statement.setInt(1, row.a) 
        statement.setInt(2, row.b) 
        statement.setInt(3, row.c) 
        statement.addBatch() 
        } 
        statement.executeBatch() 
    } 
    
+0

Cool. Grazie in particolare per la seconda tecnica. Non sapevo che fosse – user1902291

+0

Just to doublececk: la prima soluzione non è l'inserimento in batch, vero? Sembra che stia facendo tutti gli inserti nel bot parallelo non in batch, vero? – ignasi35

+0

Correggi @ ignasi35 –

0

Come si può vedere in Slick examples, è possibile utilizzare la funzione ++= da inserire utilizzando la funzione di inserimento batch JDBC. Per esempio:

val foos = TableQuery[FooTable] 
val rows: Seq[Foo] = ... 
foos ++= rows // here slick will use batch insert 

È inoltre possibile "dimensione" si batch "raggruppamento" la sequenza di righe:

val batchSize = 1000 
rows.grouped(batchSize).foreach { group => foos ++= group } 
+9

Grazie, ma io non pensare ++ = fa inserireOrUpdate. Credo che sia solo inserire, e nel mio caso genererà un'eccezione di integrità se c'è una riga duplicata – user1902291

0

uso sqlu

questo demo work

case ("insertOnDuplicateKey",answers:List[Answer])=>{ 
    def buildInsert(r: Answer): DBIO[Int] = 
    sqlu"insert into answer (aid,bid,sbid,qid,ups,author,uid,nick,pub_time,content,good,hot,id,reply,pic,spider_time) values (${r.aid},${r.bid},${r.sbid},${r.qid},${r.ups},${r.author},${r.uid},${r.nick},${r.pub_time},${r.content},${r.good},${r.hot},${r.id},${r.reply},${r.pic},${r.spider_time}) ON DUPLICATE KEY UPDATE `aid`=values(aid),`bid`=values(bid),`sbid`=values(sbid),`qid`=values(qid),`ups`=values(ups),`author`=values(author),`uid`=values(uid),`nick`=values(nick),`pub_time`=values(pub_time),`content`=values(content),`good`=values(good),`hot`=values(hot),`id`=values(id),`reply`=values(reply),`pic`=values(pic),`spider_time`=values(spider_time)" 
    val inserts: Seq[DBIO[Int]] = answers.map(buildInsert) 
    val combined: DBIO[Seq[Int]] = DBIO.sequence(inserts) 
    DEST_DB.run(combined).onComplete(data=>{ 
    println("insertOnDuplicateKey data result",data.get.mkString) 
    if (data.isSuccess){ 
     println(data.get) 
     val lastid=answers.last.id 
     Sync.lastActor !("upsert",tablename,lastid) 
    }else{ 
     //retry 
     self !("insertOnDuplicateKey",answers) 
    } 
    }) 
} 

e cerco di utilizzare sqlu in un unico SQL, ma l'errore forse sqlu dont String fornitura di interpolazione

questa demo non funzionano

case ("insertOnDuplicateKeyError",answers:List[Answer])=>{ 
    def buildSql(execpre:String,values: String,execafter:String): DBIO[Int] = sqlu"$execpre $values $execafter" 
    val execpre="insert into answer (aid,bid,sbid,qid,ups,author,uid,nick,pub_time,content,good,hot,id,reply,pic,spider_time) values " 
    val execafter=" ON DUPLICATE KEY UPDATE `aid`=values(aid),`bid`=values(bid),`sbid`=values(sbid),`qid`=values(qid),`ups`=values(ups),`author`=values(author),`uid`=values(uid),`nick`=values(nick),`pub_time`=values(pub_time),`content`=values(content),`good`=values(good),`hot`=values(hot),`id`=values(id),`reply`=values(reply),`pic`=values(pic),`spider_time`=values(spider_time)" 
    val valuesstr=answers.map(row=>("("+List(row.aid,row.bid,row.sbid,row.qid,row.ups,"'"+row.author+"'","'"+row.uid+"'","'"+row.nick+"'","'"+row.pub_time+"'","'"+row.content+"'",row.good,row.hot,row.id,row.reply,row.pic,"'"+row.spider_time+"'").mkString(",")+")")).mkString(",\n") 
    val insertOrUpdateAction=DBIO.seq(
    buildSql(execpre,valuesstr,execafter) 
) 
    DEST_DB.run(insertOrUpdateAction).onComplete(data=>{ 
    if (data.isSuccess){ 
     println("insertOnDuplicateKey data result",data) 
     //retry 
     val lastid=answers.last.id 
     Sync.lastActor !("upsert",tablename,lastid) 
    }else{ 
     self !("insertOnDuplicateKey2",answers) 
    } 
    }) 
} 

uno strumento mysql sincronia con Scala chiazza di petrolio https://github.com/cclient/ScalaMysqlSync