di CRUDRepository è molto lento?

Question

Voglio memorizzare alcuni dati nel mio database neo4j. Io uso spring-data-neo4j per quello.

il mio codice è come il seguente:

for (int i = 0; i < newRisks.size(); i++) { 
     myRepository.save(newRisks.get(i)); 
     System.out.println("saved " + newRisks.get(i).name); 
    } 

mio newRisks-array contiene circa 60000 oggetti e 60000 bordi. Ogni nodo e spigolo ha una proprietà. La durata di questo ciclo è di circa 15 - 20 minuti, è normale? Ho usato Java VisualVM per cercare alcuni colli di bottiglia, ma il mio utilizzo medio della CPU era del 10 - 25% (di 4 core) e il mio heap era meno della metà pieno.

Ci sono delle opzioni per potenziare questa operazione?

---

EDIT: supplementare è, per la prima chiamata di myRepository.save(newRisks.get(i)); JVM caduta assleep fpr alcuni minuti prima della prima uscita è venuta

Secondo EDIT:

Classe rischio:

@NodeEntity 
public class Risk { 
    //... 
    @Indexed 
    public String name; 

    @RelatedTo(type = "CHILD", direction = Direction.OUTGOING) 
    Set<Risk> risk = new HashSet<Risk>(); 

    public void addChild(Risk child) { 
     risk.add(child); 
    } 

    //... 
} 

Creazione di rischi:

@Autowired 
private Repository myRepository; 

@Transactional 
public Collection<Risk> makeSomeRisks() { 

    ArrayList<Risk> newRisks = new ArrayList<Risk>(); 

    newRisks.add(new Risk("Root")); 

    for (int i = 0; i < 60000; i++) { 
     Risk risk = new Risk("risk " + (i + 1)); 
     newRisks.get(0).addChild(risk); 
     newRisks.add(risk); 
    } 

    for (int i = 0; i < newRisks.size(); i++) { 
     myRepository.save(newRisks.get(i)); 
    } 

    return newRisks; 
} 

Answer 1

Il problema qui è che si stanno facendo inserimenti di massa con un'API non prevista per questo.

Si crea un rischio e 60k bambini, si salva prima la radice che persiste anche i 60k bambini allo stesso tempo (e crea le relazioni). Ecco perché il primo salvataggio richiede così tanto tempo. E poi salvi di nuovo i bambini.

Esistono alcune soluzioni per velocizzarlo con SDN.

1. non utilizzare il metodo di raccolta per gli inserti di massa, persistono entrambi i partecipanti e l'uso template.createRelationshipBetween (radice, bambino, "bambino", false);

2. persistono i bambini prima quindi aggiungere tutti i bambini persistenti per l'oggetto principale e persistono che

3. Come avete fatto, utilizzare l'API Neo4j-Core, ma chiamano template.postEntityCreation (nodo, Risk.class) così che puoi accedere alle entità tramite SDN.Quindi devi anche indicizzare le entità da te (db.index.forNodes ("Rischio"). Aggiungi (nodo, "nome", nome);) (oppure usa l'auto-index neo4j core-api, ma non è così compatibile con SDN).

4. Indipendentemente con il core-API o SDN si dovrebbe usare TX-dimensioni di circa 10-20k nodi/REL per le migliori prestazioni

Answer 2

Gli inserimenti nel database (al di fuori di Java) hanno lo stesso ritardo o si tratta di un problema solo tramite dati primaverili?

Answer 3

Credo di aver trovato una soluzione:

ho provato lo stesso inserto utilizzando il Nativ Neo4j API Java:

GraphDatabaseService graphDb; 
Node firstNode; 
Node secondNode; 
Relationship relationship; 

graphDb = new EmbeddedGraphDatabase(DB_PATH); 
Transaction tx = graphDb.beginTx(); 

try { 
    firstNode = graphDb.createNode(); 
    firstNode.setProperty("name", "Root"); 

    for (int i = 0; i < 60000; i++) { 
     secondNode = graphDb.createNode(); 
     secondNode.setProperty("name", "risk " + (i+1)); 

     relationship = firstNode.createRelationshipTo(secondNode, RelTypes.CHILD); 
    } 
    tx.success(); 
} 
finally { 
    tx.finish(); 
    graphDb.shutdown(); 
} 

il risultato: dopo qualche sconds, il database è piena di rischi .

Forse i riflessi rallentano questa routine con spring-data-neo4j. @Michael Hunger dice qualcosa del genere nel suo libro GoodRelationships, grazie per il suggerimento.

Answer 4

Ho affrontato lo stesso problema di OP. Davvero utile nel mio caso è stato quello di modificare l'utilizzo di Neo4j dalla modalità server remoto a a incorporata. Un buon esempio di utilizzo di SDN incorporato potrebbe essere trovato here.