Ordine dei test in python unittest

Question

Stavo osservando domande simili e non sono riuscito a trovare una risposta al mio problema.

ho scritto test in una classe che deriva da pitone unittest.TestCase

class TestEffortFormula(unittest.TestCase) 

ho bisogno di dare un ordine alle prove (per favore, non mi dicono che non dovrei fare affidamento su di prova di ordine, lo faccio solo).

Prima avevo bisogno di dare ordine alle prove il comando che ho usato per eseguire i test è stato:

unittest.main(testRunner=TeamcityTestRunner()) 

Poi ho voluto fare il dissappear ordine, così ho provato la seguente:

loader = unittest.TestLoader() 
loader.sortTestMethodsUsing(None) 
loader.loadTestsFromTestCase(TestEffortFormula) 
suite = loader.suiteClass() 

ma da qui non so come eseguire i test, specialmente con testRunner=TeamcityTestRunner() come facevo prima.

Apprezzare il vostro aiuto

Answer 1

Opzione 1.

Una soluzione a questo (come una soluzione) era given here - che suggerisce la scrittura dei test nei metodi numerati step1, step2, ecc, quindi la raccolta e la loro memorizzazione tramite dir(self) e cedendoli a un metodo test_ che corrisponde a try s ciascuno.

Non ideale ma fa quello che ti aspetti. Ogni sequenza di test deve essere un singolo TestClass (o adattare il metodo fornito per avere più di un metodo di generazione della sequenza).

Opzione 2.

Un'altra soluzione, anche per la questione legata, è il nome del vostro test alfabetico + numerico ordinato in modo che essi saranno eseguiti in questo ordine.

Ma in entrambi i casi, scrivere test monolitici, ciascuno nella propria Classe di test.

P.S. Sono d'accordo con tutti i commenti che dicono che i test unitari non dovrebbero essere fatti in questo modo; ma ci sono situazioni in cui i quadri di test unitari (come unittest e pytest) vengono utilizzati per eseguire test di integrazione che richiedono passaggi modulari indipendenti per essere utili. Inoltre, se il QA non può influenzare Dev per scrivere codice modulare, questo tipo di cose deve essere fatto.

Answer 2

Ho cercato molto tempo per risolvere da solo questo problema.
Una delle risposte in this question fa esattamente quello che ti serve.

applicato al tuo codice:

ln = lambda f: getattr(TestEffortFormula, f).im_func.func_code.co_firstlineno 
lncmp = lambda _, a, b: cmp(ln(a), ln(b)) 
unittest.TestLoader.sortTestMethodsUsing = lncmp 

suite = unittest.TestLoader().loadTestsFromTestCase(TestEffortFormula) 
unittest.TextTestRunner(failfast=True).run(suite) 

Purtroppo, l'impostazione unittest.TestLoader.sortTestMethodsUsing=None non funziona, anche se è documented che questo dovrebbe evitare l'ordinamento delle prove in ordine alfabetico.