summaryrefslogtreecommitdiffstats
path: root/debian/tests/unit-tests-flaky.py
diff options
context:
space:
mode:
Diffstat (limited to 'debian/tests/unit-tests-flaky.py')
-rwxr-xr-xdebian/tests/unit-tests-flaky.py60
1 files changed, 60 insertions, 0 deletions
diff --git a/debian/tests/unit-tests-flaky.py b/debian/tests/unit-tests-flaky.py
new file mode 100755
index 000000000..db740ee5a
--- /dev/null
+++ b/debian/tests/unit-tests-flaky.py
@@ -0,0 +1,60 @@
+#!/usr/bin/python3
+
+import os
+import subprocess
+import sys
+
+sys.dont_write_bytecode = True
+from flaky_tests_list import flaky_test_dirs
+
+cwd = os.getcwd()
+
+overall_test_rc = 0
+succeeded_tests = []
+failed_tests = []
+
+for i in flaky_test_dirs:
+
+ os.chdir(i)
+
+ print ("\n\n", flush=True)
+ print ("############################################################", flush=True)
+ print ("############################################################", flush=True)
+ print ("#### Running FLAKY tests in", i, flush=True)
+ print ("############################################################", flush=True)
+ print ("############################################################", flush=True)
+
+ rc = subprocess.run([
+ '/usr/bin/ansible-test',
+ 'units',
+ '--python-interpreter',
+ '/usr/bin/python3',
+ '--local'
+ ])
+
+ # don't fail on failed test, continue instead
+ print ("## return code is", rc.returncode)
+
+ if rc.returncode == 0:
+ succeeded_tests.append(i)
+ else:
+ failed_tests.append(i)
+ overall_test_rc = rc.returncode
+
+ os.chdir(cwd)
+
+print ("############################################################", flush=True)
+print ("############################################################", flush=True)
+print ("#### failed tests are:", flush=True)
+for i in failed_tests:
+ print ("####", i, flush=True)
+if len(succeeded_tests) > 0:
+ print ("#### succeeded tests are:", flush=True)
+ for i in succeeded_tests:
+ print ("####", i, flush=True)
+ print ("#### consider removing them from the flaky tests list.", flush=True)
+print ("############################################################", flush=True)
+print ("############################################################", flush=True)
+
+
+exit(overall_test_rc)