src/test/SDL_test_harness.c
author Andreas Schiffler <aschiffler@ferzkopp.net>
Thu, 31 Jan 2013 08:45:30 -0800
changeset 6830 0cd3e2e9b2c5
parent 6772 5229a117ef97
child 6885 700f1b25f77f
permissions -rw-r--r--
Add tests to audio suite; update harness filter logic
aschiffler@6717
     1
/*
aschiffler@6763
     2
Simple DirectMedia Layer
aschiffler@6763
     3
Copyright (C) 1997-2012 Sam Lantinga <slouken@libsdl.org>
aschiffler@6717
     4
aschiffler@6763
     5
This software is provided 'as-is', without any express or implied
aschiffler@6763
     6
warranty.  In no event will the authors be held liable for any damages
aschiffler@6763
     7
arising from the use of this software.
aschiffler@6717
     8
aschiffler@6763
     9
Permission is granted to anyone to use this software for any purpose,
aschiffler@6763
    10
including commercial applications, and to alter it and redistribute it
aschiffler@6763
    11
freely, subject to the following restrictions:
aschiffler@6717
    12
aschiffler@6763
    13
1. The origin of this software must not be misrepresented; you must not
aschiffler@6763
    14
claim that you wrote the original software. If you use this software
aschiffler@6763
    15
in a product, an acknowledgment in the product documentation would be
aschiffler@6763
    16
appreciated but is not required.
aschiffler@6763
    17
2. Altered source versions must be plainly marked as such, and must not be
aschiffler@6763
    18
misrepresented as being the original software.
aschiffler@6763
    19
3. This notice may not be removed or altered from any source distribution.
aschiffler@6717
    20
*/
aschiffler@6717
    21
aschiffler@6717
    22
#include "SDL_config.h"
aschiffler@6717
    23
aschiffler@6717
    24
#include "SDL_test.h"
aschiffler@6717
    25
aschiffler@6721
    26
#include <stdio.h>
aschiffler@6721
    27
#include <stdlib.h>
aschiffler@6718
    28
#include <string.h>
aschiffler@6721
    29
#include <time.h>
aschiffler@6718
    30
aschiffler@6756
    31
/* Invalid test name/description message format */
aschiffler@6756
    32
const char *SDLTest_InvalidNameFormat = "(Invalid)";
aschiffler@6721
    33
aschiffler@6756
    34
/* Log summary message format */
aschiffler@6756
    35
const char *SDLTest_LogSummaryFormat = "%s Summary: Total=%d Passed=%d Failed=%d Skipped=%d";
aschiffler@6756
    36
aschiffler@6756
    37
/* Final result message format */
aschiffler@6756
    38
const char *SDLTest_FinalResultFormat = ">>> %s '%s': %s\n";
aschiffler@6721
    39
aschiffler@6721
    40
/*! \brief Timeout for single test case execution */
aschiffler@6721
    41
static Uint32 SDLTest_TestCaseTimeout = 3600;
aschiffler@6717
    42
aschiffler@6717
    43
/**
aschiffler@6763
    44
* Generates a random run seed string for the harness. The generated seed
aschiffler@6763
    45
* will contain alphanumeric characters (0-9A-Z).
aschiffler@6763
    46
*
aschiffler@6763
    47
* Note: The returned string needs to be deallocated by the caller.
aschiffler@6763
    48
*
aschiffler@6763
    49
* \param length The length of the seed string to generate
aschiffler@6763
    50
*
aschiffler@6763
    51
* \returns The generated seed string
aschiffler@6763
    52
*/
aschiffler@6717
    53
char *
aschiffler@6772
    54
SDLTest_GenerateRunSeed(const int length)
aschiffler@6717
    55
{
aschiffler@6717
    56
	char *seed = NULL;
aschiffler@6717
    57
	SDLTest_RandomContext randomContext;
aschiffler@6717
    58
	int counter;
aschiffler@6717
    59
aschiffler@6717
    60
	// Sanity check input
aschiffler@6717
    61
	if (length <= 0) {
aschiffler@6717
    62
		SDLTest_LogError("The length of the harness seed must be >0.");
aschiffler@6717
    63
		return NULL;
aschiffler@6717
    64
	}
aschiffler@6717
    65
aschiffler@6717
    66
	// Allocate output buffer
aschiffler@6717
    67
	seed = (char *)SDL_malloc((length + 1) * sizeof(char));
aschiffler@6717
    68
	if (seed == NULL) {
aschiffler@6717
    69
		SDLTest_LogError("SDL_malloc for run seed output buffer failed.");
aschiffler@6717
    70
		return NULL;
aschiffler@6717
    71
	}
aschiffler@6717
    72
aschiffler@6717
    73
	// Generate a random string of alphanumeric characters
aschiffler@6717
    74
	SDLTest_RandomInitTime(&randomContext);
aschiffler@6717
    75
	for (counter = 0; counter < length - 1; ++counter) {
aschiffler@6717
    76
		unsigned int number = SDLTest_Random(&randomContext);
aschiffler@6717
    77
		char ch = (char) (number % (91 - 48)) + 48;
aschiffler@6717
    78
		if (ch >= 58 && ch <= 64) {
aschiffler@6717
    79
			ch = 65;
aschiffler@6717
    80
		}
aschiffler@6717
    81
		seed[counter] = ch;
aschiffler@6717
    82
	}
aschiffler@6717
    83
	seed[counter] = '\0';
aschiffler@6717
    84
aschiffler@6717
    85
	return seed;
aschiffler@6717
    86
}
aschiffler@6717
    87
aschiffler@6717
    88
/**
aschiffler@6763
    89
* Generates an execution key for the fuzzer.
aschiffler@6763
    90
*
aschiffler@6763
    91
* \param runSeed		The run seed to use
aschiffler@6763
    92
* \param suiteName		The name of the test suite
aschiffler@6763
    93
* \param testName		The name of the test
aschiffler@6763
    94
* \param iteration		The iteration count
aschiffler@6763
    95
*
aschiffler@6763
    96
* \returns The generated execution key to initialize the fuzzer with.
aschiffler@6763
    97
*
aschiffler@6763
    98
*/
aschiffler@6717
    99
Uint64
aschiffler@6772
   100
SDLTest_GenerateExecKey(char *runSeed, char *suiteName, char *testName, int iteration)
aschiffler@6717
   101
{
aschiffler@6717
   102
	SDLTest_Md5Context md5Context;
aschiffler@6717
   103
	Uint64 *keys;
aschiffler@6717
   104
	char iterationString[16];
aschiffler@6717
   105
	Uint32 runSeedLength;
aschiffler@6717
   106
	Uint32 suiteNameLength;
aschiffler@6717
   107
	Uint32 testNameLength;
aschiffler@6717
   108
	Uint32 iterationStringLength;
aschiffler@6717
   109
	Uint32 entireStringLength;
aschiffler@6717
   110
	char *buffer;
aschiffler@6717
   111
aschiffler@6772
   112
	if (runSeed == NULL || SDL_strlen(runSeed)==0) {
aschiffler@6717
   113
		SDLTest_LogError("Invalid runSeed string.");
aschiffler@6717
   114
		return -1;
aschiffler@6717
   115
	}
aschiffler@6717
   116
aschiffler@6772
   117
	if (suiteName == NULL || SDL_strlen(suiteName)==0) {
aschiffler@6717
   118
		SDLTest_LogError("Invalid suiteName string.");
aschiffler@6717
   119
		return -1;
aschiffler@6717
   120
	}
aschiffler@6717
   121
aschiffler@6772
   122
	if (testName == NULL || SDL_strlen(testName)==0) {
aschiffler@6717
   123
		SDLTest_LogError("Invalid testName string.");
aschiffler@6717
   124
		return -1;
aschiffler@6717
   125
	}
aschiffler@6717
   126
aschiffler@6717
   127
	if (iteration <= 0) {
aschiffler@6717
   128
		SDLTest_LogError("Invalid iteration count.");
aschiffler@6717
   129
		return -1;
aschiffler@6717
   130
	}
aschiffler@6717
   131
aschiffler@6717
   132
	// Convert iteration number into a string
aschiffler@6772
   133
	SDL_memset(iterationString, 0, sizeof(iterationString));
aschiffler@6717
   134
	SDL_snprintf(iterationString, sizeof(iterationString) - 1, "%d", iteration);
aschiffler@6717
   135
aschiffler@6717
   136
	// Combine the parameters into single string
aschiffler@6772
   137
	runSeedLength = SDL_strlen(runSeed);
aschiffler@6772
   138
	suiteNameLength = SDL_strlen(suiteName);
aschiffler@6772
   139
	testNameLength = SDL_strlen(testName);
aschiffler@6772
   140
	iterationStringLength = SDL_strlen(iterationString);
aschiffler@6717
   141
	entireStringLength  = runSeedLength + suiteNameLength + testNameLength + iterationStringLength + 1;
aschiffler@6717
   142
	buffer = (char *)SDL_malloc(entireStringLength);
aschiffler@6717
   143
	if (buffer == NULL) {
aschiffler@6717
   144
		SDLTest_LogError("SDL_malloc failed to allocate buffer for execKey generation.");
aschiffler@6717
   145
		return 0;
aschiffler@6717
   146
	}
aschiffler@6717
   147
	SDL_snprintf(buffer, entireStringLength, "%s%s%s%d", runSeed, suiteName, testName, iteration);
aschiffler@6717
   148
aschiffler@6717
   149
	// Hash string and use half of the digest as 64bit exec key
aschiffler@6717
   150
	SDLTest_Md5Init(&md5Context);
aschiffler@6717
   151
	SDLTest_Md5Update(&md5Context, (unsigned char *)buffer, entireStringLength);
aschiffler@6717
   152
	SDLTest_Md5Final(&md5Context);
aschiffler@6717
   153
	SDL_free(buffer);
aschiffler@6717
   154
	keys = (Uint64 *)md5Context.digest;
aschiffler@6717
   155
aschiffler@6717
   156
	return keys[0];
aschiffler@6717
   157
}
aschiffler@6718
   158
aschiffler@6718
   159
/**
aschiffler@6763
   160
* \brief Set timeout handler for test.
aschiffler@6763
   161
*
aschiffler@6763
   162
* Note: SDL_Init(SDL_INIT_TIMER) will be called if it wasn't done so before.
aschiffler@6763
   163
*
aschiffler@6763
   164
* \param timeout Timeout interval in seconds.
aschiffler@6763
   165
* \param callback Function that will be called after timeout has elapsed.
aschiffler@6763
   166
* 
aschiffler@6763
   167
* \return Timer id or -1 on failure.
aschiffler@6763
   168
*/
aschiffler@6718
   169
SDL_TimerID
aschiffler@6772
   170
SDLTest_SetTestTimeout(int timeout, void (*callback)())
aschiffler@6718
   171
{
aschiffler@6718
   172
	Uint32 timeoutInMilliseconds;
aschiffler@6718
   173
	SDL_TimerID timerID;
aschiffler@6718
   174
aschiffler@6718
   175
	if (callback == NULL) {
aschiffler@6718
   176
		SDLTest_LogError("Timeout callback can't be NULL");
aschiffler@6718
   177
		return -1;
aschiffler@6718
   178
	}
aschiffler@6718
   179
aschiffler@6718
   180
	if (timeout < 0) {
aschiffler@6718
   181
		SDLTest_LogError("Timeout value must be bigger than zero.");
aschiffler@6718
   182
		return -1;
aschiffler@6718
   183
	}
aschiffler@6718
   184
aschiffler@6718
   185
	/* Init SDL timer if not initialized before */
aschiffler@6718
   186
	if (SDL_WasInit(SDL_INIT_TIMER) == 0) {
aschiffler@6718
   187
		if (SDL_InitSubSystem(SDL_INIT_TIMER)) {
aschiffler@6718
   188
			SDLTest_LogError("Failed to init timer subsystem: %s", SDL_GetError());
aschiffler@6718
   189
			return -1;
aschiffler@6718
   190
		}
aschiffler@6718
   191
	}
aschiffler@6718
   192
aschiffler@6718
   193
	/* Set timer */
aschiffler@6718
   194
	timeoutInMilliseconds = timeout * 1000;
aschiffler@6718
   195
	timerID = SDL_AddTimer(timeoutInMilliseconds, (SDL_TimerCallback)callback, 0x0);
aschiffler@6718
   196
	if (timerID == 0) {
aschiffler@6718
   197
		SDLTest_LogError("Creation of SDL timer failed: %s", SDL_GetError());
aschiffler@6718
   198
		return -1;
aschiffler@6718
   199
	}
aschiffler@6718
   200
aschiffler@6718
   201
	return timerID;
aschiffler@6718
   202
}
aschiffler@6721
   203
aschiffler@6763
   204
/**
aschiffler@6763
   205
* \brief Timeout handler. Aborts test run and exits harness process.
aschiffler@6763
   206
*/
aschiffler@6721
   207
void
aschiffler@6763
   208
	SDLTest_BailOut()
aschiffler@6721
   209
{
aschiffler@6721
   210
	SDLTest_LogError("TestCaseTimeout timer expired. Aborting test run.");
aschiffler@6721
   211
	exit(TEST_ABORTED); // bail out from the test
aschiffler@6721
   212
}
aschiffler@6721
   213
aschiffler@6721
   214
/**
aschiffler@6763
   215
* \brief Execute a test using the given execution key.
aschiffler@6763
   216
*
aschiffler@6763
   217
* \param testSuite Suite containing the test case.
aschiffler@6763
   218
* \param testCase Case to execute.
aschiffler@6763
   219
* \param execKey Execution key for the fuzzer.
aschiffler@6763
   220
*
aschiffler@6763
   221
* \returns Test case result.
aschiffler@6763
   222
*/
aschiffler@6721
   223
int
aschiffler@6830
   224
SDLTest_RunTest(SDLTest_TestSuiteReference *testSuite, SDLTest_TestCaseReference *testCase, Uint64 execKey)
aschiffler@6721
   225
{
aschiffler@6721
   226
	SDL_TimerID timer = 0;
aschiffler@6727
   227
	int testResult = 0;
aschiffler@6757
   228
	int fuzzerCount;
aschiffler@6721
   229
aschiffler@6721
   230
	if (testSuite==NULL || testCase==NULL || testSuite->name==NULL || testCase->name==NULL)
aschiffler@6721
   231
	{
aschiffler@6721
   232
		SDLTest_LogError("Setup failure: testSuite or testCase references NULL");
aschiffler@6721
   233
		return TEST_RESULT_SETUP_FAILURE;
aschiffler@6721
   234
	}
aschiffler@6721
   235
aschiffler@6721
   236
	if (!testCase->enabled)
aschiffler@6721
   237
	{
aschiffler@6763
   238
		SDLTest_Log((char *)SDLTest_FinalResultFormat, "Test", testCase->name, "Skipped (Disabled)");
aschiffler@6721
   239
		return TEST_RESULT_SKIPPED;
aschiffler@6721
   240
	}
aschiffler@6721
   241
aschiffler@6763
   242
aschiffler@6763
   243
	// Initialize fuzzer
aschiffler@6721
   244
	SDLTest_FuzzerInit(execKey);
aschiffler@6721
   245
aschiffler@6721
   246
	// Reset assert tracker
aschiffler@6721
   247
	SDLTest_ResetAssertSummary();
aschiffler@6721
   248
aschiffler@6721
   249
	// Set timeout timer
aschiffler@6721
   250
	timer = SDLTest_SetTestTimeout(SDLTest_TestCaseTimeout, SDLTest_BailOut);
aschiffler@6721
   251
aschiffler@6721
   252
	// Maybe run suite initalizer function
aschiffler@6721
   253
	if (testSuite->testSetUp) {
aschiffler@6721
   254
		testSuite->testSetUp(0x0);
aschiffler@6727
   255
		if (SDLTest_AssertSummaryToTestResult() == TEST_RESULT_FAILED) {
aschiffler@6756
   256
			SDLTest_LogError((char *)SDLTest_FinalResultFormat, "Suite Setup", testSuite->name, "Failed");
aschiffler@6721
   257
			return TEST_RESULT_SETUP_FAILURE;
aschiffler@6721
   258
		}
aschiffler@6721
   259
	}
aschiffler@6721
   260
aschiffler@6721
   261
	// Run test case function
aschiffler@6721
   262
	testCase->testCase(0x0);
aschiffler@6727
   263
	testResult = SDLTest_AssertSummaryToTestResult();
aschiffler@6721
   264
aschiffler@6727
   265
	// Maybe run suite cleanup function (ignore failed asserts)
aschiffler@6721
   266
	if (testSuite->testTearDown) {
aschiffler@6721
   267
		testSuite->testTearDown(0x0);
aschiffler@6721
   268
	}
aschiffler@6721
   269
aschiffler@6721
   270
	// Cancel timeout timer
aschiffler@6721
   271
	if (timer) {
aschiffler@6721
   272
		SDL_RemoveTimer(timer);
aschiffler@6721
   273
	}
aschiffler@6721
   274
aschiffler@6721
   275
	// Report on asserts and fuzzer usage
aschiffler@6757
   276
	fuzzerCount = SDLTest_GetFuzzerInvocationCount();
aschiffler@6757
   277
	if (fuzzerCount > 0) {
aschiffler@6757
   278
		SDLTest_Log("Fuzzer invocations: %d", fuzzerCount);
aschiffler@6757
   279
	}
aschiffler@6721
   280
	SDLTest_LogAssertSummary();
aschiffler@6721
   281
aschiffler@6727
   282
	return testResult;
aschiffler@6721
   283
}
aschiffler@6721
   284
aschiffler@6721
   285
/* Prints summary of all suites/tests contained in the given reference */
aschiffler@6721
   286
void SDLTest_LogTestSuiteSummary(SDLTest_TestSuiteReference *testSuites)
aschiffler@6721
   287
{
aschiffler@6721
   288
	int suiteCounter;
aschiffler@6721
   289
	int testCounter;
aschiffler@6721
   290
	SDLTest_TestSuiteReference *testSuite;
aschiffler@6721
   291
	SDLTest_TestCaseReference *testCase;
aschiffler@6721
   292
aschiffler@6721
   293
	// Loop over all suites
aschiffler@6721
   294
	suiteCounter = 0;
aschiffler@6721
   295
	while(&testSuites[suiteCounter]) {
aschiffler@6721
   296
		testSuite=&testSuites[suiteCounter];
aschiffler@6721
   297
		suiteCounter++;
aschiffler@6721
   298
		SDLTest_Log("Test Suite %i - %s\n", suiteCounter, 
aschiffler@6756
   299
			(testSuite->name) ? testSuite->name : SDLTest_InvalidNameFormat);
aschiffler@6721
   300
aschiffler@6721
   301
		// Loop over all test cases
aschiffler@6721
   302
		testCounter = 0;
aschiffler@6721
   303
		while(testSuite->testCases[testCounter])
aschiffler@6721
   304
		{
aschiffler@6721
   305
			testCase=(SDLTest_TestCaseReference *)testSuite->testCases[testCounter];
aschiffler@6721
   306
			testCounter++;
aschiffler@6721
   307
			SDLTest_Log("  Test Case %i - %s: %s", testCounter, 
aschiffler@6756
   308
				(testCase->name) ? testCase->name : SDLTest_InvalidNameFormat, 
aschiffler@6756
   309
				(testCase->description) ? testCase->description : SDLTest_InvalidNameFormat);
aschiffler@6721
   310
		}
aschiffler@6721
   311
	}
aschiffler@6721
   312
}
aschiffler@6721
   313
aschiffler@6756
   314
/* Gets a timer value in seconds */
aschiffler@6756
   315
float GetClock()
aschiffler@6756
   316
{
aschiffler@6756
   317
	float currentClock = (float)clock();
aschiffler@6756
   318
	return currentClock / (float)CLOCKS_PER_SEC;
aschiffler@6756
   319
}
aschiffler@6721
   320
aschiffler@6721
   321
/**
aschiffler@6763
   322
* \brief Execute a test suite using the given run seend and execution key.
aschiffler@6763
   323
*
aschiffler@6763
   324
* The filter string is matched to the suite name (full comparison) to select a single suite,
aschiffler@6763
   325
* or if no suite matches, it is matched to the test names (full comparison) to select a single test.
aschiffler@6763
   326
*
aschiffler@6763
   327
* \param testSuites Suites containing the test case.
aschiffler@6763
   328
* \param userRunSeed Custom run seed provided by user, or NULL to autogenerate one.
aschiffler@6763
   329
* \param userExecKey Custom execution key provided by user, or 0 to autogenerate one.
aschiffler@6763
   330
* \param filter Filter specification. NULL disables. Case sensitive.
aschiffler@6763
   331
* \param testIterations Number of iterations to run each test case.
aschiffler@6763
   332
*
aschiffler@6763
   333
* \returns Test run result; 0 when all tests passed, 1 if any tests failed.
aschiffler@6763
   334
*/
slouken@6768
   335
int SDLTest_RunSuites(SDLTest_TestSuiteReference *testSuites[], const char *userRunSeed, Uint64 userExecKey, const char *filter, int testIterations)
aschiffler@6721
   336
{
aschiffler@6721
   337
	int suiteCounter;
aschiffler@6721
   338
	int testCounter;
aschiffler@6721
   339
	int iterationCounter;
aschiffler@6721
   340
	SDLTest_TestSuiteReference *testSuite;
aschiffler@6721
   341
	SDLTest_TestCaseReference *testCase;
slouken@6768
   342
	const char *runSeed = NULL;
aschiffler@6756
   343
	char *currentSuiteName;
aschiffler@6756
   344
	char *currentTestName;
aschiffler@6721
   345
	Uint64 execKey;
aschiffler@6756
   346
	float runStartSeconds;
aschiffler@6756
   347
	float suiteStartSeconds;
aschiffler@6756
   348
	float testStartSeconds;
aschiffler@6756
   349
	float runEndSeconds;
aschiffler@6756
   350
	float suiteEndSeconds;
aschiffler@6756
   351
	float testEndSeconds;
aschiffler@6760
   352
	float runtime;
aschiffler@6763
   353
	int suiteFilter = 0;
aschiffler@6763
   354
	char *suiteFilterName = NULL;
aschiffler@6763
   355
	int testFilter = 0;
aschiffler@6763
   356
	char *testFilterName = NULL;
aschiffler@6756
   357
	int testResult = 0;
aschiffler@6756
   358
	int runResult = 0;
aschiffler@6756
   359
	Uint32 totalTestFailedCount = 0;
aschiffler@6756
   360
	Uint32 totalTestPassedCount = 0;
aschiffler@6756
   361
	Uint32 totalTestSkippedCount = 0;
aschiffler@6756
   362
	Uint32 testFailedCount = 0;
aschiffler@6756
   363
	Uint32 testPassedCount = 0;
aschiffler@6756
   364
	Uint32 testSkippedCount = 0;
aschiffler@6756
   365
	Uint32 countSum = 0;
aschiffler@6756
   366
	char *logFormat = (char *)SDLTest_LogSummaryFormat;
aschiffler@6721
   367
aschiffler@6721
   368
	// Sanitize test iterations
aschiffler@6721
   369
	if (testIterations < 1) {
aschiffler@6721
   370
		testIterations = 1;
aschiffler@6721
   371
	}
aschiffler@6721
   372
aschiffler@6721
   373
	// Generate run see if we don't have one already
aschiffler@6772
   374
	if (userRunSeed == NULL || SDL_strlen(userRunSeed) == 0) {
aschiffler@6721
   375
		runSeed = SDLTest_GenerateRunSeed(16);
aschiffler@6721
   376
		if (runSeed == NULL) {
aschiffler@6756
   377
			SDLTest_LogError("Generating a random seed failed");
aschiffler@6721
   378
			return 2;
aschiffler@6721
   379
		}
aschiffler@6757
   380
	} else {
aschiffler@6757
   381
		runSeed = userRunSeed;
aschiffler@6721
   382
	}
aschiffler@6721
   383
aschiffler@6763
   384
aschiffler@6721
   385
	// Reset per-run counters
aschiffler@6756
   386
	totalTestFailedCount = 0;
aschiffler@6756
   387
	totalTestPassedCount = 0;
aschiffler@6756
   388
	totalTestSkippedCount = 0;
aschiffler@6721
   389
aschiffler@6721
   390
	// Take time - run start
aschiffler@6756
   391
	runStartSeconds = GetClock();
aschiffler@6721
   392
aschiffler@6756
   393
	// Log run with fuzzer parameters
aschiffler@6757
   394
	SDLTest_Log("::::: Test Run /w seed '%s' started\n", runSeed);
aschiffler@6721
   395
aschiffler@6763
   396
	// Initialize filtering
aschiffler@6763
   397
	if (filter != NULL && SDL_strlen(filter) > 0) {
aschiffler@6763
   398
		/* Loop over all suites to check if we have a filter match */
aschiffler@6763
   399
		suiteCounter = 0;
aschiffler@6763
   400
		while (testSuites[suiteCounter] && suiteFilter == 0) {
aschiffler@6763
   401
			testSuite=(SDLTest_TestSuiteReference *)testSuites[suiteCounter];
aschiffler@6763
   402
			suiteCounter++;
aschiffler@6763
   403
			if (testSuite->name != NULL && SDL_strcmp(filter, testSuite->name) == 0) {
aschiffler@6763
   404
				/* Matched a suite name */
aschiffler@6763
   405
				suiteFilter = 1;
aschiffler@6763
   406
				suiteFilterName = testSuite->name;
aschiffler@6763
   407
				SDLTest_Log("Filtering: running only suite '%s'", suiteFilterName);
aschiffler@6763
   408
				break;
aschiffler@6763
   409
			}
aschiffler@6763
   410
aschiffler@6763
   411
			/* Within each suite, loop over all test cases to check if we have a filter match */
aschiffler@6763
   412
			testCounter = 0;
aschiffler@6763
   413
			while (testSuite->testCases[testCounter] && testFilter == 0)
aschiffler@6763
   414
			{
aschiffler@6763
   415
				testCase=(SDLTest_TestCaseReference *)testSuite->testCases[testCounter];
aschiffler@6763
   416
				testCounter++;
aschiffler@6763
   417
				if (testCase->name != NULL && SDL_strcmp(filter, testCase->name) == 0) {
aschiffler@6763
   418
					/* Matched a test name */
aschiffler@6763
   419
					suiteFilter = 1;
aschiffler@6763
   420
					suiteFilterName = testSuite->name;
aschiffler@6763
   421
					testFilter = 1;
aschiffler@6763
   422
					testFilterName = testCase->name;
aschiffler@6763
   423
					SDLTest_Log("Filtering: running only test '%s' in suite '%s'", testFilterName, suiteFilterName);					
aschiffler@6763
   424
					break;
aschiffler@6763
   425
				}
aschiffler@6763
   426
			}						
aschiffler@6763
   427
		}
aschiffler@6763
   428
		
aschiffler@6763
   429
		if (suiteFilter == 0 && testFilter == 0) {
aschiffler@6763
   430
			SDLTest_LogError("Filter '%s' did not match any test suite/case.", filter);
aschiffler@6763
   431
			SDLTest_Log("Exit code: 2");	
aschiffler@6763
   432
			return 2;
aschiffler@6763
   433
		}		
aschiffler@6763
   434
	}
aschiffler@6763
   435
aschiffler@6721
   436
	// Loop over all suites
aschiffler@6721
   437
	suiteCounter = 0;
aschiffler@6756
   438
	while(testSuites[suiteCounter]) {
aschiffler@6756
   439
		testSuite=(SDLTest_TestSuiteReference *)testSuites[suiteCounter];
aschiffler@6763
   440
		currentSuiteName = (char *)((testSuite->name) ? testSuite->name : SDLTest_InvalidNameFormat);
aschiffler@6721
   441
		suiteCounter++;
aschiffler@6721
   442
aschiffler@6763
   443
		// Filter suite if flag set and we have a name
aschiffler@6763
   444
		if (suiteFilter == 1 && suiteFilterName != NULL && testSuite->name != NULL &&
aschiffler@6763
   445
			SDL_strcmp(suiteFilterName, testSuite->name) != 0) {
aschiffler@6763
   446
				// Skip suite
aschiffler@6763
   447
				SDLTest_Log("===== Test Suite %i: '%s' skipped\n", 
aschiffler@6763
   448
					suiteCounter, 
aschiffler@6763
   449
					currentSuiteName);
aschiffler@6763
   450
		} else {
aschiffler@6721
   451
aschiffler@6763
   452
			// Reset per-suite counters
aschiffler@6763
   453
			testFailedCount = 0;
aschiffler@6763
   454
			testPassedCount = 0;
aschiffler@6763
   455
			testSkippedCount = 0;
aschiffler@6721
   456
aschiffler@6763
   457
			// Take time - suite start
aschiffler@6763
   458
			suiteStartSeconds = GetClock();
aschiffler@6721
   459
aschiffler@6763
   460
			// Log suite started
aschiffler@6763
   461
			SDLTest_Log("===== Test Suite %i: '%s' started\n", 
aschiffler@6763
   462
				suiteCounter, 
aschiffler@6763
   463
				currentSuiteName);
aschiffler@6721
   464
aschiffler@6763
   465
			// Loop over all test cases
aschiffler@6763
   466
			testCounter = 0;
aschiffler@6763
   467
			while(testSuite->testCases[testCounter])
aschiffler@6721
   468
			{
aschiffler@6763
   469
				testCase=(SDLTest_TestCaseReference *)testSuite->testCases[testCounter];
aschiffler@6763
   470
				currentTestName = (char *)((testCase->name) ? testCase->name : SDLTest_InvalidNameFormat);
aschiffler@6763
   471
				testCounter++;
aschiffler@6721
   472
aschiffler@6763
   473
				// Filter tests if flag set and we have a name
aschiffler@6763
   474
				if (testFilter == 1 && testFilterName != NULL && testCase->name != NULL &&
aschiffler@6763
   475
					SDL_strcmp(testFilterName, testCase->name) != 0) {
aschiffler@6763
   476
						// Skip test
aschiffler@6763
   477
						SDLTest_Log("===== Test Case %i.%i: '%s' skipped\n", 
aschiffler@6763
   478
							suiteCounter,
aschiffler@6763
   479
							testCounter,
aschiffler@6763
   480
							currentTestName);
aschiffler@6721
   481
				} else {
aschiffler@6830
   482
					// Override 'disabled' flag if we specified a test filter (i.e. force run for debugging)
aschiffler@6830
   483
					if (testFilter == 1 && !testCase->enabled) {
aschiffler@6830
   484
						SDLTest_Log("Force run of disabled test since test filter was set");
aschiffler@6830
   485
						testCase->enabled = 1;
aschiffler@6830
   486
					}
aschiffler@6721
   487
aschiffler@6763
   488
					// Take time - test start
aschiffler@6763
   489
					testStartSeconds = GetClock();
aschiffler@6721
   490
aschiffler@6763
   491
					// Log test started
aschiffler@6763
   492
					SDLTest_Log("----- Test Case %i.%i: '%s' started",
aschiffler@6763
   493
						suiteCounter,
aschiffler@6763
   494
						testCounter, 
aschiffler@6763
   495
						currentTestName);
aschiffler@6772
   496
					if (testCase->description != NULL && SDL_strlen(testCase->description)>0) {
aschiffler@6763
   497
						SDLTest_Log("Test Description: '%s'", 
aschiffler@6763
   498
							(testCase->description) ? testCase->description : SDLTest_InvalidNameFormat);
aschiffler@6763
   499
					}
aschiffler@6763
   500
aschiffler@6763
   501
					// Loop over all iterations
aschiffler@6763
   502
					iterationCounter = 0;
aschiffler@6763
   503
					while(iterationCounter < testIterations)
aschiffler@6763
   504
					{
aschiffler@6763
   505
						iterationCounter++;
aschiffler@6763
   506
aschiffler@6763
   507
						if (userExecKey != 0) {
aschiffler@6763
   508
							execKey = userExecKey;
aschiffler@6763
   509
						} else {
aschiffler@6771
   510
							execKey = SDLTest_GenerateExecKey((char *)runSeed, testSuite->name, testCase->name, iterationCounter);
aschiffler@6763
   511
						}
aschiffler@6763
   512
aschiffler@6763
   513
						SDLTest_Log("Test Iteration %i: execKey %llu", iterationCounter, execKey);
aschiffler@6763
   514
						testResult = SDLTest_RunTest(testSuite, testCase, execKey);
aschiffler@6763
   515
aschiffler@6763
   516
						if (testResult == TEST_RESULT_PASSED) {
aschiffler@6763
   517
							testPassedCount++;
aschiffler@6763
   518
							totalTestPassedCount++;
aschiffler@6763
   519
						} else if (testResult == TEST_RESULT_SKIPPED) {
aschiffler@6763
   520
							testSkippedCount++;
aschiffler@6763
   521
							totalTestSkippedCount++;
aschiffler@6763
   522
						} else {
aschiffler@6763
   523
							testFailedCount++;
aschiffler@6763
   524
							totalTestFailedCount++;
aschiffler@6763
   525
						}
aschiffler@6763
   526
					}
aschiffler@6763
   527
aschiffler@6763
   528
					// Take time - test end
aschiffler@6763
   529
					testEndSeconds = GetClock();
aschiffler@6763
   530
					runtime = testEndSeconds - testStartSeconds;
aschiffler@6763
   531
					if (runtime < 0.0f) runtime = 0.0f;
aschiffler@6763
   532
aschiffler@6763
   533
					if (testIterations > 1) {
aschiffler@6763
   534
						// Log test runtime
aschiffler@6763
   535
						SDLTest_Log("Runtime of %i iterations: %.1f sec", testIterations, runtime);
aschiffler@6763
   536
						SDLTest_Log("Average Test runtime: %.5f sec", runtime / (float)testIterations);
aschiffler@6763
   537
					} else {
aschiffler@6763
   538
						// Log test runtime
aschiffler@6763
   539
						SDLTest_Log("Total Test runtime: %.1f sec", runtime);
aschiffler@6763
   540
					}
aschiffler@6763
   541
aschiffler@6763
   542
					// Log final test result
aschiffler@6763
   543
					switch (testResult) {
aschiffler@6763
   544
					case TEST_RESULT_PASSED:
aschiffler@6763
   545
						SDLTest_Log((char *)SDLTest_FinalResultFormat, "Test", currentTestName, "Passed");
aschiffler@6763
   546
						break;
aschiffler@6763
   547
					case TEST_RESULT_FAILED:
aschiffler@6763
   548
						SDLTest_LogError((char *)SDLTest_FinalResultFormat, "Test", currentTestName, "Failed");
aschiffler@6763
   549
						break;
aschiffler@6763
   550
					case TEST_RESULT_NO_ASSERT:
aschiffler@6763
   551
						SDLTest_LogError((char *)SDLTest_FinalResultFormat,"Test", currentTestName, "No Asserts");
aschiffler@6763
   552
						break;
aschiffler@6763
   553
					}
aschiffler@6763
   554
aschiffler@6721
   555
				}
aschiffler@6721
   556
			}
aschiffler@6721
   557
aschiffler@6763
   558
			// Take time - suite end
aschiffler@6763
   559
			suiteEndSeconds = GetClock();
aschiffler@6763
   560
			runtime = suiteEndSeconds - suiteStartSeconds;
aschiffler@6760
   561
			if (runtime < 0.0f) runtime = 0.0f;
aschiffler@6721
   562
aschiffler@6763
   563
			// Log suite runtime
aschiffler@6763
   564
			SDLTest_Log("Total Suite runtime: %.1f sec", runtime);
aschiffler@6756
   565
aschiffler@6763
   566
			// Log summary and final Suite result
aschiffler@6763
   567
			countSum = testPassedCount + testFailedCount + testSkippedCount;
aschiffler@6763
   568
			if (testFailedCount == 0)
aschiffler@6763
   569
			{
aschiffler@6763
   570
				SDLTest_Log(logFormat, "Suite", countSum, testPassedCount, testFailedCount, testSkippedCount);
aschiffler@6763
   571
				SDLTest_Log((char *)SDLTest_FinalResultFormat, "Suite", currentSuiteName, "Passed");
aschiffler@6763
   572
			} 
aschiffler@6763
   573
			else 
aschiffler@6763
   574
			{
aschiffler@6763
   575
				SDLTest_LogError(logFormat, "Suite", countSum, testPassedCount, testFailedCount, testSkippedCount);
aschiffler@6763
   576
				SDLTest_LogError((char *)SDLTest_FinalResultFormat, "Suite", currentSuiteName, "Failed");
aschiffler@6756
   577
			}
aschiffler@6721
   578
aschiffler@6756
   579
		}
aschiffler@6721
   580
	}
aschiffler@6721
   581
aschiffler@6721
   582
	// Take time - run end
aschiffler@6756
   583
	runEndSeconds = GetClock();
aschiffler@6760
   584
	runtime = runEndSeconds - runStartSeconds;
aschiffler@6760
   585
	if (runtime < 0.0f) runtime = 0.0f;
aschiffler@6721
   586
aschiffler@6756
   587
	// Log total runtime
aschiffler@6763
   588
	SDLTest_Log("Total Run runtime: %.1f sec", runtime);
aschiffler@6721
   589
aschiffler@6756
   590
	// Log summary and final run result
aschiffler@6756
   591
	countSum = totalTestPassedCount + totalTestFailedCount + totalTestSkippedCount;
aschiffler@6763
   592
	if (totalTestFailedCount == 0)
aschiffler@6756
   593
	{
aschiffler@6756
   594
		runResult = 0;
aschiffler@6756
   595
		SDLTest_Log(logFormat, "Run", countSum, totalTestPassedCount, totalTestFailedCount, totalTestSkippedCount);
aschiffler@6757
   596
		SDLTest_Log((char *)SDLTest_FinalResultFormat, "Run /w seed", runSeed, "Passed");
aschiffler@6756
   597
	} 
aschiffler@6756
   598
	else 
aschiffler@6756
   599
	{
aschiffler@6756
   600
		runResult = 1;
aschiffler@6756
   601
		SDLTest_LogError(logFormat, "Run", countSum, totalTestPassedCount, totalTestFailedCount, totalTestSkippedCount);
aschiffler@6757
   602
		SDLTest_LogError((char *)SDLTest_FinalResultFormat, "Run /w seed", runSeed, "Failed");
aschiffler@6756
   603
	}
aschiffler@6756
   604
aschiffler@6757
   605
	SDLTest_Log("Exit code: %d", runResult);	
aschiffler@6756
   606
	return runResult;
aschiffler@6721
   607
}