You've already forked node-redis
mirror of
https://github.com/redis/node-redis.git
synced 2025-08-07 13:22:56 +03:00
Merge branch 'master' into hiredis-merge
This commit is contained in:
Pieter Noordhuis
307
multi_bench.js
307
multi_bench.js
@@ -1,218 +1,123 @@
|
|||||||
/*global require console setTimeout process */
|
|
||||||
|
|
||||||
var redis = require("./index"),
|
var redis = require("./index"),
|
||||||
request = require("request"),
|
num_clients = parseInt(process.argv[2]) || 50,
|
||||||
stats_url = "mjr.couchone.com/bench",
|
active_clients = 0,
|
||||||
client_count = process.argv[2] || 50,
|
clients = new Array(num_clients),
|
||||||
ops_count = 20000,
|
num_requests = 20000,
|
||||||
clients = new Array(client_count),
|
issued_requests = 0,
|
||||||
i, tests = {}, results = {}, test_list;
|
latency = new Array(num_requests),
|
||||||
|
tests = [],
|
||||||
|
test_start;
|
||||||
|
|
||||||
redis.debug_mode = false;
|
redis.debug_mode = false;
|
||||||
|
|
||||||
function init_test(name) {
|
tests.push({
|
||||||
results[name] = {
|
descr: "PING",
|
||||||
test_start: new Date(),
|
command: ["ping"]
|
||||||
starts: new Array(client_count),
|
|
||||||
ends: new Array(client_count),
|
|
||||||
completed: 0
|
|
||||||
};
|
|
||||||
}
|
|
||||||
|
|
||||||
function test_complete(name) {
|
|
||||||
var min, max, sum, avg, res, i, sample, total_time, op_rate, buckets = {}, max_bucket;
|
|
||||||
|
|
||||||
results[name].test_end = new Date();
|
|
||||||
|
|
||||||
total_time = results[name].test_end - results[name].test_start;
|
|
||||||
|
|
||||||
res = results[name];
|
|
||||||
|
|
||||||
max_bucket = Number.MIN_VALUE;
|
|
||||||
min = Number.MAX_VALUE;
|
|
||||||
max = Number.MIN_VALUE;
|
|
||||||
sum = 0;
|
|
||||||
|
|
||||||
for (i = 0, len = results[name].ends.length; i < len; i += 1) {
|
|
||||||
sample = results[name].ends[i] - results[name].starts[i];
|
|
||||||
if (isNaN(sample)) {
|
|
||||||
console.log("NaN: " + i + ", " + results[name].ends[i] + ", " + results[name].starts[i]);
|
|
||||||
}
|
|
||||||
sum += sample;
|
|
||||||
if (sample < min) {
|
|
||||||
min = sample;
|
|
||||||
}
|
|
||||||
if (sample > max) {
|
|
||||||
max = sample;
|
|
||||||
}
|
|
||||||
if (buckets[sample] === undefined) {
|
|
||||||
buckets[sample] = 0;
|
|
||||||
}
|
|
||||||
buckets[sample] += 1;
|
|
||||||
if (buckets[sample] > max_bucket) {
|
|
||||||
max_bucket = buckets[sample];
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
avg = (sum / ops_count).toFixed(2);
|
|
||||||
op_rate = ((i + 1) / (total_time/1000)).toFixed(2);
|
|
||||||
|
|
||||||
console.log(name + ": " + i + " ops " + op_rate + " ops/sec " + min + "/" + max + "/" + avg);
|
|
||||||
|
|
||||||
function lpad(val) {
|
|
||||||
var ret = val.toString();
|
|
||||||
while (ret.length < max_bucket.toString().length) {
|
|
||||||
ret = " " + ret;
|
|
||||||
}
|
|
||||||
return ret;
|
|
||||||
}
|
|
||||||
|
|
||||||
// Object.keys(buckets).forEach(function (bucket) {
|
|
||||||
// var bar = "", i, max_width = 100, cur_val = buckets[bucket];
|
|
||||||
//
|
|
||||||
// i = Math.round((cur_val / max_bucket) * max_width);
|
|
||||||
//
|
|
||||||
// while (i >= 0) {
|
|
||||||
// bar += "*";
|
|
||||||
// i--;
|
|
||||||
// }
|
|
||||||
// console.log(lpad(bucket) + ": " + bar);
|
|
||||||
// });
|
|
||||||
|
|
||||||
run_next();
|
|
||||||
}
|
|
||||||
|
|
||||||
function get_result(name, index) {
|
|
||||||
results[name].starts[index] = new Date();
|
|
||||||
return function (err, reply) {
|
|
||||||
results[name].ends[index] = new Date();
|
|
||||||
results[name].completed += 1;
|
|
||||||
if (results[name].completed === ops_count) {
|
|
||||||
test_complete(name);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
function spread_command(name, command, args) {
|
|
||||||
var remaining = ops_count - 1,
|
|
||||||
current = 0;
|
|
||||||
|
|
||||||
while (remaining >= 0) {
|
|
||||||
clients[current][command](args, get_result(name, remaining));
|
|
||||||
current += 1;
|
|
||||||
if (current >= client_count) {
|
|
||||||
current = 0;
|
|
||||||
}
|
|
||||||
remaining -= 1;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
tests.connections = function () {
|
|
||||||
var name = "connections";
|
|
||||||
|
|
||||||
function handle_connection (num) {
|
|
||||||
return function () {
|
|
||||||
results[name].ends[num] = new Date();
|
|
||||||
results[name].completed += 1;
|
|
||||||
start_connection(num + 1);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
function start_connection (num) {
|
|
||||||
results[name].starts[num] = new Date();
|
|
||||||
clients[num] = redis.createClient();
|
|
||||||
if (num < (client_count - 1)) {
|
|
||||||
clients[num].on("connect", handle_connection(num));
|
|
||||||
} else {
|
|
||||||
clients[num].on("connect", function () {
|
|
||||||
results[name].ends[num] = new Date();
|
|
||||||
results[name].completed += 1;
|
|
||||||
test_complete(name);
|
|
||||||
});
|
});
|
||||||
}
|
|
||||||
|
|
||||||
clients[num].on("error", function (msg) {
|
tests.push({
|
||||||
|
descr: "SET",
|
||||||
|
command: ["set", "foo_rand000000000000", "bar"]
|
||||||
|
});
|
||||||
|
|
||||||
|
tests.push({
|
||||||
|
descr: "GET",
|
||||||
|
command: ["get", "foo_rand000000000000"]
|
||||||
|
});
|
||||||
|
|
||||||
|
tests.push({
|
||||||
|
descr: "INCR",
|
||||||
|
command: ["incr", "counter_rand000000000000"]
|
||||||
|
});
|
||||||
|
|
||||||
|
tests.push({
|
||||||
|
descr: "LPUSH",
|
||||||
|
command: ["lpush", "mylist", Array(8).join("-")]
|
||||||
|
});
|
||||||
|
|
||||||
|
tests.push({
|
||||||
|
descr: "LRANGE (10 elements)",
|
||||||
|
command: ["lrange", "mylist", "0", "9"]
|
||||||
|
});
|
||||||
|
|
||||||
|
tests.push({
|
||||||
|
descr: "LRANGE (100 elements)",
|
||||||
|
command: ["lrange", "mylist", "0", "99"]
|
||||||
|
});
|
||||||
|
|
||||||
|
function create_clients(callback) {
|
||||||
|
if (active_clients == num_clients) {
|
||||||
|
callback();
|
||||||
|
} else {
|
||||||
|
var client;
|
||||||
|
var connected = active_clients;
|
||||||
|
|
||||||
|
while (active_clients < num_clients) {
|
||||||
|
client = clients[active_clients++] = redis.createClient();
|
||||||
|
client.on("connect", function() {
|
||||||
|
/* Fire callback when all clients are connected */
|
||||||
|
if (++connected == num_clients)
|
||||||
|
callback();
|
||||||
|
});
|
||||||
|
client.on("error", function (msg) {
|
||||||
console.log("Connect problem:" + msg.stack);
|
console.log("Connect problem:" + msg.stack);
|
||||||
});
|
});
|
||||||
}
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
console.log("Starting " + client_count + " connections.");
|
function issue_request(client, test, cmd, args) {
|
||||||
init_test(name);
|
var i = issued_requests++;
|
||||||
start_connection(0);
|
latency[i] = new Date;
|
||||||
};
|
|
||||||
|
|
||||||
tests.ping = function () {
|
client[cmd](args, function() {
|
||||||
var name = "PING (mb)";
|
latency[i] = (new Date) - latency[i];
|
||||||
|
if (issued_requests < num_requests) {
|
||||||
init_test(name);
|
issue_request(client, test, cmd, args);
|
||||||
spread_command(name, "ping", []);
|
|
||||||
};
|
|
||||||
|
|
||||||
tests.set = function () {
|
|
||||||
var name = "SET";
|
|
||||||
|
|
||||||
init_test(name);
|
|
||||||
spread_command(name, "set", ["foo_rand000000000000", ops_count]);
|
|
||||||
};
|
|
||||||
|
|
||||||
tests.get = function () {
|
|
||||||
var name = "GET";
|
|
||||||
|
|
||||||
init_test(name);
|
|
||||||
spread_command(name, "get", ["foo_rand000000000000"]);
|
|
||||||
};
|
|
||||||
|
|
||||||
tests.incr = function () {
|
|
||||||
var name = "incr";
|
|
||||||
|
|
||||||
init_test(name);
|
|
||||||
spread_command(name, "incr", ["counter_rand000000000000"]);
|
|
||||||
};
|
|
||||||
|
|
||||||
tests.lpush = function () {
|
|
||||||
var name = "lpush";
|
|
||||||
|
|
||||||
init_test(name);
|
|
||||||
spread_command(name, "lpush", ["mylist", "bar"]);
|
|
||||||
};
|
|
||||||
|
|
||||||
tests.lpop = function () {
|
|
||||||
var name = "lpop";
|
|
||||||
|
|
||||||
init_test(name);
|
|
||||||
spread_command(name, "lpop", ["mylist"]);
|
|
||||||
};
|
|
||||||
|
|
||||||
tests.sadd = function () {
|
|
||||||
var name = "sadd";
|
|
||||||
|
|
||||||
init_test(name);
|
|
||||||
spread_command(name, "sadd", ["myset", "counter_rand000000000000"]);
|
|
||||||
};
|
|
||||||
|
|
||||||
// need to randomize the counter
|
|
||||||
|
|
||||||
// tests.spop = function () {
|
|
||||||
// var name = "lpop";
|
|
||||||
//
|
|
||||||
// init_test(name);
|
|
||||||
// spread_command(name, "lpop", ["mylist"]);
|
|
||||||
// };
|
|
||||||
|
|
||||||
|
|
||||||
test_list = Object.keys(tests);
|
|
||||||
|
|
||||||
function run_next() {
|
|
||||||
var cur_test = test_list.shift();
|
|
||||||
if (typeof tests[cur_test] === "function") {
|
|
||||||
tests[cur_test]();
|
|
||||||
} else {
|
} else {
|
||||||
console.log("End of tests.");
|
client.end();
|
||||||
clients.forEach(function (client) {
|
if (--active_clients == 0)
|
||||||
client.quit();
|
test_complete(test);
|
||||||
|
}
|
||||||
});
|
});
|
||||||
}
|
}
|
||||||
|
|
||||||
|
function test_run(test) {
|
||||||
|
create_clients(function() {
|
||||||
|
var i = num_clients;
|
||||||
|
var cmd = test.command[0];
|
||||||
|
var args = test.command.slice(1);
|
||||||
|
|
||||||
|
test_start = new Date;
|
||||||
|
issued_requests = 0;
|
||||||
|
while(i-- && issued_requests < num_requests) {
|
||||||
|
issue_request(clients[i], test, cmd, args);
|
||||||
|
}
|
||||||
|
});
|
||||||
}
|
}
|
||||||
|
|
||||||
|
function test_complete(test) {
|
||||||
|
var min, max, sum, avg;
|
||||||
|
var total_time = (new Date) - test_start;
|
||||||
|
var op_rate = (issued_requests / (total_time / 1000.0)).toFixed(2);
|
||||||
|
var i;
|
||||||
|
|
||||||
|
latency.sort();
|
||||||
|
min = latency[0];
|
||||||
|
max = latency[issued_requests-1];
|
||||||
|
for (sum = 0, i = 0; i < issued_requests; i++)
|
||||||
|
sum += latency[i];
|
||||||
|
avg = (sum / issued_requests).toFixed(3);
|
||||||
|
|
||||||
|
console.log(test.descr + ": " + issued_requests + " ops " + op_rate + " ops/sec " + min + "/" + max + "/" + avg);
|
||||||
|
|
||||||
|
next();
|
||||||
|
}
|
||||||
|
|
||||||
|
function next() {
|
||||||
|
var test = tests.shift();
|
||||||
|
if (test) test_run(test);
|
||||||
|
}
|
||||||
|
|
||||||
|
next();
|
||||||
|
|
||||||
run_next();
|
|
||||||
|
|||||||
8
test.js
8
test.js
@@ -68,6 +68,10 @@ function require_error(label) {
|
|||||||
};
|
};
|
||||||
}
|
}
|
||||||
|
|
||||||
|
function is_empty_array(obj) {
|
||||||
|
return Array.isArray(obj) && obj.length === 0;
|
||||||
|
}
|
||||||
|
|
||||||
function last(name, fn) {
|
function last(name, fn) {
|
||||||
return function (err, results) {
|
return function (err, results) {
|
||||||
fn(err, results);
|
fn(err, results);
|
||||||
@@ -154,7 +158,7 @@ tests.MULTI_3 = function () {
|
|||||||
])
|
])
|
||||||
.scard("some set")
|
.scard("some set")
|
||||||
.exec(function (err, replies) {
|
.exec(function (err, replies) {
|
||||||
assert.deepEqual(replies[2][0], [], name);
|
assert.strictEqual(true, is_empty_array(replies[2][0]), name);
|
||||||
next(name);
|
next(name);
|
||||||
});
|
});
|
||||||
};
|
};
|
||||||
@@ -360,7 +364,7 @@ tests.MULTIBULK_ZERO_LENGTH = function () {
|
|||||||
var name = "MULTIBULK_ZERO_LENGTH";
|
var name = "MULTIBULK_ZERO_LENGTH";
|
||||||
client.KEYS(['users:*'], function (err, results) {
|
client.KEYS(['users:*'], function (err, results) {
|
||||||
assert.strictEqual(null, err, 'error on empty multibulk reply');
|
assert.strictEqual(null, err, 'error on empty multibulk reply');
|
||||||
assert.deepEqual([], results);
|
assert.strictEqual(true, is_empty_array(results), "not an empty array");
|
||||||
next(name);
|
next(name);
|
||||||
});
|
});
|
||||||
};
|
};
|
||||||
|
|||||||
Reference in New Issue
Block a user