Twemproxy测试Redis分片主从架构

Twemproxy 测试架构

创新互联建站是一家专业提供京口企业网站建设,专注与网站制作、网站建设、H5技术、小程序制作等业务。10年已为京口众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

1、twemproxy是twitter开发的一个redis代理proxy。通过Twemproxy可以使用多台服务器来水平扩张redis服务，可以有效的避免redis单点故障问题。

使用Twemproxy 对硬件资源配置较高；在redis性能有一定的损失（twitter测试约20%）用于提高整个系统的HA；

2、twemproxy部署简单快捷；可以直接在proxy进行读写、并转发请求给后端的redis；但是不适合超大流量系统。做的时候把应用分开、使用LVS集群：实现twemproxy的负载均衡，提高proxy的可用性和可扩张能力；

优点:

轻量级的Redis和memcached代理。使用它可以减少缓存服务器的连接数，并且利用它来作分片，性能损耗不会多于20%。其实是因为用了pipeline.首先redis是支持使用pipeline批处理的。

twemproxy与每个redis服务器都会建立一个连接，每个连接实现了两个FIFO的队列，通过这两个队列实现对redis的pipeline访问。将多个客户端的访问合并到一个连接,这样既减少了redis服务器的连接数，又提高了访问性能。

缺点:

虽然可以动态移除节点，但该移除节点的数据就丢失了。redis集群动态增加节点的时候,twemproxy不会对已有数据做重分布.maillist里面作者说这个需要自己写个脚本实现性能上的损耗.

twemproxy- nutcracker：

ip：10.207.101.101

ip：10.207.101.102

VIP:10.207.101.100

HA- keepalived

ip：10.207.101.101

ip：10.207.101.102

VIP:10.207.101.100

Redis

IP: 10.207.101.101

Port：6001/6002/6003

IP: 10.207.101.102

Port：6001/6002/6003

3、部署

wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz

wget https://codeload.github.com/twitter/twemproxy/zip/master

yum install gcc gcc-c++ tcl ruby -y

tar -xf autoconf-2.69.tar.gz

cd autoconf-2.69/

./configure

make &&make install

unzip unzip master.zip

cd twemproxy-master

autoreconf -fvi

./configure --enable-debug=full

make

make install

4、配置示例：

# vim /etc/nutcracker.yml

alpha:

listen: 0.0.0.0:22121

hash: fnv1a_64

distribution: ketama

auto_eject_hosts: true

redis: true

server_retry_timeout: 2000

server_failure_limit: 1

servers: --两台redis服务器的地址和端口

- 10.207.101.101:6001:1

- 10.207.101.102:6001:1

#配置都是redis master地址

注意：

1. .yml 配置文件中每个参数值对分隔符”:”后需要有一个空格
2. 不同层次的参数需要缩进区分，最好使用tab键缩进，否则nutcracker进程不能启动。
3. 在auto_eject_hosts: true的时候，关闭一个redis实例后，写入数据还是提示“(error) ERR Connection refused”。这个与server_retry_timeout参数设置太小有关，默认值30000msec是一个很好的选择。

5、启动Twemproxy服务

nutcracker -t nutcracker.yml

检测配置语法真确会显示OK .

# nutcracker -t twemproxy/conf/nutcracker.yml

nutcracker: configuration file 'conf/nutcracker.yml' syntax is ok

web界面运行启动服务的http://ip:22222查看；

可以使用nc命令查看 Twemproxy 状态语句：

# nc 10.207.101.101 22222|python -mjson.tool

6、设置启动：

# cat start.sh

nutcracker -d -c /opt/twemproxy-master/conf/nutcracker.yml -p /opt/twemproxy-master/run/redisproxy.pid -o /opt/twemproxy-master/run/redisproxy.log

nutcracker 用法与命令选项

Options:

-h, –help : 查看帮助文档，显示命令选项

-V, –version : 查看nutcracker版本

-t, –test-conf : 测试配置脚本的正确性

-d, –daemonize : 以守护进程运行

-D, –describe-stats : 打印状态描述

-v, –verbosity=N : 设置日志级别 (default: 5, min: 0, max: 11)

-o, –output=S : 设置日志输出路径，默认为标准错误输出 (default: stderr)

-c, –conf-file=S : 指定配置文件路径 (default: conf/nutcracker.yml)

-s, –stats-port=N : 设置状态监控端口，默认22222 (default: 22222)

-a, –stats-addr=S : 设置状态监控IP，默认0.0.0.0 (default: 0.0.0.0)

-i, –stats-interval=N : 设置状态聚合间隔 (default: 30000 msec)

-p, –pid-file=S : 指定进程pid文件路径，默认关闭 (default: off)

-m, –mbuf-size=N : 设置mbuf块大小，以bytes单位 (default: 16384 bytes)

# cat stop.sh

ps -ef | grep redis | grep -v grep | awk '{print $2}' | sed -e "s/^/kill -9 /g" | sh -

7、检测进程

ps -ef | grep nutcracker | grep -v grep

8、keepalived 部署 HA 静态路由单点故障；

yum install keepalived -y

# cat /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {

router_id LVS_DEVEL

}

vrrp_script check_twem {

# script "killall -0 redis"

script "/etc/keepalived/check_twem.sh"

interval 2

weight -3

fall 3

rise 2

}

vrrp_instance VI_1 {

state MASTER

interface eth0

virtual_router_id 51

priority 100

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

172.27.101.100/24 dev eth0 label eth0:1

}

track_script {

check_twem

}

virtual_server 172.27.101.100 22121 {

delay_loop 6

protocol TCP

real_server 172.27.101.101 22121 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

real_server 172.27.101.102 22121 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

9、nutcracker 进程检测 - 脚本check_twem.sh

# cat /etc/keepalived/check_twem.sh

#!/bin/bash

twem=$(ps -C nutcracker --no-heading|wc -l)

if [ "${twem}" = "0" ]; then

sh /opt/twemproxy-master/start.sh

sleep 2

twem=$(ps -C nutcracker --no-heading|wc -l)

if [ "${twem}" = "0" ]; then

/etc/init.d/keepalived stop

10、Set测试：

通过twemproxy测试：

# redis-cli -h 172.27.101.100 -p 22121 -c 11 -t set -d 11 -l –q

SET: 38167.94 requests per second

直接对后端redis测试：

# redis-cli -h 172.27.101.101 -p 6001 -c 11 -t set -d 11 -l –q

直接对后端redis测试：

# redis-cli -h 172.27.101.102 -p 6001 -c 11 -t set -d 11 -l –q

SET: 53191.49 requests per second

11、Get测试：

通过twemproxy测试：

# redis-cli -h 172.27.101.100 -p 22121 -c 11 -t get -d 11 -l -q

GET: 37453.18 requests per second

直接对后端redis测试：

# redis-cli -h 172.27.101.101 -p 22121 -c 11 -t get -d 11 -l -q

GET: 62111.80 requests per second

查看键值分布：

# redis-cli info|grep db0

db0:keys=51483,expires=0,avg_ttl=0

# redis-cli info|grep db0

db0:keys=48525,expires=0,avg_ttl=0

12、redis-cli 基本操作；

Redis 模糊搜索

keys *

select 2

删除所有以user开头的key 可以这样实现：

# redis-cli keys "user*"

1) "user1"

2) "user2"

# redis-cli keys "user*" | xargs redis-cli del

(integer) 2

# 删除成功

# 批量删除匹配通配符的key用到了Linux中的管道和xargs参数：

redis-cli keys "s*" | xargs redis-cli del

# 如果需要制定数据库，需要用到 -n 数据库编号参数，下面是删除2数据库中s开头的键：

redis-cli -n 2 keys "s*" | xargs redis-cli -n 2 del

redis-cli keys "*" | xargs redis-cli del

# 如果redis-cli没有设置成系统变量，需要指定redis-cli的完整路径

＃　如：/opt/redis/redis-cli keys "*" | xargs /opt/redis/redis-cli del

# 删除当前数据库中的所有Key

flushdb

# 删除所有数据库中的key

flushall

13、测试问题

read, writev and mbuf

所有的请求和响应都在mbuf里面，mbuf默认大小是16K（512b-16M）,可以使用-m or -mbuf-size=N来配置，每一个连接都会获得至少一个mbuf，这意味着nutcracker支持的并发的连接数依赖于mbuf的大小，小的mbuf可以控制更多的连接，大的mbuf可以让我们读或者写更多的数据导socker buffer。如果并发量很大的场景，推荐使用比较小的mbuf（512 or 1K）

mbuf-size=N

每一个客户端连接最好需要一个mbuf，一个服务请求最少是两个连接（client->proxy、proxy->server）所以最少需要两个mbufs 1000个客户端连接的场景计算：1000*2*mbuf=32M,如果每个连接有10个操作，这个值将会是320M,假设连接是10000，那么将会消耗3.2G内存！这种场景下最好调mbuf值比如512b，1000*2*512*10=10M 这个就是当并发量高的场景下使用小的mbuf的原因

key长度：

memcached的长度上限是250， redis没有类似限制，但是nutcracker需要key存储在连续的内存里面，而因为所有的请求和响应都在mbuf中，所以redis key的长度将会受限制于mbuf,也就是说如果你的redis实例如果要操作超长的key，你必须把mbuf调大。

14、简单删除

# 测试数据

redis> ZRANGE page_rank 0 -1 WITHSCORES

1) "bing.com"

2) "8"

3) "baidu.com"

4) "9"

5) "google.com"

6) "10"

# 移除单个元素

redis> ZREM page_rank google.com

(integer) 1

redis> ZRANGE page_rank 0 -1 WITHSCORES

1) "bing.com"

2) "8"

3) "baidu.com"

4) "9"

# 移除多个元素

redis> ZREM page_rank baidu.com bing.com

(integer) 2

redis> ZRANGE page_rank 0 -1 WITHSCORES

(empty list or set)

# 移除不存在元素

redis> ZREM page_rank non-exists-element

(integer) 0

14、命令参考

http://doc.redisfans.com/

当前名称：Twemproxy测试Redis分片主从架构
标题链接：http://chengdu.cdxwcx.cn/article/gssdjd.html

甜橘子，专注成都网站制作网站设计与营销型网站建设与优化

首页

网站建设

网站制作案例

解决方案

网站设计报价

网站制作动态

关于我们

联系我们

成都网站建设设计将想法与焦点和您一起共享

Twemproxy测试Redis分片主从架构

其他资讯

mysql的日志怎么建 mysql各种日志的作用

dynamics工厂 dynamic industry

java完整代码阅读完整的java代码

信息安全解决方案系列产品信息安全解决方案系列产品有哪些

dynamics安卓 dynamix安卓

甜橘子，专注成都网站制作网站设计与营销型网站建设与优化

成都网站建设设计 将想法与焦点和您一起共享

Twemproxy测试Redis分片主从架构

其他资讯

mysql的日志怎么建 mysql各种日志的作用

dynamics工厂 dynamic industry

java完整代码阅读 完整的java代码

信息安全解决方案系列产品 信息安全解决方案系列产品有哪些

dynamics安卓 dynamix安卓

成都网站建设设计将想法与焦点和您一起共享

java完整代码阅读完整的java代码

信息安全解决方案系列产品信息安全解决方案系列产品有哪些