Twemproxy安装与使用

Twemproxy安装与使用

安装

首先需要安装autoconf、automake、libtool工具,比如ubuntu可以使用如下命令安装

yum install autoconf automake  
yum install libtool  

1、下载Twemproxy并安装

cd /usr/servers  
wget https://github.com/twitter/twemproxy/archive/v0.4.0.tar.gz  
tar -xvf v0.4.0.tar.gz    
cd twemproxy-0.4.0/  
autoreconf -fvi  
./configure && make

此处根据要注意,如上安装方式在有些服务器上可能在大量如mset时可能导致Twemproxy崩溃,需要使用如 CFLAGS=”-O1″ ./configure && make或CFLAGS=”-O3 -fno-strict-aliasing” ./configure && make安装。

2、配置

vim /usr/servers/twemproxy-0.4.0/conf/nutcracker.yml

server1:  
  listen: 127.0.0.1:1111  
  hash: fnv1a_64  
  distribution: ketama  
  redis: true  
  servers:  
   - 127.0.0.1:6379:1 

3、启动Twemproxy代理

/usr/servers/twemproxy-0.4.0/src/nutcracker  -d -c /usr/servers/twemproxy-0.4.0/conf/nutcracker.yml

-d指定后台启动 -c指定配置文件;此处我们指定了代理端口为1111

4、查看是否启动成功

ps -aux | grep nutcracker

5、进入Redis客户端

/usr/servers/redis-2.8.19/src/redis-cli  -p 1111

6、执行如下命令

127.0.0.1:1111> set i 1  
OK  
127.0.0.1:1111> get i  
"1"

设置

  • 基本配置
    其使用YML语法,如:
server1:  
  listen: 127.0.0.1:1111  
  hash: fnv1a_64  
  distribution: ketama  
  timeout:1000  
  redis: true  
  servers:  
   - 127.0.0.1:6660:1  
   - 127.0.0.1:6661:1  

server1:是给当前分片配置起的名字,一个配置文件可以有多个分片配置;
listen : 监听的ip和端口;
hash:散列算法;
distribution:分片算法,比如一致性Hash/取模;
timeout:连接后端Redis或接收响应的超时时间;
redis:是否是redis代理,如果是false则是memcached代理;
servers:代理的服务器列表,该列表会使用distribution配置的分片算法进行分片;

  • 分片算法
  #hash算法:
    one_at_a_time
    md5
    crc16
    crc32 (crc32 implementation compatible with libmemcached)
    crc32a (correct crc32 implementation as per the spec)
    fnv1_64
    fnv1a_64
    fnv1_32
    fnv1a_32
    hsieh
    murmur
    jenkins
  #分片算法:
    ketama(一致性Hash算法)
    modula(取模)
    random(随机算法)
  • 服务器列表
   servers:
     - ip:port:weight alias
如
  servers:
   - 127.0.0.1:6660:1
   - 127.0.0.1:6661:1
或者
  servers:
   - 127.0.0.1:6660:1 server1

   - 127.0.0.1:6661:1 server2
  • HashTag

比如一个商品有:商品基本信息(p:id:)、商品介绍(d:id:)、颜色尺码(c:id:)等,假设我们存储时不采用HashTag将会导致这些数据不会存储到一个分片,而是分散到多个分片,这样获取时将需要从多个分片获取数据进行合并,无法进行mget;那么如果有了HashTag,那么可以使用“::”中间的数据做分片逻辑,这样id一样的将会分到一个分片。

nutcracker.yml配置如下:

server1:  
  listen: 127.0.0.1:1111  
  hash: fnv1a_64  
  distribution: ketama  
  redis: true  
  hash_tag: "::"  
  servers:  
   - 127.0.0.1:6660:1 server1  
   - 127.0.0.1:6661:1 server2  

连接Twemproxy:

/usr/servers/redis-2.8.19/src/redis-cli  -p 1111  

在我的服务器上可以连接6660端口

/usr/servers/redis-2.8.19/src/redis-cli  -p 6660  
127.0.0.1:6660> get p:12:   
"1"  
127.0.0.1:6660> get d:12:   
"1"  
127.0.0.1:6660> get c:12:   
"1"  

参考