分类目录归档:LINUX

关于linux使用的知识

openwrt 加载usb过程

opkg update

opkg install kmod-usb-core

opkg install kmod-usb-ohci #安装usb ohci控制器驱动
#opkg install kmod-usb-uhci  #UHCI USB控制器
opkg install kmod-usb2 #安装usb2.0
opkg install kmod-usb-storage #安装usb存储设备驱动
opkg install kmod-fs-ext3 #安装ext3分区格式支持组件
opkg install mount-utils #挂载卸载工具
opkg install ntfs-3g #挂载NTFS
opkg install kmod-fs-vfat #挂载FAT
opkg install block-mount
opkg install fdisk

opkg install usbutils #安装了这个后可以用 lsusb

挂载Swap分区
###在/mnt/sda1/下创建一个64M的交换文件
dd if=/dev/zero of=/mnt/sda1/swapfile bs=1024 count=62142
###将这个交换文件用作Swap分区
mkswap /mnt/sda1/swapfile
###启用活动分区
swapon /mnt/sda1/swapfile

###停止
swapoff /mnt/sda1/swapfile

 

openwrt 格盘

opkg update

opkg install e2fsprogs    #安装格盘软件

mkfs.ext4 /dev/sda1       #格etx4

mkfs.ext3 /dev/sda1       #格etx3

mkfs.ext2 /dev/sda1       #格etx2

 

 

挂载windows共享文件 cifs 

opkg install kmod-nls-utf8
opkg install kmod-fs-cifs

mkdir /mnt/share
mount -t cifs //192.168.1.2/tool /mnt/share -o username=administrator,password=123456,,nounix,noserverino,iocharset=utf8

 

Redis常用数据类型介绍、使用场景及其操作命令

Redis目前支持5种数据类型,分别是:

  1. String(字符串)
  2. List(列表)
  3. Hash(字典)
  4. Set(集合)
  5. Sorted Set(有序集合)

下面就分别介绍这五种数据类型及其相应的操作命令。

1. String(字符串)

String是简单的 key-value 键值对,value 不仅可以是 String,也可以是数字。String在redis内部存储默认就是一个字符串,被redisObject所引用,当遇到incr,decr等操作时会转成数值型进行计算,此时redisObject的encoding字段为int。

String在redis内部存储默认就是一个字符串,被redisObject所引用,当遇到incr,decr等操作时会转成数值型进行计算,此时redisObject的encoding字段为int。

应用场景

String是最常用的一种数据类型,普通的key/value存储都可以归为此类,这里就不所做解释了。

相关命令

SET key value                   设置key=value
GET key                         或者键key对应的值
GETRANGE key start end          得到字符串的子字符串存放在一个键
GETSET key value                设置键的字符串值,并返回旧值
GETBIT key offset               返回存储在键位值的字符串值的偏移
MGET key1 [key2..]              得到所有的给定键的值
SETBIT key offset value         设置或清除该位在存储在键的字符串值偏移
SETEX key seconds value         键到期时设置值
SETNX key value                 设置键的值,只有当该键不存在
SETRANGE key offset value       覆盖字符串的一部分从指定键的偏移
STRLEN key                      得到存储在键的值的长度
MSET key value [key value...]   设置多个键和多个值
MSETNX key value [key value...] 设置多个键多个值,只有在当没有按键的存在时
PSETEX key milliseconds value   设置键的毫秒值和到期时间
INCR key                        增加键的整数值一次
INCRBY key increment            由给定的数量递增键的整数值
INCRBYFLOAT key increment       由给定的数量递增键的浮点值
DECR key                        递减键一次的整数值
DECRBY key decrement            由给定数目递减键的整数值
APPEND key value                追加值到一个键

其中用于操作管理键的命令有:

DEL key                         如果存在删除键
DUMP key                        返回存储在指定键的值的序列化版本
EXISTS key                      此命令检查该键是否存在
EXPIRE key seconds              指定键的过期时间
EXPIREAT key timestamp          指定的键过期时间。在这里,时间是在Unix时间戳格式
PEXPIRE key milliseconds        设置键以毫秒为单位到期
PEXPIREAT key milliseconds-timestamp        设置键在Unix时间戳指定为毫秒到期
KEYS pattern                    查找与指定模式匹配的所有键
MOVE key db                     移动键到另一个数据库
PERSIST key                     移除过期的键
PTTL key                        以毫秒为单位获取剩余时间的到期键。
TTL key                         获取键到期的剩余时间。
RANDOMKEY                       从Redis返回随机键
RENAME key newkey               更改键的名称
RENAMENX key newkey             重命名键,如果新的键不存在
TYPE key                        返回存储在键的数据类型的值。

使用示例

redis 127.0.0.1:6379> set baidu http://www.baidu
OK
redis 127.0.0.1:6379> append baidu .com
(integer) 20
redis 127.0.0.1:6379> get baidu
"http://www.baidu.com"
redis 127.0.0.1:6379> set visitors 0
OK
redis 127.0.0.1:6379> incr visitors
(integer) 1
redis 127.0.0.1:6379> incr visitors
(integer) 2
redis 127.0.0.1:6379> get visitors
"2"
redis 127.0.0.1:6379> incrby visitors 100
(integer) 102
redis 127.0.0.1:6379> get visitors
"102"
redis 127.0.0.1:6379> type baidu
string
redis 127.0.0.1:6379> type visitors
string
redis 127.0.0.1:6379> ttl baidu
(integer) -1
redis 127.0.0.1:6379> rename baidu baidu-site
OK
redis 127.0.0.1:6379> get baidu
(nil)
redis 127.0.0.1:6379> get baidu-site
"http://www.baidu.com"

2. List(列表)

Redis列表是简单的字符串列表,可以类比到C++中的std::list,简单的说就是一个链表或者说是一个队列。可以从头部或尾部向Redis列表添加元素。列表的最大长度为2^32 – 1,也即每个列表支持超过40亿个元素。

Redis list的实现为一个双向链表,即可以支持反向查找和遍历,更方便操作,不过带来了部分额外的内存开销,Redis内部的很多实现,包括发送缓冲队列等也都是用的这个数据结构。

应用场景

Redis list的应用场景非常多,也是Redis最重要的数据结构之一,比如twitter的关注列表、粉丝列表等都可以用Redis的list结构来实现,再比如有的应用使用Redis的list类型实现一个简单的轻量级消息队列,生产者push,消费者pop/bpop。

相关命令

  • BLPOP
    BLPOP key1 [key2 ] timeout 取出并获取列表中的第一个元素,或阻塞,直到有可用
  • BRPOP
    BRPOP key1 [key2 ] timeout 取出并获取列表中的最后一个元素,或阻塞,直到有可用
  • BRPOPLPUSH
    BRPOPLPUSH source destination timeout 从列表中弹出一个值,它推到另一个列表并返回它;或阻塞,直到有可用
  • LINDEX
    LINDEX key index 从一个列表其索引获取对应的元素
  • LINSERT
    LINSERT key BEFORE|AFTER pivot value 在列表中的其他元素之后或之前插入一个元素
  • LLEN
    LLEN key 获取列表的长度
  • LPOP
    LPOP key 获取并取出列表中的第一个元素
  • LPUSH
    LPUSH key value1 [value2] 在前面加上一个或多个值的列表
  • LPUSHX
    LPUSHX key value 在前面加上一个值列表,仅当列表中存在
  • LRANGE
    LRANGE key start stop 从一个列表获取各种元素
  • LREM
    LREM key count value 从列表中删除元素
  • LSET
    LSET key index value 在列表中的索引设置一个元素的值
  • LTRIM
    LTRIM key start stop 修剪列表到指定的范围内
  • RPOP
    RPOP key 取出并获取列表中的最后一个元素
  • RPOPLPUSH
    RPOPLPUSH source destination 删除最后一个元素的列表,将其附加到另一个列表并返回它
  • RPUSH
    RPUSH key value1 [value2] 添加一个或多个值到列表
  • RPUSHX
    RPUSHX key value 添加一个值列表,仅当列表中存在

使用示例

redis 127.0.0.1:6379> lpush list1 redis
(integer) 1
redis 127.0.0.1:6379> lpush list1 hello
(integer) 2
redis 127.0.0.1:6379> rpush list1 world
(integer) 3
redis 127.0.0.1:6379> llen list1
(integer) 3
redis 127.0.0.1:6379> lrange list1 0 3
1) "hello"
2) "redis"
3) "world"
redis 127.0.0.1:6379> lpop list1
"hello"
redis 127.0.0.1:6379> rpop list1
"world"
redis 127.0.0.1:6379> lrange list1 0 3
1) "redis"

3. Hash(字典,哈希表)

类似C#中的dict类型或者C++中的hash_map类型。

Redis Hash对应Value内部实际就是一个HashMap,实际这里会有2种不同实现,这个Hash的成员比较少时Redis为了节省内存会采用类似一维数组的方式来紧凑存储,而不会采用真正的HashMap结构,对应的value redisObject的encoding为zipmap,当成员数量增大时会自动转成真正的HashMap,此时encoding为ht。

应用场景

假设有多个用户及对应的用户信息,可以用来存储以用户ID为key,将用户信息序列化为比如json格式做为value进行保存。

相关命令

  • HDEL
    HDEL key field[field…] 删除对象的一个或几个属性域,不存在的属性将被忽略
  • HEXISTS
    HEXISTS key field 查看对象是否存在该属性域
  • HGET
    HGET key field 获取对象中该field属性域的值
  • HGETALL
    HGETALL key 获取对象的所有属性域和值
  • HINCRBY
    HINCRBY key field value 将该对象中指定域的值增加给定的value,原子自增操作,只能是integer的属性值可以使用
  • HINCRBYFLOAT
    HINCRBYFLOAT key field increment 将该对象中指定域的值增加给定的浮点数
  • HKEYS
    HKEYS key 获取对象的所有属性字段
  • HVALS
    HVALS key 获取对象的所有属性值
  • HLEN
    HLEN key 获取对象的所有属性字段的总数
  • HMGET
    HMGET key field[field…] 获取对象的一个或多个指定字段的值
  • HSET
    HSET key field value 设置对象指定字段的值
  • HMSET
    HMSET key field value [field value …] 同时设置对象中一个或多个字段的值
  • HSETNX
    HSETNX key field value 只在对象不存在指定的字段时才设置字段的值
  • HSTRLEN
    HSTRLEN key field 返回对象指定field的value的字符串长度,如果该对象或者field不存在,返回0.
  • HSCAN
    HSCAN key cursor [MATCH pattern] [COUNT count] 类似SCAN命令

使用示例

127.0.0.1:6379> hset person name jack
(integer) 1
127.0.0.1:6379> hset person age 20
(integer) 1
127.0.0.1:6379> hset person sex famale
(integer) 1
127.0.0.1:6379> hgetall person
1) "name"
2) "jack"
3) "age"
4) "20"
5) "sex"
6) "famale"
127.0.0.1:6379> hkeys person
1) "name"
2) "age"
3) "sex"
127.0.0.1:6379> hvals person
1) "jack"
2) "20"
3) "famale"

4. Set(集合)

可以理解为一堆值不重复的列表,类似数学领域中的集合概念,且Redis也提供了针对集合的求交集、并集、差集等操作。

set 的内部实现是一个 value永远为null的HashMap,实际就是通过计算hash的方式来快速排重的,这也是set能提供判断一个成员是否在集合内的原因。

应用场景

Redis set对外提供的功能与list类似是一个列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个很好的选择,并且set提供了判断某个成员是否在一个set集合内的重要接口,这个也是list所不能提供的。

又或者在微博应用中,每个用户关注的人存在一个集合中,就很容易实现求两个人的共同好友功能。

相关命令

  • SADD
    SADD key member [member …] 添加一个或者多个元素到集合(set)里
  • SACRD
    SCARD key 获取集合里面的元素数量
  • SDIFF
    SDIFF key [key …] 获得队列不存在的元素
  • SDIFFSTORE
    SDIFFSTORE destination key [key …] 获得队列不存在的元素,并存储在一个关键的结果集
  • SINTER
    SINTER key [key …] 获得两个集合的交集
  • SINTERSTORE
    SINTERSTORE destination key [key …] 获得两个集合的交集,并存储在一个集合中
  • SISMEMBER
    SISMEMBER key member 确定一个给定的值是一个集合的成员
  • SMEMBERS
    SMEMBERS key 获取集合里面的所有key
  • SMOVE
    SMOVE source destination member 移动集合里面的一个key到另一个集合
  • SPOP
    SPOP key [count] 获取并删除一个集合里面的元素
  • SRANDMEMBER
    SRANDMEMBER key [count] 从集合里面随机获取一个元素
  • SREM
    SREM key member [member …] 从集合里删除一个或多个元素,不存在的元素会被忽略
  • SUNION
    SUNION key [key …] 添加多个set元素
  • SUNIONSTORE
    SUNIONSTORE destination key [key …] 合并set元素,并将结果存入新的set里面
  • SSCAN
    SSCAN key cursor [MATCH pattern] [COUNT count] 迭代set里面的元素

使用示例

redis> SADD myset "Hello"
(integer) 1
redis> SADD myset "World"
(integer) 1
redis> SMEMBERS myset
1) "World"
2) "Hello"
redis> SADD myset "one"
(integer) 1
redis> SISMEMBER myset "one"
(integer) 1
redis> SISMEMBER myset "two"
(integer) 0

使用集合数据结构的典型用例是朋友名单的实现:

redis 127.0.0.1:6379> sadd friends:leto ghanima paul chani jessica
(integer) 4
redis 127.0.0.1:6379> sadd friends:duncan paul jessica alia
(integer) 3
redis 127.0.0.1:6379> sismember friends:leto jessica
(integer) 1   #不管一个用户有多少个朋友,我们都能高效地(O(1)时间复杂度)识别出用户X是不是用户Y的朋友
redis 127.0.0.1:6379> sismember friends:leto vladimir
(integer) 0
redis 127.0.0.1:6379> sinter friends:leto friends:duncan    #我们可以查看两个或更多的人是不是有共同的朋友
1) "paul"
2) "jessica"
redis 127.0.0.1:6379> sinterstore friends:leto_duncan friends:leto friends:duncan # 可以在一个新的关键字里存储结果
(integer) 2

5. Sorted Set(有序集合)

Redis有序集合类似Redis集合,不同的是增加了一个功能,即集合是有序的。一个有序集合的每个成员带有分数,用于进行排序。

Redis有序集合添加、删除和测试的时间复杂度均为O(1)(固定时间,无论里面包含的元素集合的数量)。列表的最大长度为2^32- 1元素(4294967295,超过40亿每个元素的集合)。

Redis sorted set的内部使用HashMap和跳跃表(SkipList)来保证数据的存储和有序,HashMap里放的是成员到score的映射,而跳跃表里存放的是所有的成员,排序依据是HashMap里存的score,使用跳跃表的结构可以获得比较高的查找效率,并且在实现上比较简单。

使用场景

Redis sorted set的使用场景与set类似,区别是set不是自动有序的,而sorted set可以通过用户额外提供一个优先级(score)的参数来为成员排序,并且是插入有序的,即自动排序。当你需要一个有序的并且不重复的集合列表,那么可以选择sorted set数据结构,比如twitter 的public timeline可以以发表时间作为score来存储,这样获取时就是自动按时间排好序的。

又比如用户的积分排行榜需求就可以通过有序集合实现。还有上面介绍的使用List实现轻量级的消息队列,其实也可以通过Sorted Set实现有优先级或按权重的队列。

相关命令

  • ZADD
    ZADD key score1 member1 [score2 member2] 添加一个或多个成员到有序集合,或者如果它已经存在更新其分数
  • ZCARD
    ZCARD key 得到的有序集合成员的数量
  • ZCOUNT
    ZCOUNT key min max 计算一个有序集合成员与给定值范围内的分数
  • ZINCRBY
    ZINCRBY key increment member 在有序集合增加成员的分数
  • ZINTERSTORE
    ZINTERSTORE destination numkeys key [key …] 多重交叉排序集合,并存储生成一个新的键有序集合。
  • ZLEXCOUNT
    ZLEXCOUNT key min max 计算一个给定的字典范围之间的有序集合成员的数量
  • ZRANGE
    ZRANGE key start stop [WITHSCORES] 由索引返回一个成员范围的有序集合(从低到高)
  • ZRANGEBYLEX
    ZRANGEBYLEX key min max [LIMIT offset count]返回一个成员范围的有序集合(由字典范围)
  • ZRANGEBYSCORE
    ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT] 返回有序集key中,所有 score 值介于 min 和 max 之间(包括等于 min 或 max )的成员,有序集成员按 score 值递增(从小到大)次序排列
  • ZRANK
    ZRANK key member 确定成员的索引中有序集合
  • ZREM
    ZREM key member [member …] 从有序集合中删除一个或多个成员,不存在的成员将被忽略
  • ZREMRANGEBYLEX
    ZREMRANGEBYLEX key min max 删除所有成员在给定的字典范围之间的有序集合
  • ZREMRANGEBYRANK
    ZREMRANGEBYRANK key start stop 在给定的索引之内删除所有成员的有序集合
  • ZREMRANGEBYSCORE
    ZREMRANGEBYSCORE key min max 在给定的分数之内删除所有成员的有序集合
  • ZREVRANGE
    ZREVRANGE key start stop [WITHSCORES] 返回一个成员范围的有序集合,通过索引,以分数排序,从高分到低分
  • ZREVRANGEBYSCORE
    ZREVRANGEBYSCORE key max min [WITHSCORES] 返回一个成员范围的有序集合,以socre排序从高到低
  • ZREVRANK
    ZREVRANK key member 确定一个有序集合成员的索引,以分数排序,从高分到低分
  • ZSCORE
    ZSCORE key member 获取给定成员相关联的分数在一个有序集合
  • ZUNIONSTORE
    ZUNIONSTORE destination numkeys key [key …] 添加多个集排序,所得排序集合存储在一个新的键
  • ZSCAN
    ZSCAN key cursor [MATCH pattern] [COUNT count] 增量迭代排序元素集和相关的分数

使用示例

redis 127.0.0.1:6379> zadd dbs 100 redis
(integer) 1
redis 127.0.0.1:6379> zadd dbs 98 memcached
(integer) 1
redis 127.0.0.1:6379> zadd dbs 99 mongodb
(integer) 1
redis 127.0.0.1:6379> zadd dbs 99 leveldb
(integer) 1
redis 127.0.0.1:6379> zcard dbs
(integer) 4
redis 127.0.0.1:6379> zcount dbs 10 99
(integer) 3
redis 127.0.0.1:6379> zrank dbs leveldb
(integer) 1
redis 127.0.0.1:6379> zrank dbs other
(nil)
redis 127.0.0.1:6379> zrangebyscore dbs 98 100
1) "memcached"
2) "leveldb"
3) "mongodb"
4) "redis"

Reference

CentOS6下 安装Redis

一 安装

1) 下载redis安装包
官网http://redis.io

我下载的是redis-4.0.1

解压之

make  完全后会让你动行make test 这时会用到tcl包,如果没有tcl运行make test

会报如下错误:

[root@localhost redis-4.0.1]# make test
cd src && make test
make[1]: Entering directory `/root/redis/redis-4.0.1/src’
CC Makefile.dep
make[1]: Leaving directory `/root/redis/redis-4.0.1/src’
make[1]: Entering directory `/root/redis/redis-4.0.1/src’
You need tcl 8.5 or newer in order to run the Redis test
make[1]: *** [test] 错误 1
make[1]: Leaving directory `/root/redis/redis-4.0.1/src’
make: *** [test] 错误 2

那就要安装TCL

wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz
tar xzvf tcl8.6.1-src.tar.gz
cd tcl8.6.1/unix/
sudo ./configure
sudo make
sudo make install

就完成了,再运行进入redis目录,运行make test,如果没有问题最后会是

54 seconds – unit/aofrw
83 seconds – integration/replication
91 seconds – unit/type/list-3
101 seconds – integration/replication-psync

\o/ All tests passed without errors!

Cleanup: may take some time… OK
make[1]: Leaving directory `/root/redis/redis-4.0.1/src’

然后安装redis命令 make install

redis-server –v (查看版本命令)

[root@localhost redis-4.0.1]# redis-server -v
Redis server v=4.0.1 sha=00000000:0 malloc=jemalloc-4.0.3 bits=64 build=61447d85dd649aab

到此安装就完成了。

1 下面是配置了 创建配置文件目录,dump file 目录,进程pid目录,log目录等

配置文件一般放在/etc/下,创建redis目录

mkdir -p /var/redis/data /var/redis/log /var/redis/run

2 修改配置文件,配置参数

首先拷贝解压包下的redis.conf文件至/etc/redis

mkdir -p /etc/redis;cp redis.conf /etc/redis/

3 打开配置文件

vi /etc/redis/redis.conf

几个重要的地方:

修改端口(默认6379)

port 6379

修改pid目录

pidfile /var/redis/run/redis_6379.pid

修改dump目录

dir /var/redis/data

修改log存储目录

logfile /var/redis/log/redis.log

后台运行

daemonize yes

持久化

默认rdb,可选择是否开启aof,若开启,修改配置文件appendonly

保存退出

:wq

然后可以启动redis看看

redis-server /etc/redis/redis.conf

[root@localhost redis-4.0.1]# netstat -ntpl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 31264/redis-server

[root@localhost redis-4.0.1]# redis-cli
127.0.0.1:6379> help
redis-cli 4.0.1
To get help about Redis commands type:
“help @<group>” to get a list of commands in <group>
“help <command>” for help on <command>
“help <tab>” to get a list of possible help topics
“quit” to exit

To set redis-cli preferences:
“:set hints” enable online hints
“:set nohints” disable online hints
Set your preferences in ~/.redisclirc
127.0.0.1:6379> quit

接下来要配置一下启动脚本

cp utils/redis_init_script /etc/init.d/redisd

 

REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/redis/run/redis_${REDISPORT}.pid
CONF=”/etc/redis/redis.conf”

[root@localhost redis-4.0.1]# chmod 755 /etc/init.d/redisd

然后把/etc/init.d/redisd start加入到/etc/rc.local里,开机自启动

一切就都OK了

利用 ipset 封禁大量 IP

利用 ipset 封禁大量 IP

使用 iptables 封 IP,是一种比较简单的应对网络攻击的方式,也算是比较常见。有时候可能会封禁成千上万个 IP,如果添加成千上万条规则,在一台注重性能的服务器或者本身性能就很差的设备上,这就是个问题了。ipset 就是为了避免这个问题而生的。

关于 iptables,要知道这两点。

  • iptables 包含几个表,每个表由链组成。默认的是 filter 表,最常用的也是 filter 表,另一个比较常用的是 nat 表。一般封 IP 就是在 filter 表的 INPUT 链添加规则。
  • 在进行规则匹配时,是从规则列表中从头到尾一条一条进行匹配。

这像是在链表中搜索指定节点费力。ipset 提供了把这个 O(n) 的操作变成 O(1) 的方法:就是把要处理的 IP 放进一个集合,对这个集合设置一条 iptables 规则。像 iptable 一样,IP sets 是 Linux 内核中的东西,ipset 这个命令是对它进行操作的一个工具。

简单的流程

可以用这几条命令概括使用 ipset 和 iptables 进行 IP 封禁的流程

ipset create vader hash:ip  
iptables -I INPUT -m set --match-set vader src -j DROP  
ipset add vader 4.5.6.7  
ipset add vader 1.2.3.4  
ipset add vader ...  
ipset list vader # 查看 vader 集合的内容  

下面分别对各条命令进行描述。

创建一个集合

ipset create vader hash:ip  

这条命令创建了名为 vader 的集合,以 hash 方式存储,存储内容是 IP 地址。

添加 iptables 规则

iptables -I INPUT -m set --match-set vader src -j DROP  

如果源地址(src)属于 vader 这个集合,就进行 DROP 操作。这条命令中,vader 是作为黑名单的,如果要把某个集合作为白名单,添加一个 ‘!’ 符号就可以。

iptables -I INPUT -m set ! --match-set yoda src -j DROP  

到现在虽然创建了集合,添加了过滤规则,但是现在集合还是空的,需要往集合里加内容。

找出“坏” IP

找出要封禁的 IP,这是封禁过程中重要的步骤,不过不是这里的重点。简要说明一下两种方法思路。

netstat -ntu | tail -n +3 | awk '{print $5}' | sort | uniq -c | sort -nr  

直接通过 netstat 的信息,把与本地相关的各种状态的 IP 都计数,排序列出来。

或者从 nginx 或者其他 web server 的日志里找请求数太多的 IP

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr  

后半部分,排序,去重,再按次数进行逆向排序的操作,跟上面命令是一样的。

找出“坏” IP,往之前创建的集合里添加就可以了。

ipset add vader 4.5.6.7  

有多少“坏” IP,就添加多少 IP,因为针对这些封禁的 IP 只需要一条 iptables 规则,而这些 IP 是以 hash 方式存储,所以封禁大量的 IP 也不会影响性能,这也是 ipset 存在的最大目的。

 

ipset 更多的用法

存储类型

前面例子中的 vader 这个集合是以 hash 方式存储 IP 地址,也就是以 IP 地址为 hash 的键。除了 IP 地址,还可以是网络段,端口号(支持指定 TCP/UDP 协议),mac 地址,网络接口名称,或者上述各种类型的组合。

比如指定 hash:ip,port就是 IP 地址和端口号共同作为 hash 的键。查看 ipset 的帮助文档可以看到它支持的所有类型。

下面以两个例子说明。

hash:net

ipset create r2d2 hash:net  
ipset add r2d2 1.2.3.0/24  
ipset add r2d2 1.2.3.0/30 nomatch  
ipset add r2d2 6.7.8.9  
ipset test r2d2 1.2.3.2  

hash:net 指定了可以往 r2d2 这个集合里添加 IP 段或 IP 地址。

第三条命令里的 nomatch 的作用简单来说是把 1.2.3.0/301.2.3.0/24 这一范围相对更大的段里“剥离”了出来,也就是说执行完 ipset add r2d2 1.2.3.0/24 只后1.2.3.0/24 这一段 IP 是属于 r2d2 集合的,执行了 ipset add r2d2 1.2.3.0/30 nomatch 之后,1.2.3.0/24 里 1.2.3.0/30 这部分,就不属于 r2d2 集合了。执行 ipset test r2d2 1.2.3.2 就会得到结果 1.2.3.2 is NOT in set r2d2.

hash:ip,port

ipset create c-3po hash:ip,port  
ipset add c-3po 3.4.5.6,80  
ipset add c-3po 5.6.7.8,udp:53  
ipset add c-3po 1.2.3.4,80-86  

第二条命令添加的是 IP 地址为 3.4.5.6,端口号是 80 的项。没有注明协议,默认就是 TCP,下面一条命令则是指明了是 UDP 的 53 端口。最后一条命令指明了一个 IP 地址和一个端口号范围,这也是合法的命令。

自动过期,解封

ipset 支持 timeout 参数,这就意味着,如果一个集合是作为黑名单使用,通过 timeout 参数,就可以到期自动从黑名单里删除内容。

ipset create obiwan hash:ip timeout 300  
ipset add obiwan 1.2.3.4  
ipset add obiwan 6.6.6.6 timeout 60  

上面第一条命令创建了名为 obiwan 的集合,后面多加了 timeout 参数,值为 300,往集合里添加条目的默认 timeout 时间就是 300。第三条命令在向集合添加 IP 时指定了一个不同于默认值的 timeout 值 60,那么这一条就会在 60 秒后自动删除。

隔几秒执行一次 ipset list obiwan 可以看到这个集合里条目的 timeout 一直在随着时间变化,标志着它们在多少秒之后会被删除。

如果要重新为某个条目指定 timeout 参数,要使用 -exit 这一选项。

ipset -exist add obiwan 1.2.3.4 timeout 100  

这样 1.2.3.4 这一条数据的 timeout 值就变成了 100,如果这里设置 300,那么它的 timeout,也就是存活时间又重新变成 300。

如果在创建集合是没有指定 timeout,那么之后添加条目也就不支持 timeout 参数,执行 add 会收到报错。想要默认条目不会过期(自动删除),又需要添加某些条目时加上 timeout 参数,可以在创建集合时指定 timeout 为 0。

ipset create luke hash:ip  
ipset add luke 5.5.5.5 timeout 100  
# 得到报错信息 kernel error received: Unknown error -1

更大!

hashsize, maxelem 这两个参数分别指定了创建集合时初始的 hash 大小,和最大存储的条目数量。

ipset create yoda hash:ip,port hashsize 4096 maxelem 1000000  
ipset add yoda 3.4.5.6,3306  

这样创建了名为 yoda 的集合,初始 hash 大小是 4096,如果满了,这个 hash 会自动扩容为之前的两倍。最大能存储的数量是 100000 个。

如果没有指定,hashsize 的默认值是 1024,maxelem 的默认值是 65536。

另外几条常用命令

ipset del yoda x.x.x.x    # 从 yoda 集合中删除内容  
ipset list yoda           # 查看 yoda 集合内容  
ipset list                # 查看所有集合的内容  
ipset flush yoda          # 清空 yoda 集合  
ipset flush               # 清空所有集合  
ipset destroy yoda        # 销毁 yoda 集合  
ipset destroy             # 销毁所有集合  
ipset save yoda           # 输出 yoda 集合内容到标准输出  
ipset save                # 输出所有集合内容到标准输出  
ipset restore             # 根据输入内容恢复集合内容  

还有……

  • 如果创建集合是指定的存储内容包含 ip, 例如 hash:iphash:ip,port ,在添加条目时,可以填 IP 段,但是仍然是以单独一个个 IP 的方式来存。
  • 上面所有的例子都是用 hash 的方式进行存储,实际上 ipset 还可以以 bitmap 或者 link 方式存储,用这两种方式创建的集合大小,是固定的。
  • 通过 man upsetipset —help 可以查到更多的内容,包括各种选项,支持的类型等等。

openwrt挂载u盘,并将系统转移到u盘中

1 安装系统必须的软件包:
opkg update
opkg install kmod-usb-storage block-mount kmod-fs-ext4

2 安装完成以后,挂载u盘.如下命令将默认的系统盘转移到u盘中.

mount /dev/sda1 /mnt
mkdir /tmp/root
mount -o bind / /tmp/root
cp /tmp/root/* /mnt -a
umount /tmp/root

3 修改 /etc/config/fstab 文件,让系统启动自动挂载,修改成如下

config mount
        option target   /overlay
        option device   /dev/sda1
        option fstype   ext3
        option options  rw,sync
        option enabled  1
        option enabled_fsck 0

4 执行如下命令让其生效

/etc/init.d/fstab enable

5 重启后,执行df -h后如果发现/overlay挂载在/tmp/overlay-disabled上的解决方案:
rm /tmp/overlay-disabled/etc/extroot.md5sum
或者删除/tmp/overlay-disabled目录下的所有系统文件,按照第2重新操作重启。

openwrt 源码修改默认IP

1、更改:/package/base-files/files/lib/functions/uci-default.sh

ucidef_set_interface_lan() {
        local ifname=$1
        uci batch <<EOF
set network.lan='interface'
set network.lan.ifname='$ifname'
set network.lan.type='bridge'
#更改lan口获取ip的方式为static
set network.lan.proto='static'
#更改lan口ip为10.1
set network.lan.ipaddr='192.168.10.1'
set network.lan.netmask='255.255.255.0'
set network.lan.ip6addr='fd04:bd3:80e8:1::1/64'
EOF
}

2、 15.05版本可能还需要更改:/package/base-files/files/bin/config_generate

    [ -n "$vlan" ] && ifname=${ifname}.${vlan}
    uci -q batch <<EOF
delete network.$1
set network.$1='interface'
set network.$1.ifname='$ifname'
set network.$1.force_link=1
set network.$1.proto='none'
set network.$1.macaddr='$macaddr'
EOF
    case $1 in
    lan) uci -q batch <<EOF
set network.$1.type='bridge'
set network.$1.proto='static'
set network.$1.ipaddr='192.168.10.1'
set network.$1.netmask='255.255.255.0'
set network.$1.ip6assign='60'
EOF

磁盘IO的重要概念

读/写IO
磁盘控制器向磁盘发出一次读/写指令,给出开始扇区的地址和向后连续读/写的扇区的个数。读/写IO是一次IO,操作的扇区编号必须是连续的,如过上层文件系统的IO请求是多个不连续的扇区,将会被磁盘控制器拆分成多个读/写IO来执行。(层次模型是理解一个系统最重要的思想,层次模型从底层到高层是一个化繁为简的过程,低层模块把复杂封装,向上层提供简易的使用接口;从高层到底层是一个逐层细分,逐层细化的过程。各层之间逻辑内聚,通过协议通讯降低耦合。文件系统层的一次IO会被磁盘存储层拆分成多次IO执行,不同层次之间的一次IO概念是不同的。)
大/小块IO
小块IO:指一次读/写IO操作的连续扇区数目较小;
大块IO: 指一次读/写IO操作的连续扇区数目较大;
大块和小块并没有明确区分。
连续随机IO
连续IO:指两次不同的读/写IO,前一次的结束地址与后一次的起始地址相差不大;
随机IO: 指两次不同的读/写IO,前一次的结束地址与后一次的起始地址相差很大;
顺序/并发IO
顺序IO:指磁盘控制器必须在一次IO指令完成后才能进行下一个IO指令,指令的执行是顺序的,同步的。对于单磁盘的存储系统,所用的IO都是顺序IO;
并发IO:并发IO是针对多磁盘的存储系统而言的, 指磁盘控制器在发出一次IO指令后,检查下一个IO指令,如果不是操作的磁盘不是正在进行的磁盘,就可以进行下一个IO指令,指令的执行是顺序的,异步的。
持续/间断IO
稳定/突发IO
实/虚IO
实IO:IO请求中包含对应实际数据的地址,读/写了扇区的数据;
虚IO:非实体数据的IO请求,只是请求一些状态信息,元数据等;
IO并发几率
书上的描述:单盘,IO并发几率为0,因为一块磁盘同时只可以进行一次IO。对于raid0,2块盘情况下,条带深度比较大的时候(条带太小不能并发IO,下面会讲到),并发2个IO的几率为1/2。其他情况请自行运算。
个人理解:磁盘的IO并发是指磁盘控制器处理IO请求时是否能并发的执行,而不需要等待上一个IO请求执行结束再执行下一个IO请求。单盘的存储系统肯定是不能并发处理IO的,多盘存储系统在IO请求只占用了部分磁盘的时候能并发的处理IO请求。至于并发几率是怎么算的还没搞明白。
IOPS
设t=磁盘控制器完成一次IO所需要的时间。则t=寻道时间+旋转延迟+数据传输时间;IOPS=IO并发系数/t. (IO并发系数暂时还没有找到解释,用the concurrent coefficient of IO去google也没找到…)
每秒IO吞吐量
每秒处理IO的大小,等于IOPS*平均IOSIZE。而IOSIZE的大小与磁头的读写速度有关。

MySQL数据库InnoDB和MyISAM数据引擎的差别

InnoDB和MyISAM是在使用MySQL最常用的两个表类型,各有优缺点,视具体应用而定。基本的差别为:MyISAM类型不支持事务处理等高级处理,而InnoDB类型支持。MyISAM类型的表强调的是性能,其执行数度比InnoDB类型更快,但是不提供事务支持,而InnoDB提供事务支持已经外部键等高级数据库功能。

MyIASM是IASM表的新版本,有如下扩展:
二进制层次的可移植性。
NULL列索引。
对变长行比ISAM表有更少的碎片。
支持大文件。
更好的索引压缩。
更好的键吗统计分布。
更好和更快的auto_increment处理。

以下是一些细节和具体实现的差别:

1.InnoDB不支持FULLTEXT类型的索引。
2.InnoDB 中不保存表的具体行数,也就是说,执行select count(*) from table时,InnoDB要扫描一遍整个表来计算有多少行,但是MyISAM只要简单的读出保存好的行数即可。注意的是,当count(*)语句包含 where条件时,两种表的操作是一样的。
3.对于AUTO_INCREMENT类型的字段,InnoDB中必须包含只有该字段的索引,但是在MyISAM表中,可以和其他字段一起建立联合索引。
4.DELETE FROM table时,InnoDB不会重新建立表,而是一行一行的删除。
5.LOAD TABLE FROM MASTER操作对InnoDB是不起作用的,解决方法是首先把InnoDB表改成MyISAM表,导入数据后再改成InnoDB表,但是对于使用的额外的InnoDB特性(例如外键)的表不适用。

另外,InnoDB表的行锁也不是绝对的,如果在执行一个SQL语句时MySQL不能确定要扫描的范围,InnoDB表同样会锁全表,例如update table set num=1 where name like “%aaa%”

任何一种表都不是万能的,只用恰当的针对业务类型来选择合适的表类型,才能最大的发挥MySQL的性能优势。

openwrt 12.09 把 4M的固件改成8M的方法

首先用git把openwrt的attitude_adjustment代码下载回来
git clone git://git.openwrt.org/12.09/openwrt.git
然后编辑文件 openwrt/target/linux/ar71xx/image/Makefile

比如我编译的是740n-v3
搜740n找到如下内存
$(eval $(call SingleProfile,TPLINK,$(fs_64kraw),TLWR740NV3,tl-wr740n-v3,TL-WR741ND,ttyS0,115200,0×07400003,1,4M))
改成
$(eval $(call SingleProfile,TPLINK,$(fs_64kraw),TLWR740NV3,tl-wr740n-v3,TL-WR741ND,ttyS0,115200,0×07400003,1,8M))
然后再编译,就行了
关于如何编译,和如何搭建环境,去openwrt.org里的wiki看吧,写的不错,语言有中文的