不见去年人， 泪湿春衫袖。
在OpenWrt/LEDE系统中处理JSON的方法，这里记录一下。
假设有一个JSON文件
cat /etc/ss.json
{
"server": "8.8.8.8",
"server_port": 443,
"local_address": "0.0.0.0",
"local_port": 7070,
"password": "fuckgfang",
"method": "aes_128_ctr",
"timeout": "60",
"protocol": "auth_aes128_sha1",
"fast_open": false
}
处理方式1
$ jsonfilter -i /etc/ss.json -e "@.server"
8.8.8.8
$ CONF=/etc/ss.json
$ a=$(jsonfilter -i $CONF -e "@.server")
$ echo $a
8.8.8.8
Linux系统下查看进程启动时间和运行时间的命令
ps -o lstart -p PID #根据PID来查询
ps -o lstart,etime -p PID #根据PID来查询,打印出启动时间和已经运行的时间
ps -eO lstart | grep PROCESS #根据进程名字查询
提示:
1, 大写的O表示preloaded,小写的o表示user-defined,e表示all processes
2, 如果查出来的时间是1-16:15:58, 则表示该运程运行了1天16小时15分钟
3, etime表示elapsed time, 即程序已经运行的时间
以下几个例子
$ ps -o lstart,etime -p 13062 #根据PID打印出启动时间和持续时间
STARTED ELAPSED
Thu Sep 21 09:41:40 2017 1-01:50:35
$ ps -eo pid,lstart,cmd #打印出所有进程(-e)的PID,启动时间
3428 Mon Nov 6 20:55:20 2017 /sbin/udevd -d
3495 Mon Nov 6 20:55:22 2017 /sbin/rsyslogd -i /var/run/syslogd.pid -c 5
3508 Mon Nov 6 20:55:22 2017 /usr/sbin/nscd
3532 Mon Nov 6 20:55:29 2017 /usr/sbin/snmpd -LS 2 d -Lf /dev/null -p /var/run/snmpd.pid -a
3548 Mon Nov 6 20:55:29 2017 /usr/sbin/sshd
3557 Mon Nov 6 20:55:29 2017 ntpd -u ntp:ntp -p /var/run/ntpd.pid -g
3568 Mon Nov 6 20:55:29 2017 crond
#依次打印出某进程的pid,uid,user,启动时间,持续时间,占用CPU时间(cputime),以及cmd
$ ps -eo pid,euid,euser,lstart,etime,cputime,cmd | grep searcher_server
7259 7259 Fri Sep 22 11:36:21 2017 00:01 S pts/0 00:00:00 grep 13062
13062 13062 Thu Sep 21 09:41:40 2017 1-01:54:42 S ? 1-15:50:04 /export/App/jd_search/searcher/server/bin/searcher_server
假设我们有个应用建立在国外的某个服务器上（如8.8.8.8:443端口上），现在希望使用阿里云/京东云等作为跳板来转发一下这个端口
开启端口转发
vim /etc/sysctl.conf
将 net.ipv4.ip_forward=0
修改成 net.ipv4.ip_forward=1
编辑后使用命令让配置马上生效
sysctl -p
相同端口的转发（将阿里云的443端口转发到8.8.8.8的443端口）
iptables -t nat -A PREROUTING -p tcp --dport 443 -j DNAT --to-destination 8.8.8.8
iptables -t nat -A PREROUTING -p udp --dport 443 -j DNAT --to-destination 8.8.8.8
iptables -t nat -A POSTROUTING -p udp -d 8.8.8.8 --dport 443 -j SNAT --to-source 192.168.0.3
iptables -t nat -A POSTROUTING -p tcp -d 8.8.8.8 --dport 443 -j SNAT --to-source 192.168.0.3
请注意：一般来说，阿里云/京东云有个内网IP和公网IP，我们假设这里的192.168.0.3是阿里云/京东云的内网IP，这里不能写公网IP
不同端口的转发（将阿里云的5270端口转发到8.8.8.8的443端口）
iptables -t nat -A PREROUTING -p udp --dport 5270 -j DNAT --to-destination 8.8.8.8:443
iptables -t nat -A PREROUTING -p udp --dport 5270 -j DNAT --to-destination 8.8.8.8:443
iptables -t nat -A POSTROUTING -p udp -d 8.8.8.8 --dport 443 -j SNAT --to-source 192.168.0.3
iptables -t nat -A POSTROUTING -p tcp -d 8.8.8.8 --dport 443 -j SNAT --to-source 192.168.0.3
在《运维实例：批量统计分区占用情况，并形成Excel报表》这篇文章里，我们用到了一条awk命令
$ df -hT
Filesystem Type Size Used Avail Use% Mounted on
/dev/sda1 ext4 20G 4.9G 14G 27% /
tmpfs tmpfs 127G 0 127G 0% /dev/shm
/dev/sda3 ext4 515G 45G 445G 10% /export
/dev/sdb ext4 1.1T 476G 570G 46% /export/Data/jd_search
$ df -hT | grep /export | egrep -v '(bigtable)' | awk '{ print $5, $7 }'
445G /export
570G /export/Data/jd_search
$ df -hT | grep /export | egrep -v '(bigtable)' | awk 'END{ if(NR=1) print $5, $7; else if(NR=2 && $7=="/export/Data/jd_search") print $5, $7}'
570G /export/Data/jd_search
下面这条awk大意就是，如果有/export/Data/jd_search分区，则返回这个分区的剩余空间，否则就返回/export分区的剩余空间。
先说说这个END
在Unix awk中两个特别的表达式，BEGIN和END，这两者都可用于pattern中（参考前面的awk语法），提供BEGIN和END的作用是给程序赋予初始状态和在程序结束之后执行一些扫尾的工作。
任何在BEGIN之后列出的操作（在{}内）将在Unix awk开始扫描输入之前执行，而END之后列出的操作将在扫描完全部的输入之后执行。因此，通常使用BEGIN来显示变量和预置（初始化）变量，使用END来输出最终结果。
所以，下方命令可以用来统计文件的行数
$ awk 'END{print NR}' test1.sh
注意，这条命令里，如果没有END这个参数，则NR并不会输出行数。为什么，下面介绍一下NR。
Leave a CommentShell将换行符换成空格的办法，用sed和tr均可实现。
sed命令
cat country.txt | sed ‘:label;N;s/\n/ /;b label’
tr命令
cat country.txt | tr "\n" " "
把tab换成换行符
cat country.txt | sed ‘s/\t/\n/g’
awk ‘BEGIN { OFS = "\n" } { $1=$1; print }’ input.txt > output.txt
tr ‘\t’ ‘\n’ < input.txt > output.txt
参考文章：
Convert a tab-delimited file to use newlines
sed命令替换换行符
假设有一天，你有一个任务，要统计线上所有服务器的/export分区占用情况，比如下面这一台服务器：
$ df -hT
Filesystem Type Size Used Avail Use% Mounted on
/dev/sda1 ext4 20G 5.2G 13G 29% /
tmpfs tmpfs 127G 0 127G 0% /dev/shm
/dev/sda3 ext4 514G 279G 209G 58% /export
/dev/sdb1 ext4 1.1T 518G 526G 50% /export/Data/jd_search
像这样一台服务器，除了有个/export分区，还有个/export/Data/jd_search（只有一部分机器有这个分区），现在要统计这2个分区的占用情况，并且最终形成Excel报表，要怎么操作呢？
1，使用批量脚本获得所有机器的/export分区占用情况
#准备远程机器列表
$ vim ip_list
10.191.172.201
10.190.143.38
10.187.110.4
10.190.49.237
10.190.198.192
10.190.163.211
使用ansible将本机的(admin用户的)key推送到所有机器上(的admin用户)，实现从本机免密码登陆到所有机器
$ vim deploy_ssh_key.yml #准备push ssh-key
- hosts: all
remote_user: admin
gather_facts: no
tasks:
- name: install ssh key
authorized_key: user=admin
key="{{ lookup('file', '/home/admin/.ssh/id_rsa.pub') }}"
state=present
工作中遇到的一个小问题，记录一下。假设有一千台机器运行着nginx但每台机器上的nginx目录可能不太一样，比如
/export/servers/openresty-local/nginx/
/export/servers/openresty/nginx/
/export/servers/openresty-ngx-ump/nginx/
现在要替换掉nginx目录下的某个脚本，并且重启这个nginx服务。需要用到的工具有Ansbile和自己写的批量替换脚本batch_op.py。
#准备远程机器列表
$ vim ip_list
10.191.172.201
10.190.143.38
10.187.110.4
10.190.49.237
10.190.198.192
10.190.163.211
#准备替换脚本
$ vim /tmp/b.sh
#!/bin/bash
if [ $(id -u) != "0" ]; then
echo "Error: need root to run this script."
exit 1
fi
a=`ps -ef | grep openresty | grep -v grep | awk '{ print $11 }' | cut -d\/ -f1,2,3,4`
if [ ! $a ]; then
echo 'Error! Not found $a directory.'
elif [ -f $a/lualib/resty/nginx_diviner.lua ]; then
cp $a/lualib/resty/nginx_diviner.lua $a/lualib/resty/nginx_diviner.lua.bak.`date +%Y%m%d%H%M%S` && \
wget -q -O $a/lualib/resty/nginx_diviner.lua http://172.22.193.65:8003/nginx_diviner.lua && \
chown admin:admin $a/lualib/resty/nginx_diviner.lua* && \
$a/nginx/sbin/nginx -s reload && \
echo "Found and replaced $a/lualib/resty/nginx_diviner.lua"
else
echo "Not Found $a/lualib/resty/nginx_diviner.lua"
exit 1
fi
if [ "$a" != "/export/servers/openresty" ] && [ -f /export/servers/openresty/lualib/resty/nginx_diviner.lua ]; then
cp /export/servers/openresty/lualib/resty/nginx_diviner.lua /export/servers/openresty/lualib/resty/nginx_diviner.lua.bak.`date +%Y%m%d%H%M%S` && \
wget -q -O /export/servers/openresty/lualib/resty/nginx_diviner.lua http://172.22.193.65:8003/nginx_diviner.lua && \
chown admin:admin /export/servers/openresty/lualib/resty/nginx_diviner.lua && \
echo "Extra Operation! also found and replaced /export/servers/openresty/lualib/resty/nginx_diviner.lua"
fi