October 2014 – 月与灯依旧

国内一线IT公司运维工程师试题

最近面试了许多公司的运维工程师岗位，博主再一次深深感受到了Linux就业者的难处。Linux这个东西牵扯的方面太多了，而大部分公司只能用到其中的某一两个方面，假设你没有涉及过这一两个方面的话，那么就只能over了，所以Linux从业者的路其实比较窄。
去A公司面试，会问你云计算，虚拟化方面的问题，
去B公司面试，会问你RAID、IPMI方面的问题，
去C公司面试，会问你Shell、Python方面的问题，
去D公司面试，会问你kernel、编译方面的问题……
去E公司面试，会问你Hadoop、MapReduce方面的问题……

这一两个月来，面试过大大小小不下数十家IT公司了，其中不乏一些国内顶尖的互联网公司（如百度等），下面列举一些曾经把我难倒的问题。这些问题里，有的我已经知道答案，有的至今无解。想走Linux运维工程师的你，不妨也来试试吧。

需要说明的是，本篇博文的标题是“国内一线IT公司运维工程师试题”，因此下面列出的这些都是我认为有些深度的题目，而实际上在面试的过程中，有些不太知名的公司，题目会简单许多，例如写一些简单的Shell脚本，描述一下Linux的启动过程等，这些问题我都没有列出来。。

假设有某日志文件：
08:35:04 1 98.35.12.254 visited some thing.
10:20:09 6 199.198.25.4 visited some thing.
12:05:25 8 35.27.8.16 visited some thing.
……
16:30:55 3 128.99.33.64 visited some thing.
已知第一列是时间，第二列是随机的数字，第三列是客户端IP，第四列是一些文字。

1，请筛选出下午14:00以后，访问最频繁（访问次数最多）的三个客户端IP，可以写脚本实现；（百度，蓝汛） (more…)

Posted on 2014-10-23 by bear in Linux运维.Tags: Linux.3 Comments

Linux Shell判断字符串是否存在包含关系

在Pyhton里判断字符串是否存在包含关系非常简单，只要if a in b就行了，但如何在Shell中判断字符串的包含关系呢？

#! /bin/bash

var1="hello"
var2="he"

#方法1
if [ ${var1:0:2} = $var2 ]; then
    echo "1:include"
fi

#方法2
echo "$var1" | grep -q "$var2"
if [ $? -eq 0 ]; then
    echo "2:include"
fi

#方法3
echo "$var1" |grep -q "$var2" && echo "include" ||echo "not"

#方法4
[[ "${var1/$var2/}" != "$var2" ]] && echo "include" || echo "not"

其他方法：
expr或awk的index函数
${var#...}                  
${var%...}
${var/.../...}

Posted on 2014-10-16 by bear in Linux运维.Tags: Linux, shell.2 Comments

Linux dd命令中dsync与fdatasync的区别

在Linux系统中经常会使用dd命令来测试硬盘的写入速度，命令会涉及到两个参数：dsync与fdatasync，本文介绍一下其区别。

dd if=/dev/zero of=/tmp/1Gbytes bs=4k count=256000 oflag=dsync

dd if=/dev/zero of=/tmp/1Gbytes bs=4k count=256000 conv=fdatasync

相信上述两个在Linux系统上使用dd测试磁盘INPUT性能的命令各位都看过，甚至使用过。
两个都是往硬盘中写入1 Gbytes的数据，只是第一个的速度慢的要命。

使用dsync，dd会从/dev/zero中，每次读取4Kbytes数据，然后直接写入到硬盘当中，重复此步骤，直到共读取并且写入了1 Gbytes的数据。
使用fdatasync，dd会从/dev/zero中一次性读取1 Gbytes的数据，写入到磁盘的缓存中，然后再从磁盘缓存中读取，一次性写入到硬盘当中。

/dev/在内存当中，和缓存一样，读取速度都非常快，因此两种方式最终的读取速度对最终的写入速度无任何影响。
换种说法，就是此处不管有没有的硬盘缓存，对IO都不产生任何影响。

那也就是说，两种方式的主要差异就在于多步与一步。

为什么写入速度会有如此大的差异？
看完这个比喻，你就会明白了：
现在有两辆一模一样的车，最高行驶速度为20 M/s，加速度为5 M/s^2，分别为甲车，乙车，他们都要走直线的，1000 M的路程。
甲车每次只能走四米，达到四米就得刹车，乙车可以一次性走完一千米。
相信大家也清楚，甲车还没加速到最高速度，就得刹车，走完这一千米需要不少时间。
而乙车，可以一直加速到其所能达到的最大速率，走完这一千米，花的时间明显比甲少。 (more…)

Posted on 2014-10-10 by bear in Linux运维.Tags: Linux.0 Comments