Press "Enter" to skip to content

磁盘性能测试工具IOzone入门介绍

IOzone是一个文件系统测试基准工具。和IOmeter一样,IOzone可以测试不同的操作系统中文件系统的读写性能。下面是简单介绍。

测试的定义

Write: 测试向一个新文件写入的性能。当一个新文件被写入时,不仅仅是那些文件中的数据需要被存储,还包括那些用于定位数据存储在存储介质的具体位置的额外信息。这些额外信息被称作“元数据”。它包括目录信息,所分配的空间和一些与该文件有关但又并非该文件所含数据的其他数据。拜这些额外信息所赐,Write的性能通常会比Re-write的性能低。

Re-write:测试向一个已存在的文件写入的性能。当一个已存在的文件被写入时,所需工作量较少,因为此时元数据已经存在。Re-write的性能通常比Write的性能高。

Read: 测试读一个已存在的文件的性能。

Re-Read: 测试读一个最近读过的文件的性能。Re-Read性能会高些,因为操作系统通常会缓存最近读过的文件数据。这个缓存可以被用于读以提高性能。

Random Read: 测试读一个文件中的随机偏移量的性能。许多因素可能影响这种情况下的系统性能,例如:操作系统缓存的大小,磁盘数量,寻道延迟和其他。

Random Write: 测试写一个文件中的随机偏移量的性能。同样,许多因素可能影响这种情况下的系统性能,例如:操作系统缓存的大小,磁盘数量,寻道延迟和其他。

Random Mix: 测试读写一个文件中的随机偏移量的性能。同样,许多因素可能影响这种情况下的系统性能,例如:操作系统缓存的大小,磁盘数量,寻道延迟和其他。这个测试只有在吞吐量测试模式下才能进行。每个线程/进程运行读或写测试。这种分布式读/写测试是基于round robin 模式的。最好使用多于一个线程/进程执行此测试。

Backwards Read: 测试使用倒序读一个文件的性能。这种读文件方法可能看起来很可笑,事实上,有些应用确实这么干。MSC Nastran是一个使用倒序读文件的应用程序的一个例子。它所读的文件都十分大(大小从G级别到T级别)。尽管许多操作系统使用一些特殊实现来优化顺序读文件的速度,很少有操作系统注意到并增强倒序读文件的性能。

Record Rewrite: 测试写与覆盖写一个文件中的特定块的性能。这个块可能会发生一些很有趣的事。如果这个块足够小(比CPU数据缓存小),测出来的性能将会非常高。如果比CPU数据缓存大而比TLB小,测出来的是另一个阶段的性能。如果比此二者都大,但比操作系统缓存小,得到的性能又是一个阶段。若大到超过操作系统缓存,又是另一番结果。

Strided Read: 测试跳跃读一个文件的性能。举例如下:在0偏移量处读4Kbytes,然后间隔200Kbytes,读4Kbytes,再间隔200Kbytes,如此反复。此时的模式是读4Kbytes,间隔200Kbytes并重复这个模式。这又是一个典型的应用行为,文件中使用了数据结构并且访问这个数据结构的特定区域的应用程序常常这样做。
许多操作系统并没注意到这种行为或者针对这种类型的访问做一些优化。同样,这种访问行为也可能导致一些有趣的性能异常。一个例子是在一个数据片化的文件系统里,应用程序的跳跃导致某一个特定的磁盘成为性能瓶颈。

Fwrite: 测试调用库函数fwrite()来写文件的性能。这是一个执行缓存与阻塞写操作的库例程。缓存在用户空间之内。如果一个应用程序想要写很小的传输块,fwrite()函数中的缓存与阻塞I/O功能能通过减少实际操作系统调用并在操作系统调用时增加传输块的大小来增强应用程序的性能。

Fread: 测试调用库函数fread()来读文件的性能。这是一个执行缓存与阻塞读操作的库例程。缓存在用户空间之内。如果一个应用程序想要读很小的传输块,fwrite()函数中的缓存与阻塞I/O功能能通过减少实际操作系统调用并在操作系统调用时增加传输块的大小来增强应用程序的性能。

Freread: 这个测试与上面的fread 类似,除了在这个测试中被读文件是最近才刚被读过。这将导致更高的性能,因为操作系统缓存了文件数据。

Mmap:
许多操作系统支持mmap()的使用来映射一个文件到用户地址空间。映射之后,对内存的读写将同步到文件中去。这对一些希望将文件当作内存块来使用的应用程序来说很方便。一个例子是内存中的一块将同时作为一个文件保存在于文件系统中。

mmap文件的语义和普通文件略有不同。如果发生了对内存的存储,并不是立即发生相应的文件I/O操作。使用MS_SYNC和MS_ASYNC标志位的 msyc()函数调用将控制内存和文件的一致性。调用msync() 时将MS_SYNC置位将强制把内存里的内容写到文件中去并等待直到此操作完成才返回。而MS_ASYNC 置位则告诉操作系统使用异步机制将内存刷新到磁盘,这样应用程序可以直接返回而不用等待此操作的完成。

Async I/O: 许多操作系统支持的另外一种I/O机制是POSIX 标准的异步I/O。本程序使用POSIX标准异步I/O接口来完成此测试功能。例如:aio_write(), aio_read(), aio_error()。这个测试测量POSIX异步I/O机制的性能。

测试模式

IOzone的测试过程中可以使用-i参数指定多个测试模式,例如-i 0 -i 1 -i 2。

0=write/rewrite
1=read/re-read
2=random read/random write
3=backwards read
4=re-write-record
5=stride-read
6=fwirte/re-fwrite
7=fread/re-fread
8=random mix
9=pwrite/re-pwrite
10=pread/re-pread
11=pwritev/re-pwritev
12=preadv/re-preadv

一些常见参数

-a 自动模式(花费很长时间,注意),测试记录块大小从4k到16M,测试文件从64k到512M.文件大于32MB时停止使用低于64k以下记录块以节省时间
-y 设置自动模式下的记录块最小值,-q设置自动模式下的记录块最大值
-n 设置自动模式下的文件最小值,-g设置自动模式下的文件最大值

-B 使用mmap()接口来创建并访问测试文件.即以读写内存的方式访问那个块来完成文件I/O

-i 指定运行于哪种测试模式.可以使用-i 0 -i 1 -i 2进行多个测试
-I 对所有文件操作使用DIRECT I/O.通知文件系统所有操作跳过缓存直接在磁盘上操作
-R 将结果导出到Excel文件
-b 指定导出结果的Excel文件名

-f 指定测试的文件名
-F 进程throughput模式(多线程)测试时的文件名,请注意,有多少个线程,后面就应该跟多个个文件名
-c 计算时间时包含close()参数,<strong>对于NFS3分区将非常有用</strong>
-G 对mmap文件使用msync(MS_SYNC)。告诉操作系统在mmap空间的所有数据需要被<strong>同步</strong>的写到磁盘上
-D 对mmap文件使用MSYNC(MS_ASYNC)。告诉操作系统在mmap空间的所有数据需要被<strong>异步</strong>的写到磁盘上

-o 写操作都同步写入到磁盘中,即强制写入完成以后再返回benchmark
-r 设置记录块大小
-s 设置测试文件大小(<strong>建议是内存的2倍</strong>)
-I 对所有文件操作使用DIRECT I/O,通知文件系统所有操作跳过缓存直接在磁盘上操作

-t 使用throughput模式(多线程),并指定线程或进程数
-l 设置最小进程数.在测试过程允许用户设置的最小进程或线程数.需要配合-u选项使用
-u 设置最大进程或线程数,需要配合-l参数使用

一些测试用例
自动模式测试12g文件的读写速度

iozone -a -i 0 -i 1 -g 12G -Rb out.xls

对256G文件读写测试(单进程,同步IO)

iozone -c -i0 -i1 -s 256g -r 16m -G -o -B -f /home/zhukun/fujitsu/test -Rb ./test.xls

对256G文件16进程读写测试(同步IO,每个线程写256G的数据)

iozone -c -i0 -i1 -s 256g -r 16m -t 16 -G -o -B -Rb ./test.xls

对256G文件16进程读写测试(异步IO,每个线程写256G的数据)

iozone -c -i0 -i1 -s 256g -r 16m -t 16 -D -o -B -Rb ./test.xls

参考文章:
http://bbs.chinaunix.net/thread-1940005-1-1.html
http://www.linuxidc.com/Linux/2012-10/71614.htm

Leave a Reply

Your email address will not be published. Required fields are marked *