iSCSI テスト報告

イントロ

iSCSI はネットワークでディスクなどのデバイスを繋ぐ規格である。
Linux ホストがターゲット(デバイス側)になるためのソフトウェアがあるので、これを用いてターゲット及びイニシエータ(デバイスを使う側)を設定し、アクセス速度を計測した。

構成

ターゲット: buzen (ScientificLinux 5.5)
イニシエータ: hsc31 (ScientificLinux 5)
buzen と hsc31 は同じ建物の別の部屋であり、推測であるが以下のようなネットワーク機器が間に入っていると思われる。
buzen - SW - バックボーンSW - SW - hsc31
また、ターゲットの iSCSI デバイスは SSDを使用したため、ディスク側の速度低下は余りないと思われる。

手順

iSCSI ターゲットの設定

参考

CentOS/5.2/11.iSCSIターゲット
ほとんどここの手順で作業している。

手順

必要なパッケージのインストール

 [root@buzen tonooka]# yum install scsi-target-utils

デーモンを起動

 [root@buzen tonooka]# /etc/init.d/tgtd start

ターゲットを設定

[root@buzen tonooka]# tgtadm --lld iscsi --op new --mode target \
--tid 6 --targetname iqn.2010-06.jp.nao.mtk.buzen:sda6

ターゲット命名則は以下を参考にした。

確認してみる。

[root@buzen tonooka]# tgtadm --lld iscsi --op show --mode target
Target 6: iqn.2010-06.jp.nao.mtk.buzen:sda6
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00060000
            SCSI SN: beaf60
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store type: rdwr
            Backing store path: None
    Account information:
    ACL information:

コントローラにデバイスを追加する

[root@buzen tonooka]# tgtadm --lld iscsi --op new --mode logicalunit \
--tid 6 --lun 1 --backing-store /dev/sda6

確認する

[root@buzen tonooka]# tgtadm --lld iscsi --op show --mode target
Target 6: iqn.2010-06.jp.nao.mtk.buzen:sda6
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00060000
            SCSI SN: beaf60
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store type: rdwr
            Backing store path: None
        LUN: 1
            Type: disk
            SCSI ID: IET     00060001
            SCSI SN: beaf61
            Size: 27925 MB
            Online: Yes
            Removable media: No
            Backing store type: rdwr
            Backing store path: /dev/sda6
    Account information:
    ACL information:

アクセスコントロールを設定する
133.40.202.63 からのみ利用できるようにする。

[root@buzen tonooka]# tgtadm --lld iscsi --op bind --mode target \
--tid 6 --initiator-address 133.40.202.63

確認する。

[root@buzen tonooka]# tgtadm --lld iscsi --op show --mode target
Target 6: iqn.2010-06.jp.nao.mtk.buzen:sda6
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller
            SCSI ID: IET     00060000
            SCSI SN: beaf60
            Size: 0 MB
            Online: Yes
            Removable media: No
            Backing store type: rdwr
            Backing store path: None
        LUN: 1
            Type: disk
            SCSI ID: IET     00060001
            SCSI SN: beaf61
            Size: 27925 MB
            Online: Yes
            Removable media: No
            Backing store type: rdwr
            Backing store path: /dev/sda6
    Account information:
    ACL information:
        133.40.202.63

ターゲット側はこれで終わり。

iSCSI イニシエータの設定

パッケージのインストール

[root@hsc31 tonooka]# yum install iscsi-initiator-utils

デーモンの起動

[root@hsc31 tonooka]# /etc/init.d/iscsi start

セッションの確認

[root@hsc31 tonooka]# iscsiadm -m session
iscsiadm: No active sessions.

まだ動いてない。

セッションの追加

[root@hsc31 tonooka]# iscsiadm --mode discovery --type sendtargets \
--portal buzen
133.40.202.17:3260,1 iqn.2010-06.jp.nao.mtk.buzen:sda6

確認

[root@hsc31 tonooka]# iscsiadm -m node
133.40.202.17:3260,1 iqn.2010-06.jp.nao.mtk.buzen:sda6

ログインして使えるようにする

[root@hsc31 tonooka]# iscsiadm -m node --login
Login session [iface: default, target: iqn.2010-06.jp.nao.mtk.buzen:sda6, portal: 133.40.202.17,3260]

もしくはターゲットを指定する場合は

 scsiadm --mode node --targetname iqn.2001-05.com.doe:test --login

確認する

[root@hsc31 tonooka]# cat /proc/partitions
major minor  #blocks  name

   8     0  312570167 sda
   8     1     200781 sda1
   8     2    4192965 sda2
   8     3    2096482 sda3
   8     4          1 sda4
   8     5   10482381 sda5
   8     6    4192933 sda6
   8     7    4192933 sda7
   8     8    4192933 sda8
   8     9  283017073 sda9
   8    48   27270306 sdd

とりあえずパーティション作成。

[root@hsc31 tonooka]# fdisk -l /dev/sdd

Disk /dev/sdd: 27.9 GB, 27924793344 bytes
64 heads, 32 sectors/track, 26631 cylinders
Units = シリンダ数 of 2048 * 512 = 1048576 bytes

ディスク /dev/sdd は正常な領域テーブルを含んでいません
[root@hsc31 tonooka]# fdisk /dev/sdd
...
[root@hsc31 tonooka]# mkfs.ext3 /dev/sdd1

[root@hsc31 tonooka]# mount /dev/sdd1 /mnt2

評価

ddでの書き込みテスト
```
[root@hsc31 tonooka]# time dd if=/dev/zero of=/mnt2/10Gfile bs=1M count=10240
10240+0 records in
10240+0 records out
10737418240 bytes (11 GB) copied, 99.8885 seconds, 107 MB/s

real    1m39.929s
user    0m0.013s
sys     0m25.617s
```
ただし、遅延書きこみを行なっているので、実際の転送レートはもう少し遅い。だが、NFSよりも確実に速い。
また、別の建物の別のホストからの書き込みでは 50MB/s となり、その違いを考えるとネットワーク構成が速度に大きく影響を与えていることが考えられる。

自分で提供しているボリュームを自分でマウントできるか？

[root@buzen tonooka]# mount -t ext3 /dev/sda6 /mnt2
mount: wrong fs type, bad option, bad superblock on /dev/sda6,
       missing codepage or other error
       In some cases useful info is found in syslog - try
       dmesg | tail  or so

どうやらできなさそう。

テスト終了

iSCSIの設定が保存され、次回起動時にターゲットを探してしまうため、設定をはずす。

ログアウト

[root@ohiru02 tonooka]# iscsiadm --mode node --targetname iqn.2010-06.jp.nao.mtk.buzen:sda6 --portal 133.40.202.17:3260,1 --logout
Logging out of session [sid: 2, target: iqn.2010-06.jp.nao.mtk.buzen:sda6, portal: 133.40.202.17,3260]
Logout of [sid: 2, target: iqn.2010-06.jp.nao.mtk.buzen:sda6, portal: 133.40.202.17,3260]: successful

もしくはこれでもいい。

[root@ohiru02 tonooka]# iscsiadm -m node --logout
Logging out of session [sid: 3, target: iqn.2010-06.jp.nao.mtk.buzen:sda6, portal: 133.40.202.17,3260]
Logout of [sid: 3, target: iqn.2010-06.jp.nao.mtk.buzen:sda6, portal: 133.40.202.17,3260]: successful

次回起動時にいきなりiscsiターゲットを探し始めるのをやめる。

[root@ohiru02 tonooka]# chkconfig --list iscsi
iscsi           0:off   1:off   2:off   3:on    4:on    5:on    6:off
[root@ohiru02 tonooka]# chkconfig --level 345 iscsi off
[root@ohiru02 tonooka]# chkconfig --list iscsi
iscsi           0:off   1:off   2:off   3:off   4:off   5:off   6:off

用途

仮想化ゲストのイメージを iscsi で提供する。
ディスクを外に置けるためマイグレーションが容易になり、 NFSでの提供よりもオーバーヘッドが減る。
GFSでの複数ノードからの同一デバイスへの読み書き
これをするには、データクラスタを構築しなければならない。冗長性が増えダウンしにくくなるが、確実に規模が大きくなり、管理の負荷が増える。

ただし、iscsi のオーバーヘッドの少なさを生かすために、高速なディスクデバイスの使用と、ネットワークでのロスを少なくするように環境を構築しないといけない。