たけ(tk)ともうします。
最近サーバが極端に遅くなる事象が頻発したので、注意してみていたところ、そ
の状態のときには keventd が暴走したような状態にみえることが分かりました。
対策、原因、原因究明のためのヒントとかありませんでしょうか?
[tk@EDiCube-02 tk]$ uname -a
Linux EDiCube-02 2.4.31-0vl1.10 #1 Wed Nov 16 23:43:34 JST 2005 i686 unknown
[tk@EDiCube-02 tk]$
----
症状は下記の通り。
vine上のファイル共有型のDB(paradox)のデータをsambaで読込み、同じサー
バ上のfirebirdデータベースに書き戻す、という作業をやったところ、最初の
5000レコード、最初の1分程度は、毎秒108レコード高速でコピーしていたの
に、その後に極端に速度が低下しました。毎秒13レコード。
* 前に暴走した時には mysql がこのような状態だった(とおもう)。
FROM : j:\kaikei\SWK.db - #<PhysicalDB_Dir: server = 'j:/kaikei/' >
TO : SWK_v06 - #<PhysicalDB_DBEX: driver = 'Interbase' db_name = 'DB_v28'
server = 'EDiCube-02:/opt/firebird/examples/employee.fdb' >
copy start '.' means 100 records
.......... .......... .......... .......... .......... (108.799721472713 rec/sec)
.......... .......... .......... .......... .......... (17.6755268190768 rec/sec)
.......... .......... .......... .......... .......... (13.9002021089387 rec/sec)
.......... .......... .......... .......... .......... (13.7942069848346 rec/sec)
そのときのtopを見てみると、keventd というプロセスが上位をしめていました。
(smbd は samba、fb_inet_serv は firebird のプロセス)。
----
02:18PM up 23:26, 1 user, load average: 4.26, 4.17, 3.33
71 processes: 67 sleeping, 4 running, 0 zombie, 0 stopped
CPU states: 36.4% user, 63.5% system, 0.0% nice, 0.0% idle
Mem: 376844K av, 369232K used, 7612K free, 0K shrd, 5724K buff
Swap: 786232K av, 128K used, 786104K free 22624K cached
PID USER PRI NI SIZE RSS SHARE STAT LIB %CPU %MEM TIME COMMAND
2 root 15 0 0 0 0 RW 0 38.3 0.0 10:36 keventd
2419 nobody 14 0 3280 3276 2832 R 0 30.2 0.8 17:56 smbd
2834 firebird 14 0 5372 5368 2344 R 0 25.6 1.4 7:00 fb_inet_serv
2564 tk 15 0 1080 1080 864 R 0 4.0 0.2 1:36 top
2473 tk 9 0 1644 1644 1496 S 0 0.8 0.4 0:04 sshd
3 root 19 19 0 0 0 SWN 0 0.1 0.0 0:02 ksoftirqd_CP
1 root 8 0 492 488 444 S 0 0.0 0.1 0:04 init
4 root 9 0 0 0 0 SW 0 0.0 0.0 0:01 kswapd
5 root 9 0 0 0 0 SW 0 0.0 0.0 0:00 bdflush
6 root 9 0 0 0 0 SW 0 0.0 0.0 0:00 kupdated
8 root -1 -20 0 0 0 SW< 0 0.0 0.0 0:00 mdrecoveryd
7 root 9 0 0 0 0 SW 0 0.0 0.0 0:00 khubd
16 root 9 0 0 0 0 SW 0 0.0 0.0 0:01 kjournald
219 root 9 0 0 0 0 SW 0 0.0 0.0 0:00 kjournald
696 root 9 0 584 584 512 S 0 0.0 0.1 0:00 syslogd
701 root 9 0 448 444 396 S 0 0.0 0.1 0:00 klogd
723 rpc 9 0 564 564 496 S 0 0.0 0.1 0:00 portmap
----
コピー終了後も smbd が止まらない。(通常の10倍くらいのCPUを使っている)
02:47PM up 23:55, 2 users, load average: 3.11, 3.88, 4.09
74 processes: 71 sleeping, 3 running, 0 zombie, 0 stopped
CPU states: 27.0% user, 72.9% system, 0.0% nice, 0.0% idle
Mem: 376844K av, 372412K used, 4432K free, 0K shrd, 340K buff
Swap: 786232K av, 17300K used, 768932K free 4128K cached
PID USER PRI NI SIZE RSS SHARE STAT LIB %CPU %MEM TIME COMMAND
2 root 16 0 0 0 0 RW 0 59.3 0.0 23:11 keventd
2419 nobody 17 0 1488 1148 860 R 0 32.5 0.3 23:48 smbd
2564 tk 14 0 924 876 708 R 0 3.8 0.2 2:46 top
smbd もKILL してみましたが keventd がCPUを占有している状態には変わりはあ
りませんでした。
02:55PM up 1 day, 3 min, 2 users, load average: 1.95, 2.86, 3.50
65 processes: 62 sleeping, 3 running, 0 zombie, 0 stopped
CPU states: 1.9% user, 98.0% system, 0.0% nice, 0.0% idle
Mem: 376844K av, 205688K used, 171156K free, 0K shrd, 3232K buff
Swap: 786232K av, 10312K used, 775920K free 12872K cached
PID USER PRI NI SIZE RSS SHARE STAT LIB %CPU %MEM TIME COMMAND
2 root 20 0 0 0 0 RW 0 78.9 0.0 27:28 keventd
894 root 9 0 312 296 296 S 0 19.1 0.0 68:10 cpufreqd
2564 tk 14 0 608 564 564 R 0 2.4 0.1 3:01 top
2473 tk 9 0 368 180 180 R 0 0.5 0.0 0:11 sshd
1 root 8 0 104 72 72 S 0 0.0 0.0 0:04 init
----
reboot後の通常の状態は下記の通り。
12:24PM up 3 days, 21:16, 1 user, load average: 0.06, 0.11, 0.09
71 processes: 69 sleeping, 2 running, 0 zombie, 0 stopped
CPU states: 2.1% user, 8.7% system, 0.0% nice, 89.0% idle
Mem: 376844K av, 371888K used, 4956K free, 0K shrd, 110876K buff
Swap: 786232K av, 0K used, 786232K free 75424K cached
PID USER PRI NI SIZE RSS SHARE STAT LIB %CPU %MEM TIME COMMAND
899 root 19 0 552 548 480 S 0 6.3 0.1 269:00 cpufreqd
12390 nobody 13 0 3272 3268 2820 S 0 3.5 0.8 8:03 smbd
12606 tk 11 0 1068 1068 860 R 0 0.3 0.2 0:08 top
1 root 8 0 492 488 444 S 0 0.0 0.1 0:04 init
2 root 9 0 0 0 0 SW 0 0.0 0.0 0:00 keventd
3 root 18 19 0 0 0 SWN 0 0.0 0.0 0:00 ksoftirqd_CP
4 root 9 0 0 0 0 SW 0 0.0 0.0 0:00 kswapd
5 root 9 0 0 0 0 SW 0 0.0 0.0 0:00 bdflush
6 root 9 0 0 0 0 SW 0 0.0 0.0 0:00 kupdated
8 root -1 -20 0 0 0 SW< 0 0.0 0.0 0:00 mdrecoveryd
7 root 9 0 0 0 0 SW 0 0.0 0.0 0:00 khubd
16 root 9 0 0 0 0 SW 0 0.0 0.0 0:02 kjournald
219 root 9 0 0 0 0 SW 0 0.0 0.0 0:00 kjournald
701 root 9 0 584 584 512 S 0 0.0 0.1 0:00 syslogd
706 root 9 0 448 444 396 S 0 0.0 0.1 0:00 klogd
728 rpc 9 0 564 564 496 S 0 0.0 0.1 0:00 portmap
760 rpcuser 9 0 696 696 620 S 0 0.0 0.1 0:00 rpc.statd
take_tk = kumagai hidetake