| |
제 목 : IPMI over LAN(IPMI 네트웍 접속) 트러블슈팅
작성자 : 좋은진호(truefeel, http://coffeenix.net/ )
작성일 : 2014.11.28(금)
IPMI 네트웍 설정(IPMI over LAN)을 했는데, 1) IPMI IP로 ping이 안되거나 2) ping은 되는데 응답이 없다면 다음과 같은 것을 확인해봐야 한다.
| |
# ipmitool -I lan -H 10.10.20.120 -U root fru
Password: <--- 비밀번호 입력 후 원하는 결과가 나오지 않는다면?
| |
1. 기본적으로 확인할 것
1) IPMI의 IP, Netmask, G/W IP 등을 확인한다.
ipmitool -vv 옵션으로 상세한 결과를 볼 수 있다.
| |
# ipmitool -vv -I lan -H 10.10.20.120 -U root power status
Password:
FRU Device Description : Builtin FRU Device (ID 0)
ipmi_lan_send_cmd:opened=[0], open=[4525612]
IPMI LAN host 10.10.20.120 port 623
Sending IPMI/RMCP presence ping packet <-- 패킷을 보냈으나 응답(response packet)이 없음. 연결 자체가 안됨
ipmi_lan_send_cmd:opened=[1], open=[4525612]
^C
| |
설정 확인 후 맞지 않으면 셋팅한다.
| |
# ipmitool lan print 1
IP Address Source : Static Address
IP Address : 10.10.20.120
Subnet Mask : 255.255.255.0
... 생략 ...
Default Gateway IP : 10.10.20.1
| |
2) 방화벽에서 UDP 623포트를 차단했거나 IPMI IP대역이 차단되어 있는지 확인한다.
3) LAN access 가능하게 되어 있는지 확인한다.
access가 disable되어 있다면 다음과 같이 나온다.
| |
# ipmitool -vv -I lan -H 10.10.20.120 -U root power status
Password:
ipmi_lan_send_cmd:opened=[0], open=[4525612]
IPMI LAN host 10.10.20.120 port 623
Sending IPMI/RMCP presence ping packet
Received IPMI/RMCP response packet: <-- 패킷 자체는 정상적으로 주고 받음. 즉, 네트웍 설정은 정상.
IPMI Supported
... 생략 ...
ipmi_lan_send_cmd:opened=[1], open=[4525612]
No response from remote controller
Get Auth Capabilities command failed
... 생략 ...
Error: Unable to establish LAN session
Failed to open LAN interface
Unable to get Chassis Power Status
| |
access on으로 설정한다.
| |
# ipmitool channel info 1
Channel 0x1 info:
... 생략 ...
Volatile(active) Settings
Alerting : disabled
Per-message Auth : disabled
User Level Auth : enabled
Access Mode : disabled <-- access off 상태임. on일 때는 always available으로 표시된다.
Non-Volatile Settings
Alerting : disabled
Per-message Auth : disabled
User Level Auth : enabled
Access Mode : disabled <-- access off 상태임
# ipmitool lan set 1 access on <-- access on으로 전환
| |
4) Invalid useri name이라고 나온다.
| |
# ipmitool -I lan -H 10.10.20.120 -U root power status
Password:
Invalid user name
Error: Unable to establish LAN session
Unable to get Chassis Power Status
| |
해당 user ID가 없거나 user가 disable되어 있다.
| |
# ipmitool user list 1 <-- user 목록 확인
# ipmitool user summary 1 <-- enable 된 유저 수 확인. 만약 0이라면 모든 유저가 disable되어 있음.
# ipmi.sh user enable 2 <-- 해당 user(ID 2번)를 enable한다.
| |
2. IPMI용 인터페이스(interface) 변경
기본적으로 첫번째 네트웍 인터페이스로 IPMI 통신을 하는데, 설정 변경을 통해 2번째 등 다른 인터페이스로 통신을 할 수 있다.
Dell 서버를 기준으로 설명한다. 다른 서버의 경우는 freeipmi툴의l ipmi-oem명령으로 지정 가능할 것(실제 다른 서버에서 셋팅해보지 않아서 정확하지는 않음)으로 보인다.
1) Dell 1950
| |
# ipmitool delloem lan get
shared
# ipmitool delloem lan get active
Error in getting Active LOM Status (Invalid command)
# ipmitool delloem lan set "shared with failover lom2" <-- LOM2, 즉 2번째 NIC로 failover가능하게 설정
configured successfully
# ipmitool delloem lan get
shared with failover lom2
| |
ipmitool delloem lan get 명령만 내리면, 설정 가능한 mode(예 : shared, shared with failover lom2, shared with Failover all loms)를 확인할 수 있다.
2) Dell R610 (설정 변경은 위와 동일한 방법으로)
| |
# ipmitool delloem lan get
shared
# ipmitool delloem lan get active <-- 이 값은 변경 불가. read only.
LOM1
| |
참고로 freeipmi의 ipmi-oem 명령으로 확인한 예이다. 설정 변경은 set-nic-selection 옵션으로.
| |
# ipmi-oem Dell get-nic-selection
shared
# ipmi-oem Dell get-active-lom-status
LOM 1
| |
3) Dell R620 (설정 변경은 위와 동일한 방법으로)
| |
# ipmitool delloem lan get
Shared LOM : shared with lom1
Failover LOM : None
# ipmitool delloem lan get active
LOM1
| |
3. Dell R610 서버에서 IPMI 통신이 안될 경우
2011년 3월에 구매한 Dell R610서버에서는 모두(?) None으로 되어 있었다. iDRAC6 펌웨어 버전은 1.70.21.
| |
# ipmitool delloem lan get
shared
# ipmitool delloem lan get active
None
# ipmitoolmc info|grep sion
Device Revision : 0
Firmware Revision : 1.70
IPMI Version : 2.0
| |
이때 만들어진 서버는 아마 설정을 잘 못하고 출시한 것 같다. 몇 개월 차이로 구매한 같은 모델 서버는 전혀 이런 문제가 없었다.
NONE으로 나오는 것은 NIC에 Management Firmware 설정이 diable되어 있기 때문인데, FreeBSD의 부팅로그에서 NIC 관련 부분을 보면 확인할 수 있다. CentOS에서는 Flag값을 확인할 수 없었다.
1) IPMI over LAN 되는 서버의 /var/run/dmesg.boot (FreeBSD 환경)
bce0: mem 0xd6000000-0xd7ffffff irq 36 at device 0.0 on pci1
bce0: ASIC (0x57092003); Rev (C0); Bus (PCIe x4, 2.5Gbps); B/C (5.2.3); Bufs (RX:2;TX:2;PG:8); Flags (SPLT|MSI|MFW); MFW (NCSI 2.0.11)
2) IPMI over LAN 안되는 서버 (FreeBSD 환경, Flags에 MFW가 없음)
bce0: mem 0xd6000000-0xd7ffffff irq 36 at device 0.0 on pci1
bce0: ASIC (0x57092003); Rev (C0); Bus (PCIe x4, 2.5Gbps); B/C (5.2.3); Bufs (RX:2;TX:2;PG:8); Flags (SPLT|MSI)
설정변경은 DOS 유틸을 사용해야 하므로 부팅이 반드시 필요하다.
1) Dell 사이트에서 Broadcom NetXtreme I and NetXtreme II DOS Utilities 을 받는다.
http://www.dell.com/support/home/us/en/04/Drivers/DriversDetails?driverId=29DKK
2) Bcom_LAN_14.2.x_DOSUtilities_A03.exe 압축을 푼다.
3) Userdiag/NetXtremeII/uxdiag.exe 파일을 USB(FAT32 파티션)에 복사한다.
4) DOS 부트디스크 ISO를 받아서 CD를 굽는다.
http://www.allbootdisks.com/download/iso.html
5) CD를 넣고, USB를 꽂은 다음에 부팅을 한다.
DOS로 부팅이 될텐데, C: 드라이브(USB)에 uxdiag.exe 파일이 있을 것이다.
디바이스 정보를 확인한다.
| |
C:\>uxdiag -ver
uxdiag -- Broadcom NetXtreme II diagnostics version 5.2.2
Copyright (c) 2001-2009 Broadcom Corporation, all rights reserved.
C: Brd:Rv Bus PCI Spd Base IRQ MAC FmwVer Configuration
1:5709C:C0 01:00:00 PCIE-4 2.5 0xD600 15 ....B5....02 5.2.3 auto
2:5709C:C0 01:00:01 PCIE-4 2.5 0xD800 14 ....B5....04 5.2.3 auto
3:5709C:C0 02:00:00 PCIE-4 2.5 0xDA00 15 ....B5....06 5.2.3 auto
4:5709C:C0 02:00:01 PCIE-4 2.5 0xDC00 14 ....B5....08 5.2.3 auto
| |
Management Firmware을 enable시킨다. -t abcd옵션은 abcd 그룹에 대해 test(즉, diag)없이 설정만 변경하도록 해준다. 만약 -t 옵션없이 실행하면 diag하느라 시간이 오래걸린다.
| |
C:\>uxdiag -t abcd -mfw 1
... 생략 ...
C:\>uxdiag -ver
C: Brd:Rv Bus PCI Spd Base IRQ MAC FmwVer Configuration
1:5709C:C0 01:00:00 PCIE-4 2.5 0xD600 15 ....B5....02 5.2.3 MF,auto <-- 설정 변경된 것을 확인
2:5709C:C0 01:00:01 PCIE-4 2.5 0xD800 14 ....B5....04 5.2.3 MF,auto
3:5709C:C0 02:00:00 PCIE-4 2.5 0xDA00 15 ....B5....06 5.2.3 MF,auto
4:5709C:C0 02:00:01 PCIE-4 2.5 0xDC00 14 ....B5....08 5.2.3 MF,auto
| |
4. 참고자료
* Re: IPMI Over LAN not working (Dell Server 문제 관련)
http://permalink.gmane.org/gmane.linux.hardware.dell.poweredge/42033
|
http://coffeenix.net/ )