글쓴이 : 좋은진호 ( http://coffeenix.net/ )

조회수 : 16691

	[ 이전화면 / 수정 ]   비밀번호 :
	제  목 : IPMI over LAN(IPMI 네트웍 접속) 트러블슈팅 작성자 : 좋은진호(truefeel, http://coffeenix.net/ ) 작성일 : 2014.11.28(금) IPMI 네트웍 설정(IPMI over LAN)을 했는데, 1) IPMI IP로 ping이 안되거나 2) ping은 되는데 응답이 없다면 다음과 같은 것을 확인해봐야 한다.   # ipmitool -I lan -H 10.10.20.120 -U root fru Password:     <--- 비밀번호 입력 후 원하는 결과가 나오지 않는다면?   1. 기본적으로 확인할 것 1) IPMI의 IP, Netmask, G/W IP 등을 확인한다. ipmitool -vv 옵션으로 상세한 결과를 볼 수 있다.   # ipmitool -vv -I lan -H 10.10.20.120 -U root power status Password: FRU Device Description : Builtin FRU Device (ID 0) ipmi_lan_send_cmd:opened=[0], open=[4525612] IPMI LAN host 10.10.20.120 port 623 Sending IPMI/RMCP presence ping packet        <-- 패킷을 보냈으나 응답(response packet)이 없음. 연결 자체가 안됨 ipmi_lan_send_cmd:opened=[1], open=[4525612] ^C   설정 확인 후 맞지 않으면 셋팅한다.   # ipmitool lan print 1 IP Address Source       : Static Address IP Address              : 10.10.20.120 Subnet Mask             : 255.255.255.0 ... 생략 ... Default Gateway IP      : 10.10.20.1   2) 방화벽에서 UDP 623포트를 차단했거나 IPMI IP대역이 차단되어 있는지 확인한다. 3) LAN access 가능하게 되어 있는지 확인한다. access가 disable되어 있다면 다음과 같이 나온다.   # ipmitool -vv -I lan -H 10.10.20.120 -U root power status Password: ipmi_lan_send_cmd:opened=[0], open=[4525612] IPMI LAN host 10.10.20.120 port 623 Sending IPMI/RMCP presence ping packet Received IPMI/RMCP response packet:    <-- 패킷 자체는 정상적으로 주고 받음. 즉, 네트웍 설정은 정상.   IPMI Supported ... 생략 ... ipmi_lan_send_cmd:opened=[1], open=[4525612]   No response from remote controller Get Auth Capabilities command failed ... 생략 ... Error: Unable to establish LAN session Failed to open LAN interface Unable to get Chassis Power Status   access on으로 설정한다.   # ipmitool channel info 1 Channel 0x1 info: ... 생략 ...   Volatile(active) Settings     Alerting            : disabled     Per-message Auth    : disabled     User Level Auth     : enabled     Access Mode         : disabled <-- access off 상태임. on일 때는 always available으로 표시된다.   Non-Volatile Settings     Alerting            : disabled     Per-message Auth    : disabled     User Level Auth     : enabled     Access Mode         : disabled <-- access off 상태임 # ipmitool lan set 1 access on <-- access on으로 전환   4) Invalid useri name이라고 나온다.   # ipmitool -I lan -H 10.10.20.120 -U root power status Password: Invalid user name Error: Unable to establish LAN session Unable to get Chassis Power Status   해당 user ID가 없거나 user가 disable되어 있다.   # ipmitool user list 1     <-- user 목록 확인 # ipmitool user summary 1  <-- enable 된 유저 수 확인. 만약 0이라면 모든 유저가 disable되어 있음. # ipmi.sh user enable 2    <-- 해당 user(ID 2번)를 enable한다.   2. IPMI용 인터페이스(interface) 변경 기본적으로 첫번째 네트웍 인터페이스로 IPMI 통신을 하는데, 설정 변경을 통해 2번째 등 다른 인터페이스로 통신을 할 수 있다. Dell 서버를 기준으로 설명한다. 다른 서버의 경우는 freeipmi툴의l ipmi-oem명령으로 지정 가능할 것(실제 다른 서버에서 셋팅해보지 않아서 정확하지는 않음)으로 보인다. 1) Dell 1950   # ipmitool delloem lan get shared # ipmitool delloem lan get active Error in getting Active LOM Status (Invalid command) # ipmitool delloem lan set "shared with failover lom2" <-- LOM2, 즉 2번째 NIC로 failover가능하게 설정 configured successfully # ipmitool delloem lan get shared with failover lom2   ipmitool delloem lan get 명령만 내리면, 설정 가능한 mode(예 : shared, shared with failover lom2, shared with Failover all loms)를 확인할 수 있다. 2) Dell R610 (설정 변경은 위와 동일한 방법으로)   # ipmitool delloem lan get shared # ipmitool delloem lan get active <-- 이 값은 변경 불가. read only. LOM1   참고로 freeipmi의 ipmi-oem 명령으로 확인한 예이다. 설정 변경은 set-nic-selection 옵션으로.   # ipmi-oem Dell get-nic-selection shared # ipmi-oem Dell get-active-lom-status LOM 1   3) Dell R620 (설정 변경은 위와 동일한 방법으로)   # ipmitool  delloem lan get Shared LOM   :  shared with lom1 Failover LOM :  None # ipmitool  delloem lan get active LOM1   3. Dell R610 서버에서 IPMI 통신이 안될 경우 2011년 3월에 구매한 Dell R610서버에서는 모두(?) None으로 되어 있었다. iDRAC6 펌웨어 버전은 1.70.21.   # ipmitool delloem lan get shared # ipmitool delloem lan get active None # ipmitoolmc info|grep sion Device Revision           : 0 Firmware Revision         : 1.70 IPMI Version              : 2.0   이때 만들어진 서버는 아마 설정을 잘 못하고 출시한 것 같다. 몇 개월 차이로 구매한 같은 모델 서버는 전혀 이런 문제가 없었다. NONE으로 나오는 것은 NIC에 Management Firmware 설정이 diable되어 있기 때문인데, FreeBSD의 부팅로그에서 NIC 관련 부분을 보면 확인할 수 있다. CentOS에서는 Flag값을 확인할 수 없었다. 1) IPMI over LAN 되는 서버의 /var/run/dmesg.boot (FreeBSD 환경) bce0: mem 0xd6000000-0xd7ffffff irq 36 at device 0.0 on pci1 bce0: ASIC (0x57092003); Rev (C0); Bus (PCIe x4, 2.5Gbps); B/C (5.2.3); Bufs (RX:2;TX:2;PG:8); Flags (SPLT|MSI|MFW); MFW (NCSI 2.0.11) 2) IPMI over LAN 안되는 서버 (FreeBSD 환경, Flags에 MFW가 없음) bce0: mem 0xd6000000-0xd7ffffff irq 36 at device 0.0 on pci1 bce0: ASIC (0x57092003); Rev (C0); Bus (PCIe x4, 2.5Gbps); B/C (5.2.3); Bufs (RX:2;TX:2;PG:8); Flags (SPLT|MSI) 설정변경은 DOS 유틸을 사용해야 하므로 부팅이 반드시 필요하다. 1) Dell 사이트에서 Broadcom NetXtreme I and NetXtreme II DOS Utilities 을 받는다.    http://www.dell.com/support/home/us/en/04/Drivers/DriversDetails?driverId=29DKK 2) Bcom_LAN_14.2.x_DOSUtilities_A03.exe 압축을 푼다. 3) Userdiag/NetXtremeII/uxdiag.exe 파일을 USB(FAT32 파티션)에 복사한다. 4) DOS 부트디스크 ISO를 받아서 CD를 굽는다.    http://www.allbootdisks.com/download/iso.html 5) CD를 넣고, USB를 꽂은 다음에 부팅을 한다.    DOS로 부팅이 될텐데, C: 드라이브(USB)에 uxdiag.exe 파일이 있을 것이다. 디바이스 정보를 확인한다.   C:\>uxdiag -ver uxdiag -- Broadcom NetXtreme II diagnostics version 5.2.2     Copyright (c) 2001-2009 Broadcom Corporation, all rights reserved. C:  Brd:Rv Bus      PCI     Spd Base   IRQ     MAC     FmwVer  Configuration 1:5709C:C0 01:00:00 PCIE-4  2.5 0xD600 15 ....B5....02 5.2.3   auto 2:5709C:C0 01:00:01 PCIE-4  2.5 0xD800 14 ....B5....04 5.2.3   auto 3:5709C:C0 02:00:00 PCIE-4  2.5 0xDA00 15 ....B5....06 5.2.3   auto 4:5709C:C0 02:00:01 PCIE-4  2.5 0xDC00 14 ....B5....08 5.2.3   auto   Management Firmware을 enable시킨다. -t abcd옵션은 abcd 그룹에 대해 test(즉, diag)없이 설정만 변경하도록 해준다. 만약 -t 옵션없이 실행하면 diag하느라 시간이 오래걸린다.   C:\>uxdiag -t abcd -mfw 1 ... 생략 ... C:\>uxdiag -ver C:  Brd:Rv Bus      PCI     Spd Base   IRQ     MAC     FmwVer  Configuration 1:5709C:C0 01:00:00 PCIE-4  2.5 0xD600 15 ....B5....02 5.2.3   MF,auto   <-- 설정 변경된 것을 확인 2:5709C:C0 01:00:01 PCIE-4  2.5 0xD800 14 ....B5....04 5.2.3   MF,auto 3:5709C:C0 02:00:00 PCIE-4  2.5 0xDA00 15 ....B5....06 5.2.3   MF,auto 4:5709C:C0 02:00:01 PCIE-4  2.5 0xDC00 14 ....B5....08 5.2.3   MF,auto   4. 참고자료 * Re: IPMI Over LAN not working (Dell Server 문제 관련)   http://permalink.gmane.org/gmane.linux.hardware.dell.poweredge/42033