커피닉스, 시스템 엔지니어의 쉼터 커피향이 나는 *NIX
커피닉스
시스템/네트웍/보안을 다루는 곳
* HanIRC의 #coffeenix 방
[ 장비 및 회선 후원 ]
HOME > 시스템 관리 / 서버운영 도움말
검색 : 사이트 WHOIS 웹서버 종류

최적화 / 튜닝 / 성능개선 (6, 글 1, 자료 3)
디스크 쿼터(quota) (3, 글 1, 자료 3)
디스크 관리 / 파일시스템 / mount (34, 글 13, 자료 12)
백업(backup) / 시스템 복구 (14, 글 6, 자료 11)
서버운영 (8, 글 2, 자료 9)
프린터 관리 / 프린팅 (7)
패키지 관리 / 패치 / rpm (10, 글 5, 자료 1)
부팅, boot / LILO / GRUB (10, 글 5, 자료 9)
서버 모니터링 (10, 글 5, 자료 2)
로그인 / 로그아웃 (1)
로그(log) / syslog (5, 글 3, 자료 3)
메모리, 스왑(swap), 램디스크(ramdisk) (3, 글 2)
사용자 관리(계정 관리) (1, 자료 1)

  IPMI over LAN(IPMI 네트웍 접속) 트러블슈팅 작성일 : 2014/12/23 18:31
 
  • 글쓴이 : 좋은진호 ( http://coffeenix.net/ )
  • 조회수 : 5717
          [ 이전화면 / 수정 ]   비밀번호 :     인쇄용 화면
      제  목 : IPMI over LAN(IPMI 네트웍 접속) 트러블슈팅
    작성자 : 좋은진호(truefeel, http://coffeenix.net/ )
    작성일 : 2014.11.28(금)

    IPMI 네트웍 설정(IPMI over LAN)을 했는데, 1) IPMI IP로 ping이 안되거나 2) ping은 되는데 응답이 없다면 다음과 같은 것을 확인해봐야 한다.

     
    # ipmitool -I lan -H 10.10.20.120 -U root fru
    Password:     <--- 비밀번호 입력 후 원하는 결과가 나오지 않는다면?
     



    1. 기본적으로 확인할 것

    1) IPMI의 IP, Netmask, G/W IP 등을 확인한다.

    ipmitool -vv 옵션으로 상세한 결과를 볼 수 있다.

     
    # ipmitool -vv -I lan -H 10.10.20.120 -U root power status
    Password:
    FRU Device Description : Builtin FRU Device (ID 0)
    ipmi_lan_send_cmd:opened=[0], open=[4525612]
    IPMI LAN host 10.10.20.120 port 623
    Sending IPMI/RMCP presence ping packet        <-- 패킷을 보냈으나 응답(response packet)이 없음. 연결 자체가 안됨
    ipmi_lan_send_cmd:opened=[1], open=[4525612]
    ^C
     


    설정 확인 후 맞지 않으면 셋팅한다.

     
    # ipmitool lan print 1
    IP Address Source       : Static Address
    IP Address              : 10.10.20.120
    Subnet Mask             : 255.255.255.0
    ... 생략 ...
    Default Gateway IP      : 10.10.20.1
     


    2) 방화벽에서 UDP 623포트를 차단했거나 IPMI IP대역이 차단되어 있는지 확인한다.

    3) LAN access 가능하게 되어 있는지 확인한다.

    access가 disable되어 있다면 다음과 같이 나온다.

     
    # ipmitool -vv -I lan -H 10.10.20.120 -U root power status
    Password:
    ipmi_lan_send_cmd:opened=[0], open=[4525612]
    IPMI LAN host 10.10.20.120 port 623
    Sending IPMI/RMCP presence ping packet
    Received IPMI/RMCP response packet:    <-- 패킷 자체는 정상적으로 주고 받음. 즉, 네트웍 설정은 정상.
      IPMI Supported
    ... 생략 ...
    ipmi_lan_send_cmd:opened=[1], open=[4525612]
      No response from remote controller
    Get Auth Capabilities command failed
    ... 생략 ...
    Error: Unable to establish LAN session
    Failed to open LAN interface
    Unable to get Chassis Power Status
     


    access on으로 설정한다.

     
    # ipmitool channel info 1
    Channel 0x1 info:
    ... 생략 ...
      Volatile(active) Settings
        Alerting            : disabled
        Per-message Auth    : disabled
        User Level Auth     : enabled
        Access Mode         : disabled <-- access off 상태임. on일 때는 always available으로 표시된다.
      Non-Volatile Settings
        Alerting            : disabled
        Per-message Auth    : disabled
        User Level Auth     : enabled
        Access Mode         : disabled <-- access off 상태임
    # ipmitool lan set 1 access on <-- access on으로 전환
     



    4) Invalid useri name이라고 나온다.

     
    # ipmitool -I lan -H 10.10.20.120 -U root power status
    Password:
    Invalid user name
    Error: Unable to establish LAN session
    Unable to get Chassis Power Status
     


    해당 user ID가 없거나 user가 disable되어 있다.

     
    # ipmitool user list 1     <-- user 목록 확인
    # ipmitool user summary 1  <-- enable 된 유저 수 확인. 만약 0이라면 모든 유저가 disable되어 있음.
    # ipmi.sh user enable 2    <-- 해당 user(ID 2번)를 enable한다.
     



    2. IPMI용 인터페이스(interface) 변경

    기본적으로 첫번째 네트웍 인터페이스로 IPMI 통신을 하는데, 설정 변경을 통해 2번째 등 다른 인터페이스로 통신을 할 수 있다.
    Dell 서버를 기준으로 설명한다. 다른 서버의 경우는 freeipmi툴의l ipmi-oem명령으로 지정 가능할 것(실제 다른 서버에서 셋팅해보지 않아서 정확하지는 않음)으로 보인다.

    1) Dell 1950

     
    # ipmitool delloem lan get
    shared
    # ipmitool delloem lan get active
    Error in getting Active LOM Status (Invalid command)

    # ipmitool delloem lan set "shared with failover lom2" <-- LOM2, 즉 2번째 NIC로 failover가능하게 설정
    configured successfully
    # ipmitool delloem lan get
    shared with failover lom2
     


    ipmitool delloem lan get 명령만 내리면, 설정 가능한 mode(예 : shared, shared with failover lom2, shared with Failover all loms)를 확인할 수 있다.

    2) Dell R610 (설정 변경은 위와 동일한 방법으로)

     
    # ipmitool delloem lan get
    shared
    # ipmitool delloem lan get active <-- 이 값은 변경 불가. read only.

    LOM1
     


    참고로 freeipmi의 ipmi-oem 명령으로 확인한 예이다. 설정 변경은 set-nic-selection 옵션으로.
     
    # ipmi-oem Dell get-nic-selection
    shared
    # ipmi-oem Dell get-active-lom-status
    LOM 1
     


    3) Dell R620 (설정 변경은 위와 동일한 방법으로)

     
    # ipmitool  delloem lan get
    Shared LOM   :  shared with lom1
    Failover LOM :  None
    # ipmitool  delloem lan get active

    LOM1
     



    3. Dell R610 서버에서 IPMI 통신이 안될 경우

    2011년 3월에 구매한 Dell R610서버에서는 모두(?) None으로 되어 있었다. iDRAC6 펌웨어 버전은 1.70.21.

     
    # ipmitool delloem lan get
    shared
    # ipmitool delloem lan get active

    None
    # ipmitoolmc info|grep sion
    Device Revision           : 0
    Firmware Revision         : 1.70
    IPMI Version              : 2.0
     


    이때 만들어진 서버는 아마 설정을 잘 못하고 출시한 것 같다. 몇 개월 차이로 구매한 같은 모델 서버는 전혀 이런 문제가 없었다.
    NONE으로 나오는 것은 NIC에 Management Firmware 설정이 diable되어 있기 때문인데, FreeBSD의 부팅로그에서 NIC 관련 부분을 보면 확인할 수 있다. CentOS에서는 Flag값을 확인할 수 없었다.

    1) IPMI over LAN 되는 서버의 /var/run/dmesg.boot (FreeBSD 환경)

    bce0: mem 0xd6000000-0xd7ffffff irq 36 at device 0.0 on pci1
    bce0: ASIC (0x57092003); Rev (C0); Bus (PCIe x4, 2.5Gbps); B/C (5.2.3); Bufs (RX:2;TX:2;PG:8); Flags (SPLT|MSI|MFW); MFW (NCSI 2.0.11)

    2) IPMI over LAN 안되는 서버 (FreeBSD 환경, Flags에 MFW가 없음)

    bce0: mem 0xd6000000-0xd7ffffff irq 36 at device 0.0 on pci1
    bce0: ASIC (0x57092003); Rev (C0); Bus (PCIe x4, 2.5Gbps); B/C (5.2.3); Bufs (RX:2;TX:2;PG:8); Flags (SPLT|MSI)

    설정변경은 DOS 유틸을 사용해야 하므로 부팅이 반드시 필요하다.

    1) Dell 사이트에서 Broadcom NetXtreme I and NetXtreme II DOS Utilities 을 받는다.
       http://www.dell.com/support/home/us/en/04/Drivers/DriversDetails?driverId=29DKK
    2) Bcom_LAN_14.2.x_DOSUtilities_A03.exe 압축을 푼다.
    3) Userdiag/NetXtremeII/uxdiag.exe 파일을 USB(FAT32 파티션)에 복사한다.
    4) DOS 부트디스크 ISO를 받아서 CD를 굽는다.
       http://www.allbootdisks.com/download/iso.html
    5) CD를 넣고, USB를 꽂은 다음에 부팅을 한다.
       DOS로 부팅이 될텐데, C: 드라이브(USB)에 uxdiag.exe 파일이 있을 것이다.

    디바이스 정보를 확인한다.
     
    C:\>uxdiag -ver
    uxdiag -- Broadcom NetXtreme II diagnostics version 5.2.2
        Copyright (c) 2001-2009 Broadcom Corporation, all rights reserved.

    C:  Brd:Rv Bus      PCI     Spd Base   IRQ     MAC     FmwVer  Configuration
    1:5709C:C0 01:00:00 PCIE-4  2.5 0xD600 15 ....B5....02 5.2.3   auto
    2:5709C:C0 01:00:01 PCIE-4  2.5 0xD800 14 ....B5....04 5.2.3   auto
    3:5709C:C0 02:00:00 PCIE-4  2.5 0xDA00 15 ....B5....06 5.2.3   auto
    4:5709C:C0 02:00:01 PCIE-4  2.5 0xDC00 14 ....B5....08 5.2.3   auto
     


    Management Firmware을 enable시킨다. -t abcd옵션은 abcd 그룹에 대해 test(즉, diag)없이 설정만 변경하도록 해준다. 만약 -t 옵션없이 실행하면 diag하느라 시간이 오래걸린다.

     
    C:\>uxdiag -t abcd -mfw 1
    ... 생략 ...
    C:\>uxdiag -ver
    C:  Brd:Rv Bus      PCI     Spd Base   IRQ     MAC     FmwVer  Configuration
    1:5709C:C0 01:00:00 PCIE-4  2.5 0xD600 15 ....B5....02 5.2.3   MF,auto   <-- 설정 변경된 것을 확인
    2:5709C:C0 01:00:01 PCIE-4  2.5 0xD800 14 ....B5....04 5.2.3   MF,auto
    3:5709C:C0 02:00:00 PCIE-4  2.5 0xDA00 15 ....B5....06 5.2.3   MF,auto
    4:5709C:C0 02:00:01 PCIE-4  2.5 0xDC00 14 ....B5....08 5.2.3   MF,auto
     



    4. 참고자료

    * Re: IPMI Over LAN not working (Dell Server 문제 관련)
      http://permalink.gmane.org/gmane.linux.hardware.dell.poweredge/42033
      커피닉스 카페 최근 글
    [01/11] 특정 안드로이드 WebView 버전에서 SSL 문제 (WebView 버그)
    [08/01] DNS forwarder (전달자) 서버를 통해서 쿼리하면 역방향을 받아오질 못합니다.
    [05/16] (주)후이즈 시스템엔지니어 (경력자) 모집
    [02/15] [AWS] Cloudfront edge 확인하기
    [01/20] Mobile Service/eCommerce 기업에서 Server / Java / PHP 개발자 구인
    [01/11] 탄탄한 퍼블리싱 모바일기업에서 Mobile 개발자를 모십니다.
    [01/11] 탄탄한 퍼블리싱 모바일기업에서 Web Front 개발자를 모십니다.
    [01/11] 탄탄한 퍼블리싱 모바일기업에서 Server 개발 팀장을 모십니다.
    [12/21] 브라우저별 SHA1 퇴출 시점
    [09/15] [구인] 시스템엔지니어 (경력)
    [08/05] Re: 칼리리눅스 텔넷관련
    [08/04] 칼리리눅스 텔넷관련
    [06/29] 또 다른 무료 SSL 인증서, Let's Encrypt
    [06/29] FreeBSD에서 Leap Second(윤초)는? 문제 없다.
    [06/25] [정규직/충무로] 경력직 서버 개발자를 모십니다
      New!   최근에 등록한 페이지
      KiCad EDA Suite project (Free/Libre/Open-Source EDA Suite) (CAD)
      오픈캐스케이드 캐드 (OpenCASCADE CAD)
      QCad for Windows --- GNU GPL (Free Software)
      The Hello World Collection
      IPMI를 활용한 리눅스 서버관리
      DNS 설정 검사
      nagiosgraph 설치 방법
      Slony-I 설치 방법 (postgresql replication tool)
      Qmail기반의 Anti spam 시스템 구축하기
      clusterssh

    [ 함께하는 사이트 ]




    운영진 : 좋은진호(truefeel), 야수(yasu), 범냉이, sCag
    2003년 8월 4일~