image1

Inspur NF5488M5

Highlights

  • • HGX-2 Base Board : 8*SXM3 GPU NVLink, up to 350-400W
       TDP, NVSwitch Full Connection NVIDIA® Tesla® Volta,
       Volta Next (SXM3)
  • • Processor : 2*Intel® Xeon® Scalable Processors, 3*UPI
  • • Performance : 1 petaFLOPS
  • • Memory : 24× DDR4 DIMM, 6 Channel
  • • Storage : 8 x 2.5" SATA storage (Includes 4*2.5" NVMe), 2*M.2
  • • PCIe : 4 x PCIe x16 for 100G NIC, 1x PCIex8 for 50G NIC / NVMe
  • • Fan & Cooling : Redundant Hot swap System Fan, Air cooling
  • • PSU : 2+2 Redundant, up to 6 KW total
  • • Chassis : 4U W*H*D 448mm*175.5mm*850mm
견적 요청 및 제품 문의

INSPUR NF5488M5

4U-8GPU NVSwitch Enabled AI Server

4U 서버로 최신 NVIDIA® Architecture인 NVSwitch를 사용,
GPU-GPU 완전한 연결(NVSwitch Full Connection)을 통해 최고의
성능을 제공하는 8GPU 랙서버입니다. 음성 인식, 비디오 분석 및 지능형
고객 서비스를 포함한 다양한 딥 러닝 및 고성능 컴퓨팅 응용프로그램을
용이하게 하도록 설계 되었으며, AI 연구의 컴퓨팅 작업과 관련하여 최고
성능을 요구하는 공공 및 연구기관, 엔터프라이즈 등에 적합합니다.

THE WORLD'S MOST POWERFUL SERVER

IInspur NF5488M5는 4U 서버로 NVSwitch Full Connection을 통해 최고의 성능을 제공하는 8GPU 랙서버입니다.

  • Extreme Performance
    차세대 Intel Xeon Scalable processor를 채택 및 3UPI
    연결을 통해 성능을 극대화 시킨 고성능 AI 서버로 NVSwitch를
    통해 GPU간 완전한 연결이 가능 하여 이전 8x SXM2 GPU Cube
    Mesh Architecture세대 보다 성능이 14배 향상 되었습니다.
  • High Bandwidth
    GPU-GPU당 300GB/s의 대역폭 통신이 가능하며,
    GPU 총합계 대역 폭인 2.4TB/s의 고 대역폭을
    바탕으로 GPU 연산을 실행하여 큰 규모의
    AI 연구나 HPC 문제를 가능하게 합니다
  • Easy to Deploy
    4U서버에 총 6KW 전력을 소비, 특히 전력에 제한을
    두는 랙을 위해 설계되어 광범위한 데이터 센터
    시나리오에 쉽게 배치 할 수 있습니다.
  • Energy-Efficient
    GPU를 위해 보다 전력 효율적인 전압인
    54VDC에서 작동하도록 설계되었으며,
    업계 최고의 열 관리 및 제어를 제공하는 다층
    방열 설계 및 지능형 PID 조정이 가능합니다.
Product Appearance
Front View
Rear View

Inspur NF5488M5 모델은
내부에 SXM2 규격의 GPU를
최대 8개까지 지원합니다.

Status Button
Inner
NVIDIA® HGX-2 GPU Base Board

Inspur NF5488M5는 NVIDIA® 와 공동으로 개발하였으며, NVIDIA® HGX-2 GPU Base Board를 사용하여 GPU를 구성합니다.
Inspur NF5488M5에 장착하는 HGX-2 GPU Base Board는 8개의 NVIDIA® Tesla® V100 GPU 및 NVIDIA® NVSwitch™을 사용,
단일 규모로 1 PetaFLOPS의 성능을 바탕으로 큰 규모의 모델의 트레이닝 연산을 신속하고 효율적으로 처리합니다.

HGX-2 GPU Base Board 실제 레이아웃

8 NVIDIA Tesla V100
GPUs 256GB Memory

6 NVIDIA NVSwitches Direct
GPU-to-GPU Connection Between All 8 GPUs

Baseboard

PCB based NVLink bridge

  • HGX-2 GPU Base Board 사양
  • 성능
  • 1 PetaFLOPS Tensor Operations, 125 TeraFLOPS Single-precision,
    62 TeraFLOPS Double-precision
  • GPU
  • 8x NVIDIA Tesla V100 SXM3
  • GPU Memory
  • 256GB total 7.2TB/s bandwidth
  • NVIDIA CUDA® Cores
  • 40,960
  • NVIDIA Tensor Cores
  • 5,120
  • Communication Channel
  • NVLink 기반 NVSwitch 총 합 대역폭 2.4TB/s (총 48 NVLink)
NVSwitch를 통한 GPU간 완전한 대역폭 제공

다중 GPU 시스템에서 PCIe 대역폭이 점점 더 병목 지점이 되고 있으므로 딥러닝 워크 로드에서의 신속한 성장은 더 빠른 성능의 여러 GPU를
연결하여 확장할 수 있는 인터커넥트의 수요를 증가시켰습니다. 이전 SXM2 GPU Cube Mesh Architecture에서 NVLink는 8개의 GPU를
단일 서버에 지원하였으며 PCIe3.0 (양방향 대역폭 32GB/s)대비 NVLink2.0(양방향 대역폭 50GB/s)을 통해 PCIe를 넘어선 성능 가속화를
이루는 등 대단한 발전을 보였습니다. 하지만 보다 큰 모델의 딥러닝 성능을 증가시키려면 더 많은 GPU를 단일 서버에 지원해야 하며,
모든 GPU 구간에서 더 높고 동일한 대역폭을 보장하는 새로운 GPU 구조가 필요했습니다.

Inspur NF5488M5는 6 LINK로 완전히 연결된 8개의 GPU를 통해 GPU-GPU의 모든 구간에서
300GB/s의 대역폭을 보장하며 1페타플롭스의 컴퓨팅 성능을 갖춘 단일 대형 가속기로 사용할 수 있습니다.

8x SXM2 GPU Cube Mesh Architecture
(GPU-GPU간 1 or 2 NVLINK 연결)
NVLink 연결 구조(GPU-GPU 연결)
8x SXM3 GPU with NVSwitch full interconnection Architecture (GPU-GPU간 6 NVLINK 연결)
SXM2 & SXM3 Architecture

Inspur NF5488M5는 SXM3 GPU를 통해 NVSwitch를 통해 GPU-GPU 통신 시 약 3배 더 높은 대역폭을 지원합니다.

100GB/s
P2P bandwidth

NVIDIA® Tesla® SXM2 V100

300GB/s
P2P bandwidth

NVIDIA® Tesla® SXM3 V100

NVLink1.0 (For SXM GPU)

기존 PCIe를 통한 GPU 연결 방식은 GPU 전 구간 Direct P2P 통신이 원활하지 못하였으며, GPU-GPU 통신 성능을 한층
더 향상시키기 위한 수요 또한 증가하였습니다. 이에 NVIDIA에서는 NVLink를 통해 CPU를 거치지 않고GPU 전 구간의
고속 Direct P2P 통신을 가능하게 하였습니다. NVLink1.0은 단일 레인 당 40GB/s의 양방향 대역폭을 제공하며
GPU-GPU 당 최대 2개 레인 연결을 지원하여, 기존 PCIe 연결 방식보다 더 높은 대역폭으로 GPU-GPU 간 통신이 가능합니다.

8GPU Server PCIe

GPU-CPU-GPU 통신구간

  • 1 PCIe GEN3 단방향 대역폭: 16GB/s
  • 2 단일 레인 당 32GB/s 양방향 대역폭 지원
  • 3 1GPU 당 1개의 레인 연결로 최대 32GB/s의 양방향 대역폭 지원
8x SXM2 GPU Cube Mesh Architecture (NVLink 1.0)
  • 1 NVLink 1.0 단방향 대역폭: 20GB/s
  • 2 NVLink 1.0 단일 레인 당 40GB/s 양방향 대역폭 지원
  • 3 1GPU 당 4개의 레인 연결로 최대 160GB/s의 양방향 대역폭 지원

모든 GPU 간 원활한 Direct P2P 통신 / PCIe 대비 더 많은 레인 및 높은 대역폭 제공
⇒ GPU 활용 극대화 / 더 많은 데이터 전송 가능

NVLink2.0 (For SXM2 GPU)

NVLink2.0에서는 단일 레인에서 PCIe 대역폭의 약 2배에 달하는 50GB/s 양방향 대역폭을 제공하여 GPU-GPU 간 성능을 극대화
했습니다. 또한 특정 구간에서 레인 수를 증가시켜 모든 GPU에서 최대 300GB/s의 양방향 대역폭 연결이 가능합니다.

8x SXM2 GPU Cube Mesh Architecture (NVLink 2.0)
  • 1 VLink 2.0 단방향 대역폭: 25GB/s
  • 2 NVLink 2.0 단일 레인 당 50GB/s 양방향 대역폭 지원
  • 3 1GPU 당 6개의 레인 연결로 최대 300GB/s의 양방향 대역폭 지원

모든 GPU 간 원활한 Direct P2P 통신 / NVLink1.0 대비 향상된 대역폭
⇒ GPU-GPU 간 최대 100GB/s의 통신 대역폭 제공

NVSwitch(For SXM3 GPU)

NVIDIA에서는 더욱 복잡한 DL 모델의 트레이닝을 처리하고, GPU 활용을 극대화하기 위해 NVSwitch 기반의 새로운
GPU-GPU 아키텍처를 출시하였으며, GPU 간 Full Connection을 통해 모든 GPU-GPU 구간에서 300GB/s의 통신이
가능해졌습니다. NVSWitch에서는 모든 GPU에서 최대 2.4TB에 달하는양방향 대역폭을 구현할 수 있습니다.

8x SXM3 GPU with NVSwitch full interconnection Architecture

Link 기반 NVSwitch 총 합 대역폭 = (6 x 50GB/s) x 8GPU
= 2.4TB/s (총 48 NVLink)

모든 GPU 간 완전한 대역폭 제공 및 GPU 활용 극대화
⇒ GPU-GPU 간 통신 대역폭 300GB/s (8GPU 전부 동일)

NVSwitch / NVSwitch Chip

[NVSwitch]

[NVSwitch Chip]

  • NVSwitch Chip Speciflcations
  • Port Configuration
  • 18 NVLink Port
  • 18 NVLink Port
  • 50GB/s per NVLink Port (Total for both directions) Fully-Connected crossbar internally
  • Connectivity Transistor
  • 2 billion (20억)
Inspur NF5488M5 GPU Topology
Fully Cover All AI Applications
AI Business
  • COMPUTING VISION
  • NATURAL LANGUAGE
    PROCESSING
  • AUTONOMOUS
    DRIVING MODELLING
  • LIFE SCIENCE
    RESEARCH
  • FINANCIAL MODELLING
  • INTELLIGENT TRAFFIC
  • MEDICAL IMAGING
  • AI CLOUD
8GPU Server PCIe
8GPU Server PCIe
HARDWARE PLATFORM FOR TRAINING

[NF5488M5]

Extreme World-Class Performance

Inspur NF5488M5는 최첨단의 컴퓨팅 및 메모리 기술을 지원합니다. 인텔,
2933MHz 속도 기반 메모리 스틱 및 최대 10.4 GT/s UPI 인터커넥트 링크가
3개 내장된 최신 Intel Xeon Scalable Processor와 함께 제공되어 속도 지연
현상을 감소시킵니다. 또한 HPC, 딥러닝, 머신러닝 애플리케이션 등에서 최적의
시스템 성능을 달성하기 위해 8개의 SXM3 GPU를 통합할 수 있습니다.

Flexible Design Configurations

Inspur NF5488M5는 다양한 비즈니스 요구를 충족시킬 수 있는 풍부하고
유연한 구성을 제공합니다. 유연하고 확장 가능한 내부 스토리지는 최대
8 x 2.5” 드라이브까지 지원하며, 그 중 4x 2.5” NVMe로 전환 가능합니다.
또한, 최대 5개의 PCI Express 3.0 I/O 확장 가능하며, 그 중 4x Standard x16
PCIE Slot(HHHL) for 100G NIC, 1x Standard x8 PCIE Slot(HHHL) for 50G
NIC로 네트워크 용량을 확장할 수 있어 네트워크 효율성을 높일 수 있습니다.

INSPUR
Total Management System

무료로 제공되는 ITMS (INSPUR Total Management System)는
서버를 관리하는 Management System Tool로 사용자들이 한눈에
서버의 상태를 확인 가능하도록 제작되었습니다. 전문적인 엔지니어가
아니어도 관리자가 쉽게 접속하여 한눈에 서버의 상태를 확인 할 수 있으며,
CPU, Memory, HDD 등 실시간 장비 정보를 확인하여 사전에
장애에 대한 관리와 조치가 가능합니다.

INSPUR

선도적인 지능형 컴퓨팅 플랫폼 및 솔루션

Inspur는 세계 최고의 클라우드 컴퓨팅 제품 및 솔루션 공급 업체로서 전세계
서버업계 3위 및 중국 내 1위를 점유한 세계에서 가장 빠르게 성장하는 서버 벤더입니다.

  • • 세계 117 개국 지역에 사업을 확장하고, 26 개국에 지점 사무소를 개설, 약 12,000개 비즈니스 파트너와 협력
  • • 중국(Beijing, Shenzhen, Jinan, Zhengzhou), 미국(Seattle, Silicon Valley), 대만 및 기타 국가에 8개 R & D 센터를 설립
  • • 중국(Jinan, Shenzhen), 미국(Fremont), 베네수엘라, 케냐 등 국가에 6개 공장을 설립 중국, 인도에 글로벌 콜 센터 설립
Inspur 기술지원 서비스 안내
Service System Based on ITIL

Inspur의 기술지원 서비스는 ITIL에 기반을 둔 시스템 으로 2010년에
ISO20000과 ISO27001 인증을 획득 한 검증된 프로세스입니다.

ITIL (Information Technology Infrastructure Library) 이란?
IT 서비스 관리 분야에서 가장 널리 인정되는 국제표준으로서 영국정부 기관인 OGC가 개발하였으며,
전세계 기업으로부터 효율성을 인정받아 표준 IT관리 가이드라인으로 활용되고 있습니다.

Service Process

Inspur와 리더스시스템즈의 신속한 서비스로 언제,
어디서나 빠르고 정확하게 기술 지원 및 장비 파트 교체 서비스를 받으실 수 있습니다.

  • 사용자
    서비스요청
  • Hotline
    or E-mail
  • Inspur
    글로벌 콜센터
  • 리더스시스템즈
    기술지원센터
  • 리더스시스템즈
    스페어 부품 센터
  • 엔지니어
    지원
리더스시스템즈 기술 지원 서비스

리더스시스템즈는 전문 엔지니어를 보유하여 장애 발생 시 원활한 대응이 가능하며 전화를 통한
문의 응대부터 전문 엔지니어 방문까지 단계적 지원을 하고 있습니다. 또한 지속적으로 정기점검, 교육,
H/W 및 S/W 업데이트, 패치 지원 등 사후관리를 통해 고객만족을 약속합니다.

  • 구축 서비스
    일정에 따른 안정적인 제품 공급,
    전문적인 인프라 설계를 통한 시스템 구축
  • 전화지원 서비스
    시스템 운영 중에 있을 수 있는 긴급문의사항
  • 전담지원 서비스
    리더스시스템즈 전담 기술 Support 담당자 배속
    S/W & H/W 장애, 재설치, 교육, 정기점검을 수행
  • 프리미엄급 이상 서비스 제공
    변경작업 On-site 작업계획서 및 정기점검 각종
    산출물 제공 / HW펌웨어 및 SW업데이트, 패치
    지원 재설치 작업 On-site 지원
  • 사전점검 서비스
    정기점검을 통한 사후발생 문제 관련 원천차단
  • 분석 서비스
    HW 및 솔루션 관련 문제 및 장애발생시
    리더스시스템즈 Escalation 지원
전담 채널을 통한 맞춤형 기술 지원 서비스
  • Deep Learning
    전문 지식을 갖춘 리더스시스템즈의
    DL 전문 Engineer 기술 지원
  • H/W 및 S/W 장애 발생 시,
    각 Part 별로 연락할필요 없이
    모든 부분을 One-Stop 기술 지원
  • 수시로 변화하는 Deep Learning
    S/W 프레임워크, H/W 호환성
    Issue에 실시간 대응
Inspur NF5488M5 Specification
Inspur NF5488M5
Form Factor
ㆍ4U Rackmount
CPU
ㆍSupport up to 2x Intel® Xeon® Scalable Processor
     (Skylake/Cascade Lake)
Memory
ㆍSupport up to 24x DIMMs, Speed up to 2933MHz
Memory Type
ㆍRDIMM, LRDIMM
GPU
ㆍ8x SXM3 GPU(NVSwitch fully-connected topology)
Storage
ㆍFront : 8x SATA/SAS hot swap 2.5” HDD/SSD (Includes 4x 2.5” NVMe)
RAID
ㆍSupport RAID 0/1/10/5/50/6/60
M.2 & SSD support
ㆍSupport up to 2x built-in M.2 SSDs
Network Adapter
ㆍOnboard : 2x 10Gb Ethernet port (SFP+)
ㆍOption : Up to 5x PCIe slots for network adapters extension
PCIe Slots
ㆍ4x Standard X16 PCIE HHHL Slot
ㆍ1x Standard X8 PCIE HHHL Slot
Integrated I/O port
ㆍFront : 2x USB 3.0 port, 1x VGA port, 1x IPMI port(RJ45)
ㆍRear : 1x SUV port(2x USB 2.0 port or 1x VGA port),
                 1x IPMI port(RJ45), 1x Serial Port
System Management
ㆍFront : Integrated 1x independent 1Gb (RJ45) network
                   interface for remote management

ㆍRear : Integrated 1x independent 1Gb (RJ45) network
                 interface for remote management
Fans
ㆍ6x hot swap fans, N+1 redundancy
Power Supply
ㆍ3000W PSU available, 2+2 redundant
Operating Temperature
ㆍ10℃ ~ 35℃
Dimensions
ㆍ448(W)x175.5(H)x850(D) (unit : mm)
Weight
ㆍFull configuration NW 62kg, GW 95kg
    (Gross weight including mainframe +
     packing box + rails + accessory box)
Supported
Operating Systems
ㆍLinux and Windows Server