NVIDIA H100 94GB NVL 제품이다
제품 1개당 약 4000만원이 넘는 제품이다 해당 제품 2개를 nvlink로 연결해서 대역폭을 확장하려고 한다
서버 구매 가격이 후덜덜 하다. 1억2천정도 구매

위 2개의 VGA카드를 장착하고 NVLINK를 활용해서 대역폭을 확장한다 필요한 제품은 NVLINK 제품 3개

GPU서버 베어본은 ASUS GPU 서버를 활용했다

서버 뒷면에 H100 NVL 94GB 제품 2장이 장착되어 있으며 NVLINK도 연결했다

2개의 H100 NVL 94GB 제품이 장착된 것을 확인

GPU 2장이 VN12 로 연결된 것을 확인

GPU0번과 GPU1번이 연결된것을 체크

 마지막으로 대역폭을 체크해보면 최대 528GB/s 까지 통신이 되는것을 확인 할 수 있다.

추가적으로  부하테스트