안녕하세요 오늘은 ESXi 가상화 서버에 nVidia VGA GPU Pass through 설정 을 알아보도록 하겠습니다.
가상화에서 Pass through 란 하드웨어를 VM(Virtual Machine)에 직접 연결하는것을 말합니다.
예를 들자면 가상화에서 프린터를 연결해서 출력이 필요한 일이 생겼습니다.
ESXi가 설치된 PC에 USB 프린터를 직접 연결해도 VM에서는 사용이 불가능합니다.
(ESXi에 USB가 추가된것이지 때문에 VM에서는 해당 USB 포트를 사용할수 없습니다.)
이럴때 ESXi에 생성된 VM에 USB 포트를 Path through 합니다.
그렇게되면 VM에서 USB포트를 직접 사용하기 때문에 프린터 또한 사용이 가능합니다.
예로 USB Device를 선택했을뿐이고 VGA, Lan 등 여러 장비를 Pass through (이하 P/T 표기)할수 있습니다.
유용한 기능이기는 하지만 그만큼 많은 제약도 있습니다.
1. CPU 및 M/B에서 VT-D를 지원해야 합니다.
2. Pass through 사용시 네이티브 사용시 보다 성능이 조금 줄어 듭니다. (약 90% 추정)
3. 동시에 여러 VM에 같은 Device를 P/T할수 없습니다. (동시 사용 불가)
4. 많은 오류 발생으로 인하여 설정이 어렵고 안전성 또한 보장할수 없습니다.
저는 요번에 Nvidia VGA를 P/T할 예정입니다.
VGA를 P/T를 사용하는 이유는 ESXi는 베어메탈 가상화로 ESXi가 설치된 PC에서는 직접 VM을 사용할수 없습니다.
그렇기에 ESXi 가상화를 사용할 PC가 한대 더 필요합니다.
이럴때 VGA를 P/T하게 되면 ESXi가 설치된 PC에서 VM을 직접 사용할수 있습니다.
정확히 VGA, USB 2가지 P/T가 필요합니다.
VGA P/T를 하기 위해서는 VGA가 두개 있어야합니다.
저같은경우는 CPU에 내장 VGA가 없는 시스템이라 VGA를 2개 설치 하였습니다.
보통 VGA는 Nvidia 와 AMD가 있습니다.
AMD는 VGA는 P/T가 잘되는 반면에 Nvidia는 실패를 많이합니다.
Nvidia에서는 가상화용 VGA인 GRID를 판매를 하기위해 일반 VGA는 가상화에서 P/T 사용을 못하게 해두었습니다.
이제 설치 방법을 알아보도록 하겠습니다.
다시 한번 말씀 드리지만 CPU, M/B 모두 VT-D를 지원해야합니다.
또한 Bios에서 VT-D 설정을 Enabled 하시기 바랍니다.
1. ESXi Web UI 접속
ESXi Web UI 접속 방법 포스트를 참조하여 접속 합니다.
2. ESXi Pass Through 설정
1) 왼쪽 메뉴 중 “관리”를 클릭 합니다.
2) 상단 메뉴 중 “하드웨어”를 클릭 합니다.
3) “PCI디바이스” 클릭 합니다.
4) NVIDIA Corporation Audio device, nVidia Corporation Audio를 체크 합니다.
하나는 HDMI, DP등 Audioa 관련이고 하나는 GPU입니다.
저는 명칭이 GP107이지만 VGA 마다 명칭이 틀리니 유의하시기 바랍니다.
(잘보시면 4, 7번 모두 Nvidia VGA입니다. 위에서 설명 드렸다 싶이 ESXi용 VGA와 가상화 P/T용 2가지를 설치해서 그렇습니다. V/T할 VGA를 체크 해주시면 됩니다.)
5,6) USB Device, Audio Controller 를 체크합니다.
VGA P/T 후 마우스와 키보드를 사용하기 위해 USB Device를 P/T 합니다.
Audio Controller도 사운드를 위해서 체크 합니다.
8) “패스 스루 전환”을 클릭하여 P/T를 활성화 합니다.
9) P/T 활성화를 적용하기 위해 재부팅을 합니다.
3. VM Pass Through 적용
1) 왼쪽 메뉴 중 “가상 시스템” 클릭 합니다.
2) P/T할 VM을 선택 합니다.
3) VM 설정 편집을 위해 “편집” 버튼을 클릭 합니다.
4) “기타 디바이스 추가” 클릭 합니다.
5) 새”PCI 디바이스” 5개 추가 합니다. (위에서 USB 2개, Audio 1개, VGA 2개를 P/T 했기 때문에 총 5개를 추가해야 합니다)
6) 추가된 5개의 “새 PCI 디바이스”에 위에 2번에 P/T 진행했던 USB 2개, Audio 1개, VGA 2개를 매칭합니다.
7) “VM 옵션”을 클릭 합니다.
8) 항목 중 “고급”을 클릭 합니다.
9) 고급항목에 있는 “구성 편집”을 클릭 합니다.
10) “매개 변수 추가”를 클릭 합니다.
11) 왼쪽 키에는 hypervisor.cpuid.v0 오른쪽 값에는 FALSE 입력 합니다. (대소문자 주의)
12) “확인” 버튼을 클릭 합니다.
13) “저장” 버튼을 클릭 합니다.
4. VM Pass Through 드라이버 설치
3번까지 진행을 하면 P/T 설정은 완료 되었습니다.
마지막으로 VM 실행 후 Widnows상에서 해당 VGA 드라이버를 설치해주면 완료됩니다.
이부분은 생략 하도록 하겠습니다.
현재 제가 사용하고 있는 VGA는 GTX1050, 1070, 1080, 1080Ti이며 모두 성공하였습니다.
많은분들이 Nvidia GPU Pass Through에 실패를 하고 AMD로 많이들 넘어갑니다.
생각보다 어렵지 않으며 도전해볼만한 일이라 생각이 됩니다.
감사합니다.
안녕하세요.
포스팅 잘 보았습니다.
hp 마이크로서버 gen8 사용을 하고 있고요.
여기에 ESXi 6.0 설치를 하였습니다.
windows 7 vm 설치도 했습니다.
지금 가지고 있는 그래픽카드가
NVIDIA QUADRO NVS295 256MB PCI-EXPRESS X16 DUAL DISPLAY PORT VIDEO CARD X175K
가지고 있는데요.
슬롯이 하나라 하나만 장착이 되어 있고, 자체 D-SUB VGA 단자가 있습니다.
가능할까요?
감사합니다.
우선 CPU가 내장 그래픽을 가지고 있는지 확인할 필요가 있을듯합니다.
micro Gen8이면 3세대 사용하실것 같은데 CPU를 어떤것 사용하시나요?
내장그래픽을 가지고 있따는 전제하에 ESXi를 내장으로 NVS295를 Windows7 VM에 P/T 하면됩니다.
참고로 Windows7 VM을 종료하면 NVS295에서도 ESXi를 볼수 있습니다.
그러니 모니터는 NVS295에만 연결해두어도 됩니다.
NVS295 장착을 하여 확인을 하니 패스스루 사용할 수 없음 이라고 나오네요.
따라서 8) “패스 스루 전환”을 클릭하여 P/T를 활성화 합니다. 라는 부분을 실행을 할 수 없네요.
답변이 늦어서 죄송합니다. 패스 스루 전환이 불가능하다면
CPU 및 M/B에서 VT-D 지원 여부를 확인하셔야 할듯합니다.
4. 많은 오류 발생으로 인하여 설정이 어렵고 안전성 또한 보장할수 없습니다. 라고 하셨는데 쾌적한 사용이 어렵다는 의미인가요?
마이크로서버에 ESXi 설치냐 윈도우 설치하여 hype-v 사용을 할 것이냐 문제네요. ㅠㅠ
저도 많이 고민했던 부분입니다.
다만 ESXi와 Hyper-V는 차이가 많습니다.
VM의 성능과 안전성에서 베어메탈인 ESXi가 우위에 있습니다.
하지만 오류가 없지는 않은거 같습니다. 대부분의 가상화가 이런 문제가 있습니다.
그리고 아무래도 네이티브보다는 성능도 떨어집니다.
그래도 ESXi를 사용하는 이유는 한 컴퓨터에서 여러가지 OS를 돌릴수 있고 관리가 편합니다.
필요에 따라서 VT-D도 가능하니 메리트가 있습니다.
하지만 설정이 어렵습니다. GPU P/T 같은경우는 실패하는 경우도 많습니다..
그리고 E3-1220V2로 변경시 nvs295 외 그래픽카드가 하나 더 필요합니다.
1220V2는 내장 그래픽이 없기 때문입니다.
상세한 답변 감사합니다.
안녕하세요.
E3-1220v2 구매 예정인데 잘
E3-1225v2 CPU만 구하기가 어렵네요.
HP Z220 SFF Workstation 에 장착되어 중고로 판매를 하더라고요.
그래서 고민중입니다.
HP Z220 SFF Workstation 에 G1610T 호한이 되면, 구매해서 CPU만 교환하여 사용하고 싶은데. .E3-1220v2 구매해서 확실히 원활하게 GPU Pass through 사용이 가능한지…nvs295 붙는지 ㅠㅠ
데스크탑은 있어야하고, 답답하네요.
E3-1220v2 구매 취소하고, HP Z220 SFF Workstation 구매해서 되면 되는것이고, 안되면 그대로 사용하는 방식이 더 효과적인지.
E3-1220v2 8만원이고, HP Z220 SFF Workstation 22만원인데 ㅠㅠ
많은 분들이 GPU P/T 실패를하싶니다.
저도 동일한 스펙으로 테스트를 진행한것이 아니라 뭐라고 말씀드리기가 애매하네요..
만약 구입을하시게되면.. 다시 방출도 진행할 생각을 하셔야겠습니다…
Z220에 G1610은 CPU 호환 목록에는 없습니다. 아래 page 3 참조.
http://h20195.www2.hp.com/v2/getpdf.aspx/c04123230.pdf
개인적으로는 G1610도 가능할거라 판단되지만.. 공식 HP 스펙시트에는 없으니 참고하시기 바랍니다.
답변감사합니다.
hp 전문으로 하는군요 목록에는 없지만 사용은 가능하다고 하네요.
근데 판매자가 바쁜지 답이 없네요.
좋은 제품 구하셔서 잘 사용하시기를 바랍니다 😀
2cpu 에서 E3-1225v2 CPU가 장착된 hp Z220 구매, 오늘 받을것 같습니다.
CPU 바꿔 설치하고, ESXi 6.5 설치를 해야겠습니다.
추카 드립니다 드디어 실행하시겠네요~
어제 z220 정상 작동하는지 윈도우 8.1 ssd 설치해서 했네요 이번주말에 cpu 교체하고 설치 해야겠네요.
nvs295 gpu 설치하지 않고도 가능한가요?
내장그래픽만으로도 하신분이 있다고는 들었으나
저는 내장그래픽은 직접해보진 않았습니다.
처음에 nvs295를 먼저이용해보시고 추후에 내장을 해보시는것이 좋을거 같습니다.
빠른답변 감사합니다.
여러가지 사전준비를 해야겠습니다.
척척 생각대로 되면 좋겠는데 잘 안될 경우 나스는 ㅠㅠ
일단, USB 업글하고, ESXi 설치 해놀로지 올려 셋팅 마무리 하고, Pass Through 마지막에 해야겠네요.
건투를 빕니다 😀
E3-1235 v2 hp 마이크로서버 gen8 에 장착하고 디스크 교체하지 않고 부팅하니 안되 exsi 6.5 설치 하는데 디스크 에러 설치가 안되 어찌하여 설치하고 데이터스토어 디스크 큰 용량으로 해서 처음부터 설치를 했습니다.
RDM 도 셋텡하고 나스 패키지 설치하니 정상작으로 작동을 하는데. 일주일 이상 tvh 보는데 cpu 바꾸기전에 비해 끊기는 현상이 생기네요. ㅠㅠ
더 높은 cpu 장착했는데 ㅠㅠ
그리고 외장 gpu 빼고 패스쓰루 적용해 보려고 했더니 gpu 가 보이지 않네요. 외장 꼽아야 하나 ㅠㅠ
얼마전 hp p420 레이드카드 주문했는데 이것 설치하면 외장 gpu는 설치가 불가능한데. 패스쓰루 포기를 해야하네요 ㅠㅠ
또한 RDM ssh 접속해서 잡았는데 웹 에서는 여전히 비활성화 되어 있네요.
그리고 레이드카드가 오면 RDM 그대로 사용이 가능할까요?
지금은 achi 모드로 사용하는데 레이드로 변경하면 기존 자료 그대로 사용하려면 어떻게 해야할까요.
즐거운 한주 되세요.
tvh가 느려지는 문제는 ESXi 버전에 따라서 특성이 조금있습니다. 6.5도 여러버전이 있어서요
다른 버전을 한번 설치해보세요 저는 올해 4월꺼 사용하는데 낮은 사양에서도 문제 없이 잘사용하고 있습니다.
슬롯이 부족한 문제는…. 답이 없네요.. ㅠㅠ
그리고 레이드시 미러링이 아닌 레이드는 무조건 데이터 삭제가 된다고 생각하시면 됩니다.
내부 데이터 백업 후 레이드후 다시 복원하셔야할거에요
위와 같이 설정한 뒤 ESXi가 설치된 PC에서는 어떻게 해야 VM 화면을 볼수 있나요?
간단합니다.
GRID 와같은 그래픽카드 구매시 패스스루를 저렇게안해도 바로 PCI 추가만 해도 되나요?
그리고 GRID 가 아닌 Tesla, Quadro 같은것도 GPU 패스스루가 되나요? 된다면 Tesla K80 이 지원되는지 궁금하며 그 외 어떤 모델들이 지원되는지 궁금합니다.
패스스루는 한개의 장치(VGA)를 한개의 VM에만 할당을해주는것입니다.
GRID는 한개의 장치(VGA)이지만 성능을 쪼개어 여러개의 VM에 달아 주는것을 말합니다.
이둘의 개념은 다릅니다.
어떤용도로 사용을 생각하고 계신지 모르겠지만 혹시 VDI쪽을 생각하신건지요??
VDI면 Horizon등 vmware 라이센스가 어마어마할것이라 생각됩니다.
저도 구축을 하였었지만 성능은 기대이하였습니다.
다만 관리적 측면에서는 편할수 있습니다.
GRID는 라이센스 없이 장비만으로 vgpu를 사용가능하지만 Tesla는 별도의 소프트웨어 라이센스가 필요해요
k80이 vgpu를 지원하는지는 솔직히 저도 잘 모르겠습니다. nvidia측에 문의를 해보시는것이 빠를것 같습니다.
글 잘 봤습니다. 지난번에 6.0 으로 실패해서 이번에 이글보고 6.7로 다시 시도해봤습니다만..
여전히 안됩니다.
1060 이구요 설정은 잘 했다고 생각합니다.
드라이버 설치 전에는 장치관리자에 그래픽카드가 코드 10 시작할수 없다고 나오고 설치후에는 코드 43 문제가 있어 장치를 시작할수 없다고 나옵니다. 지난번에도 동일했구요.
혹시 제가 뭘 빠뜨리거나 특별한 드라이버가 있는건가요?
저같은겨우는 제가 엔비디아 홈페이지에서 받은걸 직접 사용하였습니다.
구버전 드라이버로 설치해보세요
Nvidia에서 하이퍼바이저를 탐지해 드라이버를 비활성화 합니다.
신버전 드라이버도 가능해요
안녕하세요 혹시 현재도 이거 그대로 가능한지요?… 저는 코드43 오류가 떠서요…
좋은 글 감사합니다. path through라고 오타가 있네요.