現(xiàn)如今英偉達(dá)虛擬化GPU（vGPU）已經(jīng)被應(yīng)用到不同領(lǐng)域。在虛擬GPU這一概念提出以前，應(yīng)用程序GRID vApp和桌面虛擬化技術(shù)GRID vPC已經(jīng)存在很長(zhǎng)時(shí)間，那么VGPU究竟是什么，VPC、VApp、vDWS三種授權(quán)方式有什么區(qū)別呢？
目前具備GPU虛擬化技術(shù)的主要是Intel、AMD、NIVIDA三個(gè)廠家主要用于支持交付圖形豐富的虛擬桌面和工作站。而NVIDIA GPU 是當(dāng)今市場(chǎng)上最強(qiáng)大的數(shù)據(jù)中心GPU，使用虛擬GPU軟件可以將GPU資源重新劃分，以保證GPU資源可以在多個(gè)虛擬機(jī)之間共享，或者可以將多個(gè)GPU分配給一個(gè)虛擬機(jī)，vGPU為最苛刻的工作流提供了動(dòng)力。NVIDIA虛擬GPU軟件運(yùn)行在基于NVIDIA Turing?、Volta?、Pascal?和Maxwell?體系結(jié)構(gòu)的GPU上。
一、什么是NVIDIA vGPU
NVIDIA vGPU軟件是一個(gè)圖形虛擬化平臺(tái)，可以讓虛擬機(jī)（VM）使用NVIDIA GPU的技術(shù)。NVIDIA VGPU軟件可以以多種方式使用。
NVIDIA? vGPU支持多個(gè)虛擬機(jī)（VM）能夠同時(shí)訪問(wèn)部署在宿主機(jī)系統(tǒng)上的NVIDIA單個(gè)物理GPU。通過(guò)這樣做，NVIDIAvGPU為VM提供了無(wú)與倫比的圖形性能和應(yīng)用程序兼容性，以及通過(guò)在多個(gè)工作負(fù)載之間共享GPU帶來(lái)的成本效益和可擴(kuò)展性。
二、vGPU如何簡(jiǎn)化IT管理
通過(guò)使用VDI(桌面云虛擬化)，IT管理員可以集中管理資源，而無(wú)需在每個(gè)工作位置為單獨(dú)的工作站提供支持。此外，還可以根據(jù)項(xiàng)目和應(yīng)用程序的需求增加和減少用戶(hù)的數(shù)量。
NVIDIA虛擬GPU監(jiān)控功能可為IT部門(mén)提供各種工具和見(jiàn)解，從而幫助他們節(jié)省錯(cuò)誤排查的時(shí)間，并將更多時(shí)間用于戰(zhàn)略性項(xiàng)目。IT管理員對(duì)基礎(chǔ)架構(gòu)的了解可以細(xì)化到應(yīng)用程序?qū)用?，從而能夠及早發(fā)現(xiàn)問(wèn)題，未雨綢繆。這樣可以減少支持請(qǐng)求和問(wèn)題上報(bào)的數(shù)量，并縮減解決問(wèn)題所需的時(shí)間。
借助VDI，IT人員還能夠更好地理解用戶(hù)的需求并調(diào)整資源分配。這樣可以節(jié)省運(yùn)營(yíng)成本，同時(shí)實(shí)現(xiàn)更好的用戶(hù)體驗(yàn)。此外，利用NVIDIA GPU加速虛擬機(jī)的實(shí)時(shí)遷移功能，IT人員還可以執(zhí)行關(guān)鍵服務(wù)（如工作負(fù)載均衡、基礎(chǔ)架構(gòu)韌性和服務(wù)器軟件更新），而不會(huì)造成任何虛擬機(jī)停機(jī)。它讓IT人員可以真正為用戶(hù)提供高可用性，實(shí)現(xiàn)優(yōu)質(zhì)用戶(hù)體驗(yàn)。
三、 vGPU基本構(gòu)架原理
下圖展示NVIDIA vGPU 的構(gòu)架。在NVIDIA vGPU manager的控制下，NIVDIA 物理GPU 支持多個(gè)vGPU,vGPU可以直接分配給虛擬機(jī)。
每個(gè)vGPU 都類(lèi)似于物理GPU，有固定的顯存大小，一個(gè)或者更多的虛擬顯示輸出。vGPU的存在創(chuàng)建時(shí)就從物理GPU中分配出來(lái)，并且是獨(dú)占的。
我們一起先了解一下NVIDIA vGPU的內(nèi)部架構(gòu)。vGPU跟傳統(tǒng)的GPU類(lèi)似，具有固定數(shù)量的GPU幀緩沖器和一個(gè)或多個(gè)虛擬顯示輸出。在vGPU虛擬機(jī)被創(chuàng)建的時(shí)候，幀緩沖區(qū)就被分配到物理GPU的幀緩沖區(qū)中，vGPU保留對(duì)該緩沖區(qū)的獨(dú)占使用，直到它被銷(xiāo)毀為止。留在物理GPU上的所有vGPU虛擬機(jī)共享對(duì)GPU引擎的訪問(wèn)，包括圖形（3D）、視頻編解碼引擎等。
每次vGPU的虛擬機(jī)運(yùn)行的時(shí)候都會(huì)向License服務(wù)器發(fā)起License授權(quán)請(qǐng)求：
當(dāng)配置有vGPU虛擬機(jī)發(fā)起License授權(quán)請(qǐng)求，授權(quán)服務(wù)器會(huì)根據(jù)License中所包含的GRID License版本，加載不同的vGPU驅(qū)動(dòng)（普通驅(qū)動(dòng)和專(zhuān)業(yè)Quodra卡驅(qū)動(dòng)）。目前vPC和vApp的License對(duì)應(yīng)加載的都是普通的顯示驅(qū)動(dòng)。
整個(gè)License獲取和釋放的過(guò)程發(fā)生在如下兩個(gè)階段：
1、License獲取階段：
虛擬機(jī)在啟動(dòng)的時(shí)候通過(guò)訪問(wèn)License服務(wù)器的地址+端口7070發(fā)起License的請(qǐng)求，當(dāng)正常獲取License后加載GRID驅(qū)動(dòng)。
2、License釋放階段：
當(dāng)關(guān)閉虛擬機(jī)的時(shí)候，之前虛擬機(jī)獲得的License會(huì)自動(dòng)釋放，還回到License服務(wù)器中。
注意事項(xiàng)：
當(dāng)虛擬機(jī)處于關(guān)閉狀態(tài)的時(shí)候是不占用任何GRID License的。只有在使用Tesla M60/M10 GPU 時(shí)，GRID虛擬工作站或虛擬PC的授權(quán)版本須經(jīng)由網(wǎng)絡(luò)從NVIDIA GRID License 服務(wù)器獲取到license，激活使用。
NVIDIA虛擬GPU解決方案目前已經(jīng)更新到最新的9.2版本，在最新的版本中，新增了面向AI、深度學(xué)習(xí)和數(shù)據(jù)科學(xué)服務(wù)器虛擬化場(chǎng)景的vComputeServer類(lèi)型。至此，NVIDIA vGPU授權(quán)證書(shū)產(chǎn)品組合共包含四種類(lèi)型：
NVIDIA Quadro vDWS
虛擬工作站可通過(guò)數(shù)據(jù)中心提供GPU資源讓用戶(hù)隨時(shí)隨地在任何設(shè)備上安全訪問(wèn)數(shù)據(jù)，用戶(hù)不再受物理位置的限制，NVIDIA Quadro vDWS 能夠進(jìn)一步發(fā)揮 Quadro 的優(yōu)勢(shì)，實(shí)現(xiàn)真正的GPU 加速數(shù)據(jù)中心，通過(guò)數(shù)據(jù)中心虛擬化應(yīng)用程序?yàn)榻K端用戶(hù)如建筑師、工程師和設(shè)計(jì)師提供專(zhuān)業(yè)工作站級(jí)別的用戶(hù)體驗(yàn)。在《英偉達(dá)Quadro vdws工作站講解》中有具體內(nèi)容。
常用應(yīng)用程序：?Adobe? Creative Cloud?、Allplan ANSYS、Autodesk 3ds Max、Autodesk AutoCAD、Autodesk Maya、Autodesk Revit、Bentley AECOsim Bentley MicroStation、Dassault Systèmes SOLIDWORKS、Esri ArcGIS Pro、Siemens PLM NX等
每天，數(shù)千萬(wàn)的創(chuàng)意和技術(shù)專(zhuān)業(yè)人士需要通過(guò)各種設(shè)備訪問(wèn)要求極高的應(yīng)用程序、需要隨時(shí)隨地開(kāi)展工作并處理大型數(shù)據(jù)集，同時(shí)還要確保信息的安全。
他們可能是需要在會(huì)議期間提供遠(yuǎn)程問(wèn)診服務(wù)和訪問(wèn)高質(zhì)量圖像的心臟病專(zhuān)家；或是提供沉浸式模擬培訓(xùn)體驗(yàn)的政府機(jī)構(gòu)；或是正在構(gòu)思新車(chē)設(shè)計(jì)，需要確保知識(shí)產(chǎn)權(quán)和專(zhuān)有設(shè)計(jì)在數(shù)據(jù)中心內(nèi)安全無(wú)虞，同時(shí)還要與客戶(hù)辦公室的其他人進(jìn)行協(xié)作的研發(fā)工程師。
對(duì)于具有上述復(fù)雜圖形密集需求的人士，Quadro vDWS可以提供從數(shù)據(jù)中心或云到任意設(shè)備、任意位置的功能最為強(qiáng)大的虛擬工作站。
NVIDIA GRID vPC
面向普通圖形加速場(chǎng)景(辦公），配合虛擬桌面VDI解決方案，基于vGPU數(shù)量授權(quán)。具體可以參考《英偉達(dá)vPC桌面授權(quán)及部署》。
NVIDIA GRID vApp
NVIDIA GRID? 虛擬 PC (GRID vPC) 和虛擬應(yīng)用程序 (GRID vApp)? 等虛擬化解決方案提供的用戶(hù)體驗(yàn)與本地 PC 幾乎別無(wú)二致。借助服務(wù)器端圖形以及全面管理和監(jiān)控功能，GRID 為您的 VDI 環(huán)境提供長(zhǎng)效的解決方案。為組織中的每臺(tái) VM（虛擬機(jī)）提供 GPU 加速能力，為各種現(xiàn)代企業(yè)應(yīng)用程序提供卓越用戶(hù)體驗(yàn)的解決方案，這些程序包括 Microsoft Outlook、Office 2016、網(wǎng)絡(luò)瀏覽器、Adobe Photoshop 以及 Windows 10 操作系統(tǒng)。成本有效地?cái)U(kuò)展至整個(gè)企業(yè)，并將 VDI 的覆蓋范圍擴(kuò)展到每個(gè)成員。
NVIDIA vComputerServer
提供了虛擬化GPU和加速計(jì)算密集型服務(wù)器工作負(fù)載的能力，包括AI，深度學(xué)習(xí)和數(shù)據(jù)科學(xué)。有了這個(gè)，汽車(chē)制造商可以使用最新的模擬和計(jì)算技術(shù)來(lái)創(chuàng)建最節(jié)省燃料和時(shí)尚的設(shè)計(jì)，研究人員可以分析基因的功能，以更快地開(kāi)發(fā)醫(yī)療。
四、NVIDIA vGPU軟件三種虛擬方式區(qū)別
GRID vAPP(vApps) – 基于使用vGPU的并發(fā)用戶(hù)會(huì)話(huà)數(shù)授權(quán)
GRID vPC(vPC) – 基于使用vGPU的并發(fā)數(shù)授權(quán)
vComputeServer(vCS) – 基于物理GPU授權(quán)，且僅支持訂閱模式
Quadro Virtual Data Center Workstation (vDWS) – 基于使用vGPU的并發(fā)數(shù)授權(quán)
五、GPU和對(duì)應(yīng)VGPU虛擬化支持情況
什么物理GPU支持vGPU？能夠跟linux kvm兼容的vGPU版本是5.0到5.2目前有七種型號(hào)能夠兼容
tesla M60
tesla M10
tesla M6
tesla p100
tesla p100(12GB)
tesla P40
tesla P4
詳細(xì)如下表
每一種物理GPU支持的vGPU類(lèi)型都不一樣。vGPU顯卡性能主要以分配的顯存及顯卡類(lèi)型進(jìn)行劃分，即虛擬機(jī)所分配的虛擬顯卡型號(hào)。vGPU有幾種后綴：
- Q系列虛擬GPU類(lèi)型針對(duì)設(shè)計(jì)師和高級(jí)用戶(hù)。（vDWS,虛擬工作站）
- B系列虛擬GPU類(lèi)型針對(duì)高級(jí)用戶(hù)。（vPC,虛擬pc）
- A系列虛擬GPU類(lèi)型針對(duì)虛擬應(yīng)用程序用戶(hù)。（vAPP,虛擬應(yīng)用，有點(diǎn)類(lèi)似于遠(yuǎn)程應(yīng)用）
A系列NVIDIAvGPU支持低分辨率的單個(gè)顯示器，因?yàn)樗鼈冎荚谥С诌h(yuǎn)程應(yīng)用程序環(huán)境，如RDSH和XenApp。在這些環(huán)境中，虛擬應(yīng)用程序通常呈現(xiàn)在屏幕外的緩沖區(qū)中。因此，A系列NVIDIA vGPU的最大分辨率與顯示器的最大分辨率無(wú)關(guān)。
有幾點(diǎn)是要注意的：
1、NVIDIAvGPU是所有支持的GPU主板上的許可產(chǎn)品。需要軟件許可才能啟用來(lái)賓虛擬機(jī)中的所有vGPU功能。所需許可證的類(lèi)型取決于vGPU類(lèi)型。
2、NIVDIA? vGPU是需要授權(quán)的，根據(jù)不同的應(yīng)用場(chǎng)景（vDWS、vPC、vAPP）來(lái)按數(shù)量授權(quán)。
3、一顆物理GPU核心只能劃分為一種vGPU模式，多GPU的卡可以支持多種模式，例如M60有兩顆GPU芯片，可支持兩種模式。
注意要點(diǎn)：
虛擬機(jī)兼容性
Windows支持所有類(lèi)型的vGPU
Linux只支持q系列vGPU
M6 M10 M60的8q系列vGPU以及P4 P6 P40P100的q系列才支持cuda以及 Unified Memory的OpenCL（估計(jì)就是性能和兼容性好些）。
六、物理機(jī)如何安裝驅(qū)動(dòng)：
直接運(yùn)行run文件就可以了：NVIDIA-Linux-x86_64-430.46-vgpu-kvm.run
vGPU驅(qū)動(dòng)說(shuō)明：
A physical GPU that is passed through to a VM is bound to the vfio-pci kernel module. A physical GPU that is bound to the vfio-pci kernel module can be used only for pass-through. To enable the GPU to be used for vGPU, the GPU must be unbound from vfio-pci kernel module and bound to the nvidia kernel module.
#? lspci -d 10de: -k
b1:00.0 3D controller: NVIDIA Corporation Device 1db4 (rev a1)
Subsystem: NVIDIA Corporation Device 1306
Kernel driver in use: nvidia
Kernel modules: nvidiafb, nouveau, nvidia_vgpu_vfio, nvidia
查詢(xún)GPU的BDF
root@example:~# lspci | grep NVID
b1:00.0 3D controller: NVIDIA Corporation Device 1db4 (rev a1)
查找vGPU類(lèi)型
root@example:/sys/class/mdev_bus/0000:b1:00.0/mdev_supported_types# grep -l “V100-1Q” nvidia-*/name
nvidia-105/name
注意：至于要?jiǎng)?chuàng)建哪種類(lèi)型的vGPU，就看具體的物理GPU型號(hào)和vGPU要求了，看這個(gè)xxxx-grid-vgpu-user-guide.pdf文檔能找到類(lèi)似如下，各個(gè)物理GPU都有詳細(xì)配置，根據(jù)自己情況來(lái)：
查看該類(lèi)型能支持的vGPU個(gè)數(shù)
root@example:/sys/class/mdev_bus/0000:b1:00.0/mdev_supported_types# cat nvidia-105/available_instances
16
創(chuàng)建vGPU
root@example:/sys/class/mdev_bus/0000:b1:00.0/mdev_supported_types# uuidgen
b0ff7f66-c989-4841-ba57-6d5adcd55a2d
root@example:/sys/class/mdev_bus/0000:b1:00.0/mdev_supported_types# echo “b0ff7f66-c989-4841-ba57-6d5adcd55a2d” > nvidia-105/create
root@example:/sys/class/mdev_bus/0000:b1:00.0/mdev_supported_types# uuidgen
b94a0c97-946d-4e57-b317-8bdaa38e455a
root@example:/sys/class/mdev_bus/0000:b1:00.0/mdev_supported_types# echo “b94a0c97-946d-4e57-b317-8bdaa38e455a” > nvidia-105/create
檢查創(chuàng)建是否成功
root@example:~# ls -l /sys/bus/mdev/devices/
total 0
lrwxrwxrwx 1 root root 0 Aug 21 12:41 b0ff7f66-c989-4841-ba57-6d5adcd55a2d -> ../../../devices/pci0000:ae/0000:ae:02.0/0000:b1:00.0/b0ff7f66-c989-4841-ba57-6d5adcd55a2d
lrwxrwxrwx 1 root root 0 Aug 21 13:44 b94a0c97-946d-4e57-b317-8bdaa38e455a -> ../../../devices/pci0000:ae/0000:ae:02.0/0000:b1:00.0/b94a0c97-946d-4e57-b317-8bdaa38e455a
qemu虛擬機(jī)使用
-device vfio-pci,sysfsdev=/sys/bus/mdev/devices/b94a0c97-946d-4e57-b317-8bdaa38e455a -uuid xxxxxxxxxxxxxxxxxxxxx
后面就是虛擬機(jī)內(nèi)部安裝對(duì)應(yīng)的驅(qū)動(dòng)程序了，一般名稱(chēng)為：xxxx_grid_win10_server2016_server2019_64bit_international.exe
刪除：
root@example:/sys/devices/pci0000:ae/0000:ae:02.0/0000:b1:00.0/mdev_supported_types/nvidia-105/devices# echo 1 > b0ff7f66-c989-4841-ba57-6d5adcd55a2d/remove
關(guān)于授權(quán)：
Nvidia的vGPU在虛擬機(jī)內(nèi)部使用是需要購(gòu)買(mǎi)license的，具體的部署方式是需要搭建一臺(tái)授權(quán)服務(wù)器，虛擬機(jī)內(nèi)部安裝顯卡驅(qū)動(dòng)后需要配置授權(quán)服務(wù)器的地址和端口，前提是虛擬機(jī)和授權(quán)服務(wù)器網(wǎng)絡(luò)是通的，虛擬機(jī)每次開(kāi)機(jī)后都要連接到授權(quán)服務(wù)器進(jìn)行授權(quán)。
GRID vPC大概2600元，GRID vApps 380元，RTX vWDS 7200元，VCS 3600元。具體的可以聯(lián)系同袍存儲(chǔ)工作人員。
