NVIDIA A100 PCIe - GPU-Rechenprozessor - PCIe

Die leistungsstärkste End-to-End Plattform für KI und HPC im Rechenzentrum
A100 ist Teil des kompletten NVIDIA-Lösungs-Stacks für Rechenzentren, der Bausteine für Hardware, Netzwerke, Software, Bibliotheken und optimierte KI-Modelle und -Anwendungen von NGC umfasst. Sie repräsentiert die leistungsstärkste End-to-End-KI- und HPC-Plattform für Rechenzentren und ermöglicht es Forschern, realistische Ergebnisse zu liefern und Lösungen in der entsprechenden Größenordnung bereitzustellen.

Deep Learning Training
Die Komplexität von KI-Modellen steigt schlagartig, da sie auf der nächsten Ebene Herausforderungen wie akkurate Konversations-KI und Deep-Recommender-Systeme übernehmen. Das Training erfordert enorme Rechenleistung und Skalierbarkeit. A100 - die Tensor Cores der dritten Generation von NVIDIA mit Tensor Float (TF32)-Präzision - bieten bis zu 10-mal mehr Leistung gegenüber der Vorgängergeneration ohne Code-Änderungen und mit weiterem 2-fachen Boost mit automatischer Mixed-Precision. In Kombination mit NVIDIA NVLink der dritten Generation, NVIDIA NVSwitch, PCI Gen4, Mellanox Infiniband und dem NVIDIA Magnum IO -Software-SDK ist die Skalierung auf Tausende von A100-Grafikprozessoren möglich. Das bedeutet, dass große KI-Modelle wie BERT in nur xx Minuten in einem Cluster von xx A100s trainiert werden und so unübertroffene Leistung und Skalierbarkeit bieten können.

Inferenz für Deep Learning
Mit A100 werden bahnbrechende Funktionen zur Optimierung von Inferenzworkloads eingeführt. Durch die Beschleunigung einer ganzen Reihe von Präzisionsniveaus, von FP32 über FP16 und INT8 bis hin zu INT4, ist nun eine bisher unerreichte Vielseitigkeit möglich. Mit der Multi-Instanz-GPU-Technologie (MIG) können mehrere Netzwerke gleichzeitig auf einem einzelnen A100-Grafikprozessor ausgeführt werden, um die Rechenressourcen optimal zu nutzen. Die strukturelle geringe Dichte bietet bis zu 2-mal mehr Leistung zusätzlich zu den anderen Inferenzleistungssteigerungen durch A100.

Leistungsstarke Datenanalyse
Kunden müssen dazu in der Lage sein, umfangreiche Datensätze zu analysieren, zu visualisieren und zu Erkenntnissen zu machen. Doch Skalierungslösungen sind oft festgefahren, da diese Datensätze auf mehrere Server verteilt sind. Beschleunigte Server mit A100 liefern die benötigte Rechenleistung - zusammen mit 1,6 Terabyte pro Sekunde (TB/s) Speicherbandbreite sowie Skalierbarkeit mit NVLink und NVSwitch der dritten Generation -, um diese gewaltigen Workloads zu bewältigen. In Kombination mit Mellanox InfiniBand, dem Magnum IO SDK, GPU-beschleunigtem Spark 3.0 und NVIDIA RAPIDS, einer Software-Suite für GPU-beschleunigte Datenanalyse, ist die NVIDIA-Rechenzentrumsplattform auf einzigartige Weise in der Lage, diese enormen Arbeitslasten mit beispielloser Leistung und Effizienz zu beschleunigen.

Unternehmensfähige Auslastung
A100 mit Multi-Instance-GPU (MIG) maximiert die Nutzung von grafikprozessorbeschleunigter Infrastruktur wie nie zuvor. Mit MIG lässt sich ein A100-Grafikprozessor sicher in bis zu sieben separate Instanzen einteilen, wodurch mehrere Benutzer Zugriff auf die GPU-Beschleunigung für ihre Anwendungen und Entwicklungsprojekte erhalten. Darüber hinaus können Rechenzentrumsadministratoren die Verwaltungs- und Betriebsvorteile der Hypervisor-basierten Servervirtualisierung auf MIG-Instanzen mit dem virtuellen NVIDIA-Compute-Server (vCS) erhalten. Mit MIG können Infrastrukturmanager GPU-Ressourcen mit größerer Granularität bereitstellen, um Entwicklern die richtige Menge an Rechenleistung zur Verfügung zu stellen und die optimale Nutzung aller ihrer GPU-Ressourcen sicherzustellen.