Wydajność jest kluczowym wyznacznikiem oceny sprzętu i nie inaczej jest w domenie AI. Firma AMD ogłosiła właśnie, że jej akceleratory AMD Instinct MI300X pracujące w ekosystemie ROCm i w połączeniu z procesorami AMD EPYC uzyskują znakomitą wyniki w teście MLPerf. Test ten to branżowy wyznacznik wydajności AI rozwijany przez społeczność MLCommons, do której należy duża grupa firm i instytucji, jak Alibaba Group, HPE, AMD, ARM, Dell EMC, Intel, Nvidia, Qualcomm, Meta, Microsoft, Google i wielu innych.
Zgłoszone przez AMD wyniki w popularnym modelu Llama 2 70B udokumentowały, że:
-
wydajność systemu z akceleratorami AMD Instinict MI300X i procesorem AMD EPYC jest bardzo zbliżona do platformy Nvidia DGX H100 z procesorem Intel Xeon,
-
a nowa generacja procesorów AMD EPYC („Turin”) dodatkowo zwiększa wydajność systemów w zadaniach AI;
-
wydajność skaluje się liniowo w zależności od liczby akceleratorów w systemie;
-
duża pojemność pamięci (192 GB) akceleratora AMD Instinct MI300X umożliwia mu samodzielne uruchamianie modeli o takich rozmiarach jak Llama 2 70B, gdy konkurencyjne rozwiązania wymagają dzielenia zadania na co najmniej dwa akceleratory.
Serdecznie zapraszamy do zapoznania się ze szczegółami na blogu AMD.
źródło: informacje prasowe