AMD také říká, že GPU jsou pro AI mnohem lepší než NPU, RX 7900 XT až 8× výkonnější

Před několika dny unikla prezentace společnosti Nvidia, která poukazovala na mnohem lepší výkony GPU v oblasti algoritmů umělé inteligence než v případě NPU v procesorech. Něco takového ale tvrdí i společnost AMD, a to v oficiální prezentaci. Ono není divu, GPU se dlouhou dobu používají pro trénování i běh algoritmů AI díky svému vynikajícímu výkonu v této oblasti, přesto se v procesorech stále častěji objevuje i NPU, tedy speciální čip pro tyto algoritmy. V jejich případě jde především o lepší poměr výkonu a spotřeby pro toto nasazení (konkrétně inferenci, tedy běh a nikoli trénování algoritmů), tedy ne až tak o absolutní výkon, jako je cílem spíše dostat stále slušný výkon při minimální spotřebě. To je důležité zejména u mobilních zařízení, kde je nepraktické tyto algoritmy provozovat na méně úsporném GPU.

 

 

Prvními procesory AMD s NPU byly Ryzeny 7040 (Phoenix), dostaly se také do jejich druhé generace Ryzen 8040 (Hawk Point). Pokud jde o GPU, tak architektura RDNA 3 přináší pro AI 2krát vyšší výkon než předchozí generace a profesionální karty Radeon PRO W7900 zde nabízí až 192 AI akcelerátorů optimalizovaných i pro formát FP16. Tato karta má 48 GB paměti GDDR6 na 384bitové sběrnici, AMD Infinity Cache a podporuje frameworky jako DirectML 6, Nod.AI Shark a ROCm 6.0.

 

 

AMD v prezentaci zmínilo i výkon jednotlivých řešení. Např. LM Studio dosahuje 11 tokenů za sekundu na procesoru AMD Ryzen 7 8700G s integrovaným NPU. Grafická karta Radeon RX 7600 XT s 16 GB paměti za 329 USD nicméně zvládá 40 tokenů/s, což je 3,6krát tolik. Mnohem silnější karta Radeon RX 7900 XT s 20 GB paměti zvládne dokonce 85 tokenů/s, což je více než 7,7násobek. V AMUSE Diffusion potřebuje Ryzen 7 8700G čas 2,6 sekundy na obrázek, RX 7600 XT se už dostává na 0,97 sekundy (2,7krát rychleji) a RX 7900 XT pak 0,6 sekundy (4,3krát rychleji). AMD pro úlohy AI zmiňuje vedle Radeonů RX 7900 XT/XTX a profesionálních Radeon PRO W7800/W7900 také Radeon RX 7900 GRE s 16 GB paměti a 160 AI akcelerátory. Zmiňuje také napájení pomocí 8pinových konektorů.

 

Zdroj: wccftech.com