Microsoft presenterade sitt första AI-chip 2023 och nu är det dags för uppföljaren, Maia 200. Det handlar om ett chip som ska bo i serverhallar, inte våra egna datorer. Det tillverkas av TSMC på deras 3 nm-process och chipet ska ha 140 miljarder transistorer.

Chipet är inte till för att träna LLM:er utan här ska det levereras svar på promptar. Enligt Microsoft levererar Maia 200 över 10 petaFLOPS i FP4 och runt 5 petaFLOPS i FP8. Detta med ett effektuttag på 750 W, vilket är rätt energieffektivt. Chipet kyls förresten med vatten.

Maia 200 har 216 GB HBM3e-minne med cirka 7 TB/s bandbredd och 272 MB on-chip SRAM. Enligt Microsoft ska Maia 200 vara 30 procent billigare än andra chip.

Man håller på och stoppar in detta i deras datacenter i Des Moines, Iowa, och när det är klart kommer man att fortsätta leverera till andra datacenter.