Senaste

Samsung lanserar TRUEBench

Ett nytt AI-benchmark baserat på verkliga arbetsuppgifter

Foto: Samsung

Samsungs nya benchmark TRUEBench ska kunna mäta prestandan hos AI-modeller på ett sätt som bättre speglar verkliga uppgifter. Till skillnad från många befintliga tester, som ofta fokuserar på enkla frågesvar på engelska, utvärderar TRUEBench AI-modeller i uppgifter som dokumentsammanfattning, översättning mellan tolv språk, dataanalys och att följa instruktioner i flera steg.

Samsung har skapat 2485 testset över tio kategorier och har gjort hela datasetet och resultattavlorna offentliga via plattformen Hugging Face.

Mobil, Samsung, TRUEBench, AI-modeller, Hugging Face, dokumentsammanfattning

Läs gärna våra regler!