Samsung lanserar TRUEBench. Ett nytt AI-benchmark baserat på verkliga arbetsuppgifter.

Teknik

Motor

Samhälle

Spel

Popkultur

Fritid

Tjock

Tester

Dagens fråga

Tipsa!

Skaffa Feber+

Hetaste

Senaste

Samsung lanserar TRUEBench

Ett nytt AI-benchmark baserat på verkliga arbetsuppgifter

Foto: Samsung

Samsungs nya benchmark TRUEBench ska kunna mäta prestandan hos AI-modeller på ett sätt som bättre speglar verkliga uppgifter. Till skillnad från många befintliga tester, som ofta fokuserar på enkla frågesvar på engelska, utvärderar TRUEBench AI-modeller i uppgifter som dokumentsammanfattning, översättning mellan tolv språk, dataanalys och att följa instruktioner i flera steg.

Samsung har skapat 2485 testset över tio kategorier och har gjort hela datasetet och resultattavlorna offentliga via plattformen Hugging Face.

news.samsung.com

Mobil, Samsung,

TRUEBench, AI-modeller, Hugging Face, dokumentsammanfattning

37.8°