Wikipedia har nu tagit fram ett dataset som man hoppas AI-företag kommer att använda för att träna upp sina AI-modeller istället för att företagens AI-bottar ska spindla runt på uppslagsverkets webbplats.

Bottar som spindlar runt på nätet för att hitta ny data för att träna upp AI-modeller har blivit lite av ett problem för både Wikipedia och andra sajter. Tidigare i år uppgav Wikipedia till exempel att bandbredden som går åt till att driva deras tjänst ökat med 50 procent mellan januari och april, något som uppges bero på den stora mängden AI-bottar som spindlar runt på tjänsten.

Wikipedias dataset släpps tillsammans med tjänsten Kaggle. Det kommer initialt att innehålla data från Wikipedia på engelska och franska. Datasetet går att ladda ner från Kaggle på länken nedan.