Projekt som analyserar språk stänger ner. På grund av att AI förorenat språket på nätet.

Teknik

Motor

Samhälle

Spel

Popkultur

Fritid

Tjock

Tester

Dagens fråga

Tipsa!

Skaffa Feber+

Hetaste

Senaste

Projekt som analyserar språk stänger ner

På grund av att AI förorenat språket på nätet

Foto: AI-genererad bild / Dall-e

Wordfreq, ett open source-program som tagits fram för att följa hur över 40 språk utvecklats över tid, stänger nu ner. Skaparen av programmet uppger att det beror på att generativ AI har fyllt upp nätet med så mycket text att det numera är omöjligt för programmet att dra några slutsatser om hur språk utvecklas baserat på vad som skrivs på nätet. I ett inlägg skriver skaparen Robyn Speer:

"I don't think anyone has reliable information about post-2021 language usage by humans.
The open Web (via OSCAR) was one of wordfreq's data sources. Now the Web at large is full of slop generated by large language models, written by no one to communicate nothing. Including this slop in the data skews the word frequencies.
Sure, there was spam in the wordfreq data sources, but it was manageable and often identifiable. Large language models generate text that masquerades as real language with intention behind it, even though there is none, and their output crops up everywhere."

Speer skriver även att information som Wordfreq tidigare kunnat samla in gratis nu har börjat kosta pengar i och med att techjättar börjat betala för, eller använda sin egen data, för att träna upp sina AI-modeller. Hon avslutar sitt inlägg med:

"So I don't want to work on anything that could be confused with generative AI, or that could benefit generative AI.
OpenAI and Google can collect their own damn data, and I hope they have to pay a very high price for it. They made this mess themselves."

github.com

Samhälle, AI,

wordfreq, språkanalys, generativ ai, hejdå, artificiell intelligens, open source

Via 404media.co

28.4°