KI schlägt bei Wissenschaft in eine gesellschaftliche Schwachstelle
Mit LLMs (KI-Sprachmodellen) lassen sich zwar Artikel erstellen, die teils durchs Review kommen (gereviewt von Ehrenamtlichen mit zu wenig Zeit), aber das sagt nichts über die wissenschaftliche Qualität der Inhalte aus. Es bedeutet in erster Linie, dass „sieht wie Wissenschaft aus“ nicht mehr als Vorfilter funktioniert.
Du kannst dir binnen zwei Stunden aus einem Blogbeitrag ein PDF erstellen lassen, das für Leute außerhalb des Fachgebiets nicht von richtigen Veröffentlichen unterscheidbar sind. Ich habe das vor über einem Jahr getestet (aber nicht veröffentlicht, weil Leute sonst ein unechtes Papier mit meinem Namen drauf finden könnten).
Ich befürchte, Wissenschaftliche Kommunikation lässt sich in der Situation nur mit Regulierung und Strafen für Fehlverhalten halbwegs am Funktionieren halten.
Denn Wissenschaftliche Kommunikation war schon vor KI nah am Bruchpunkt — KI hat hier also in eine gesellschaftliche Schwachstelle geschlagen.
Ich habe schon 2015 über Gefahren für Wissenschaftsliche Kommunikation geschrieben:
Information challenges for scientific publishing
Und 2017 darüber, dass erzwungener Wettbewerb den Wert gefährdet, den Wissenschaft für die Gesellschaft liefert:
Forced competition threatens the value society derives from science
Durch KI entsteht damit zwar keine fundamental neue Situation, es wurde allerdings schlimmer und könnte so weit gehen, dass Fehler sich immer weiter verbreiten.
Denn Ehrenamtliche mit zu wenig Zeit müssen jetzt viel genauer prüfen, während bezahlte Betrüger:innen nur noch einen Bruchteil der Zeit brauchen, um Wissenschaftlichkeit vorzutäuschen.
Sinnvolle Nutzung könnte mit anderen Teilen der Probleme helfen, z.B. durch komplexere Suche alte Papiere effizienter indexieren, um eins der Probleme für den Informationsfluss in Wissenschaft zu reduzieren: herauszufinden, welche Papiere für eine Fragestellung relevant sein könnten. Solange nicht zu viel Bullshit bis zur Veröffentlichung durchkommt.
Das braucht allerdings keine generative KI, sondern einfach eine bessere Suche.