When I did inverse modelling in my PhD we always made sure that we know what’s prior model info and what’s actual data.
You had to know which evaluation includes prior data in addition to measurement data, because assimilating multiple sources with the same prior could cause the prior to become dominant.
Todays LLMs repeatedly ingest their own outputs -- outputs that contain their own implicit priors.
It’s obvious that preserving the model quality requires pure human input.
Though from inverse modelling I’d guess that improving the quality of the prior -- of the output the model would generate without training -- could improve the quality of the results when trained with less data.
This is not new, but I now connected the dots from what I know to LLMs. For a discussion and refrences see Wikipedia: Model collapse.
I think Brandon Sanderson is both right and wrong in his talk We Are The Art.
I agree that the value of art you create is the change it causes within you, but I don’t think that its value is that you admire it.
Art is a crystallization of your path towards it. It lets others experience the essence of your life, of years of learning, in a much shorter span of time.
That’s how it benefits society.
And that’s why AI Art often is hollow: regardless of its polish, it represents far less learning.
And one more thing in which I think Brandon Sanderson is wrong in his talk:
Art isn’t useless.
Art is code that leverages our shared culture to run on the human brain and change our culture -- the beliefs and values that drive society. And art builds the foundation for more art.
But while art is not useless, it is at its best, when it is not used as a tool or for producing something else. Paradoxically art is most useful if it is created only for its own sake.
AI art can come from our culture, but it does not grow with the changes it causes. It needs intermediary non-AI art to change.
If AI cannot ingest newly created non-AI art, it is stale.
Dead and hollow.
Developing prompts can actually give it more meaning, like a director can cast actors to match a vision, but form creates its own meaning.
Form created by human actors changes with their experiences.
Form created by AI does not.
It is a dead end.
The only way to make AI art grow is to use less and less AI over time and infuse creations with more and more human-made art.
But that human-made art has a hard time getting seen among AI-decorated art.
Deutschland schreibt schon heute, wofür Chatkontrolle und Uploadfilter genutzt werden sollen:
https://netzpolitik.org/2026/diskussionspapier-tech-unternehmen-sollen-legalen-extremismus-suchen/
«Maßnahmen gegen „schädliche, aber legale“ Inhalte»
Ja, Chatkontrolle gibt es noch nicht. Aber Uploadfilter sind bereits umgesetzt und wurden genau das, vor dem wir gewarnt haben.
Danke an den Morpheus Newsletter für den Link.
Zu implizieren, Leute würden heute wenig arbeiten, ist verlogen, denn früher gab es v.a. Einzelverdiener-Haushalte.
Ein Haushalt, in dem eine Person 40 Stunden arbeitet und eine andere Hausarbeit und Care-Arbeit macht, hat 40 Stunden Haushaltsarbeitszeit.
Ein Haushalt mit zwei Personen, die je 30 Stunden arbeiten und sich Hausarbeit und Care-Arbeit teilen, hat 60 Stunden.
Teilzeit zu erschweren führt auf das erste Modell zurück: Weniger Arbeit, aber mehr Abhängigkeit.
I recently joined a new project. Got the task: “this operation is too slow, can you speed it up?” -- sure! We’ll just parallelize the costly operation, and … and then …. A colleague noted early on where we do query prefetching.
Then I profiled.
Oh, the database is hit N times instead of 1 times. Two line fix in the prefetching. More database queries sent late. A few lines fix. A colleague found more ways to make logging cheaper: only pay the cost when actually logging.
More profiling.
Built the parallelization.
Then I benchmarked under more realistic conditions. The threading caused issues with the database queries. I threw it out. Benchmarked again. Could prove that it is fast enough: more than factor 2 faster than when I started.
And then saw load stats of the production system: we’re CPU bound.
I found out that the production system was severely underresourced. Parallelization could never have helped.
Asked for a decision: do you want me to spend two more weeks optimizing and maybe get it faster, or rather spend the same amount of money over the next two years to double the resources this gets.
I spent the next two weeks on other tasks, in the knowledge of a task well done, though slower than I could have been if I had checked resources first. Because the actual fix was to avoid stray database queries.
Takeaway: always check for production statistics. If you’re needlessly querying the DB or if you’re CPU-bound, parallelization doesn’t help a bit. It may even break the system.
Please ask me in 8 years whether I still think that.
From a comment I wrote on youtube. Also written here, because I think that sharing “I misjudged and recovered from it -- this is what I learned” is more valuable than saying “I knew he was wrong all along”.
Antwort im Forum zur Petition gegen die Streichung der Lohnfortzahlung am ersten Krankheitstag, auf einen Beitrag, der forderte, Lohnfortzahlung im Krankheitsfall ganz zu streichen.
OK, akzeptiert, wenn alle Unternehmen in Genossenschaften umgewandelt werden, bei denen jede Person genau einen Anteil hält, Beschäftigte genauso wie die bisherigen Eigentümer. Dann tragen alle das unternehmerische Risiko gemeinsam -- denn das wollen Sie doch, oder? Das wäre Ausgewogenheit: gleiches Risiko, gleicher Nutzen.
Dann können auch alle ausgewogen und auf Augenhöhe diskutieren, ob sie die Lohnfortzahlung im Krankheitsfall wollen.
Passt Ihnen nicht? Dann hinterfragen Sie besser Ihre Definition von Ausgewogenheit. Unternehmen können ja bereits entscheiden, Selbstständige zu beauftragen. Die aber den nächsten Arbeitsauftrag auch ablehnen und mit jemand anderem zusammenarbeiten können. Und die mehr kosten, denn sie müssen Unsicherheiten der Auftragslage abfangen.
Ich danke Ihnen dafür, dass Sie deutlich gezeigt haben, aus welcher Ideologie heraus die Streichung der Lohnfortzahlung am ersten Tag betrieben wird. Wenn noch jemand eine Begründung brauchte, warum diese Pläne bekämpft werden müssen, haben Sie sie gerade geliefert.
An Lesende hier: wenn es Dich erschreckt, dass Dir die Merzregierung im Schnitt mehrere Tage Gehalt pro Jahr streichen will, und das mit einem Mittel, das durch mehr Ansteckung volkswirtschaftlichen Schaden verursachen würde, zeichne die Petition bitte mit: Keine Streichung der Lohnfortzahlung am ersten Krankheitstag.
Kommentar zu So radikal sind Christfluencer von Die Da Oben.
Die gezeigten Christfluencer bauen einen Kirchen-ähnlichen Raum auf und sind gleich selbst die Händler darin. Laut Bibel hätte Jesus dafür die Peitsche rausgeholt.
Ich mag nicht glauben, dass ein Gott existiern, aber ich finde es verwerflich, den Glauben von Leuten so zu korrumpieren.
Das ist, als würde ich dir Jedi-Bücher versprechen und in diesen Büchern dann predigen, dich dem Hass zu verschreiben.
Leserbrief zu Aus der Geschichte lernen und die Demokratie schützen im Deutschlandfunk Kultur.
Sehr geehrter Herr Mayer, Sehr geehrte Frau Niejahr,
vielen Dank für Ihre Sendung! Ich habe sie im Nachhinein auf der Webseite gehört und fand die besprochenen Themen sehr spannend.
Zum Ende hin hatte ich allerdings den Eindruck, dass niemand so wirklich einen Plan hat, wie sich was verbessern lässt. Faschisten haben ihr durchgeplantes Projekt 2025, das sie Punkt für Punkt umsetzen, und Demokraten haben „da muss dann mal jeder auf die Straße oder sich in Politik einsetzen“.
Ist das wirklich alles? Keine Vision, hinter die sich Leute stellen? Keine Pläne, um die Stärke von Demokratie wieder stärker sichtbar zu machen? Keine Koordination, um die Anziehungskraft liberaler Demokratie in der EU zu fördern?
Ich versuche selbst auf meiner privaten Webseite etwas dagegenzuhalten, aber das ist nur eine kleine Webseite, keine koordinierte Aktion:
https://www.draketo.de/politik/demokratie-staerke.html
Ansonsten erlebe ich in die Richtung nur Sarah Bosetti und manchmal den Parabelritter bei Funk. Dazu gibt es Bewegungen für Räte aus zufällig Gelosten, um unsere Demokratie noch repräsentativer zu machen. Vielleicht noch ein paar Regionalinitiativen.
Und sonst ist irgendwie Stille.
Das kann doch nicht alles sein. Was verpasse ich?
mit freundlichen Grüßen,
Arne Babenhauserheide
Eine Antwort auf eine Umfrage von ZDF mitreden zur Frage „Sollte die Fortzahlung von Lohn im Krankheitsfall eingeschränkt werden?“ weil der Präsident der Arbeitgeberverbände das fordert.
Erstens: würde die Lohnfortzahlung eingeschränkt, würden mehr Leute krank zur Arbeit kommen und damit zum einen schlechter heilen, mit größerem Risiko von schwereren Erkrankungen, und zum anderen mehr Leute anstecken. Lohnfortzahlung im Krankheitsfall sind eine gute Idee, die die langfristige Erhaltung der Arbeitsfähigkeit fördert und die Kollegen vor Ansteckung schützt. Gesamtwirtschaftlich ist das ein klares Plus und die Lohnfortzahlung einzuschränken wäre dumm.
Zweitens: Die Krankheitstage stiegen nach Corona und es ist bekannt¹, dass Corona das Immunsystem nachhaltig schädigt. Sie sind also kein Fehlverhalten von Arbeitnehmern und keine Fehlsteuerung des Verhaltens, sondern eine reale Folge unseres Versagens dabei, Corona einzudämmen. Wenn die Welt sich verändert, ist es billigste Menschenfeindlichkeit, den Arbeitnehmern die Schuld zu geben.
Comment on protagonist dreams laurels by Andy Wingo.
Copyleft is still political. AGPL is political. Mastodon is immensely political, even gaining tractions among political parties. And we won something, but we did not secure enough: lax licenses endanger what was won. And Javascript and Rust are all about lax licensing. And LLMs take our political copyleft code and spit out proprietary chains (let’s see whether that will work out in court: I think when an LLM takes my AGPL licensed code, all its even slightly related outputs should be AGPL).
Free Software is about defending against one evil: other people casting you in digital chains that you cannot break. It is a necessary condition for a Free Society. Software as a Service enables chains with GPL, but not with AGPL, and Javascript enables chains with lax licensing but not with GPL.
When you wonder whether Free Software actually achieved something, imagine how evil Palantir would be, if almost all software were proprietary. It wouldn’t be possible for a small company to provide a free replacement, because they couldn’t afford the license cost for all the components. And Palantir would get those components much cheaper -- or own them.
Imagine the world we would live in, if browsers were not Free Software. If they were not User Agents, but restricted gates. Could a small team like Igalia then do practical development, and could people leave their jobs to build Mastodon? Or create a community distribution like Guix, if building software would require buying dedicated development hardware (Apple tried that) and licensing expensive development environments? Those questions show me, how much liberation Free Software enables.
Also: congrats! The award is well-earned!