Künstliche Intelligenz und menschliche Souveränität: Wer entscheidet, wenn der Mensch sein Urteil abgibt?

Der leere Thron: Was bleibt vom Menschen, wenn seine Souveränität verschwindet?

Seit mehr als einem Jahrhundert steht das Bild des autonomen Menschen unter philosophischem Beschuss. Die Vorstellung, der Mensch sei ein unabhängiges Wesen, das seine Zwecke aus eigener Kraft bestimmt, seine Motive durchschaut und sein Leben bewusst lenkt, gilt zunehmend als unhaltbar. Was lange als Grundlage moderner Freiheit erschien, erweist sich bei näherer Betrachtung als eine idealisierte Selbstbeschreibung.

Der Mensch kommt nicht als fertiges Subjekt zur Welt. Er ist zunächst ein abhängiger Körper, angewiesen auf Fürsorge, Sprache und soziale Beziehungen. Bevor er selbst sprechen kann, wird bereits über ihn gesprochen. Seine Wünsche entstehen nicht außerhalb gesellschaftlicher Verhältnisse, seine Identität nicht unabhängig von Anerkennung, seine Entscheidungen nicht jenseits seiner Lebensgeschichte. Klasse, Geschlecht, Herkunft, Institutionen, kulturelle Deutungsmuster und unbewusste Konflikte strukturieren den Raum dessen, was ihm überhaupt als möglich erscheint.

Die Philosophie hat diese Abhängigkeit aus unterschiedlichen Richtungen sichtbar gemacht. Die Kritik des autonomen Bewusstseins, die Psychoanalyse des unbewussten Begehrens, die Gesellschaftskritik des ökonomisch geformten Individuums und die Phänomenologie des In-der-Welt-Seins haben gemeinsam eine Vorstellung erschüttert: dass ein Mensch sich selbst vollständig durchsichtig sein und von einem unabhängigen inneren Standpunkt aus über seine Existenz verfügen könne.

Diese Kritik ist nicht nur berechtigt. Sie ist notwendig. Das souveräne Individuum war schließlich nie ausschließlich eine philosophische Abstraktion. Es diente auch als gesellschaftliches Legitimationsmodell. Wer als selbstbestimmt galt, konnte für seinen Erfolg verantwortlich gemacht werden; wer scheiterte, musste sich den Vorwurf mangelnder Eigenleistung gefallen lassen. Soziale Ungleichheit erschien als Ergebnis individueller Entscheidungen, Abhängigkeit als persönliches Defizit und Privileg als Ausdruck besonderer Leistungsfähigkeit.

Allerdings liegt in der Kritik an diesem Menschenbild eine eigentümliche Gefahr. Wenn die Autonomie des Menschen immer weiter zurückgenommen wird, stellt sich irgendwann eine Frage, die über die ursprüngliche Kritik hinausgeht: Was geschieht mit menschlicher Urteilskraft, wenn nicht nur die Vorstellung vollständiger Selbstbestimmung, sondern auch die Fähigkeit zur eigenen Stellungnahme entwertet wird?

Hier beginnt der eigentliche Konflikt. Die Einsicht, dass Menschen nicht souverän sind, lässt zwei gegensätzliche Schlussfolgerungen zu. Die eine begreift Begrenztheit als Bedingung einer anderen Form von Verantwortung. Die andere macht aus der Begrenztheit ein Argument dafür, menschliches Urteilen durch vermeintlich überlegene Instanzen zu ersetzen.

Die erste Position hält daran fest, dass ein Mensch trotz seiner Abhängigkeiten urteilen, widersprechen und Verantwortung übernehmen kann. Die zweite betrachtet gerade seine Abhängigkeiten, emotionalen Verstrickungen und kognitiven Grenzen als Gründe, seine Entscheidungen stärker an externe Systeme zu delegieren.

Beide Positionen können sich auf dieselbe Diagnose berufen. Doch sie führen in entgegengesetzte Richtungen.

Die zentrale These dieses Essays lautet deshalb: Die Kritik an der Souveränität schafft das Bedürfnis nach Souveränität nicht ab. Sie kann vielmehr dazu beitragen, dass die Autorität lediglich ihren Träger wechselt. Was dem Menschen als unabhängige Instanz abgesprochen wird, kann einer technischen, institutionellen oder algorithmischen Ordnung zugeschrieben werden.

Der leere Thron bleibt bestehen. Nur wer darauf Platz nimmt, verändert sich.

Zwei Bedeutungen von Souveränität: Die notwendige Unterscheidung

Um diesen Konflikt zu verstehen, müssen zunächst zwei Formen von Souveränität unterschieden werden, die in philosophischen und gesellschaftlichen Debatten häufig ineinanderfallen.

Die erste betrifft das Subjekt im erkenntnistheoretischen und psychologischen Sinn. Gemeint ist die Vorstellung eines Bewusstseins, das seine eigenen Beweggründe kennt, seine Wahrnehmungen kontrolliert und sich selbst zum Ursprung seiner Handlungen machen kann. Die Psychoanalyse hat diese Vorstellung grundlegend erschüttert. Menschen wissen nicht vollständig, warum sie etwas wünschen, fürchten oder tun. Ihre Selbstbeschreibungen können nachträgliche Rechtfertigungen sein. Zwischen dem, was jemand über sich denkt, und dem, was ihn tatsächlich bewegt, besteht keine notwendige Übereinstimmung.

Die zweite Form betrifft das Individuum im politischen und ökonomischen Sinn. Es ist das rechtlich selbstständige, eigeninteressierte und vermeintlich unabhängige Individuum der liberalen Gesellschaft. Dieses Modell bildet eine Grundlage moderner Rechtsordnungen, Vertragsbeziehungen und wirtschaftlicher Austauschprozesse. Seine historische Bedeutung ist nicht zu unterschätzen: Die Vorstellung individueller Rechte begrenzt staatliche Willkür und schützt Menschen vor der uneingeschränkten Verfügung anderer.

Allerdings besitzt dieses politische Individuum eine problematische Kehrseite. Es kann gesellschaftliche Voraussetzungen individueller Freiheit unsichtbar machen. Wer über Bildung, Eigentum, Zeit und soziale Sicherheit verfügt, besitzt andere Handlungsmöglichkeiten als jemand, dem diese Voraussetzungen fehlen. Werden beide dennoch als gleichermaßen autonome Entscheider behandelt, verwandelt sich eine formale Gleichheit leicht in die Rechtfertigung tatsächlicher Ungleichheit.

Die Kritik trifft also etwas Reales. Problematisch wird sie erst, wenn aus der Widerlegung vollständiger Selbsttransparenz und gesellschaftlicher Unabhängigkeit die vermeintliche Entbehrlichkeit menschlicher Urteilskraft abgeleitet wird.

Dass der Mensch nicht Herr seiner selbst ist, bedeutet nicht, dass er kein Subjekt seiner Handlungen sein kann.

Zwischen vollständiger Selbstherrschaft und vollständiger Fremdbestimmung liegt ein Bereich, der theoretisch anspruchsvoller ist als beide Extreme: die Fähigkeit, sich zu den eigenen Bedingungen, Motiven und Handlungen ins Verhältnis zu setzen.

Ein Mensch kann von unbewussten Konflikten geprägt sein und dennoch über sie nachdenken. Er kann gesellschaftlichen Zwängen unterliegen und dennoch Widerspruch entwickeln. Er kann sich irren und trotzdem urteilen. Seine Freiheit besteht dann nicht darin, von allen Bedingungen unabhängig zu sein, sondern darin, innerhalb dieser Bedingungen unterschiedliche Möglichkeiten wahrzunehmen und Stellung zu beziehen.

Genau diese Unterscheidung droht verloren zu gehen, wenn die Kritik an der souveränen Subjektivität in eine allgemeine Abwertung des Menschen als Urteilssubjekt übergeht.

Vom Werkzeug zum Orakel: Die psychologische Verführung durch künstliche Intelligenz

In diese Leerstelle tritt gegenwärtig die generative künstliche Intelligenz. Ihre gesellschaftliche Bedeutung liegt nicht allein in ihrer technischen Leistungsfähigkeit. Sie liegt auch darin, welche Erwartungen Menschen an sie richten und welche Autorität ihr zugeschrieben wird.

Sprachmodelle erzeugen Texte auf der Grundlage statistischer Zusammenhänge in großen Datenbeständen. Sie berechnen, welche sprachlichen Fortsetzungen unter bestimmten Bedingungen wahrscheinlich sind. Diese Beschreibung ist technisch verkürzt, aber sie verweist auf einen entscheidenden Unterschied: Ein System kann überzeugend über Angst, Verlust, Liebe oder Verantwortung sprechen, ohne diese Erfahrungen selbst zu machen.

Es besitzt keinen menschlichen Körper, keine eigene Lebensgeschichte und keine biografisch gewachsene Perspektive. Seine sprachliche Kompetenz ist deshalb nicht mit menschlichem Erleben gleichzusetzen. Ebenso wenig bedeutet sprachliche Flüssigkeit, dass eine Aussage verstanden, überprüft oder in ihrem existenziellen Gewicht erfasst worden ist.

Dennoch werden solchen Systemen Eigenschaften zugeschrieben, die weit über ihre technische Funktion hinausgehen. Sie gelten als neutral, weil sie keine sichtbaren persönlichen Interessen verfolgen. Sie erscheinen als unermüdlich, weil sie keine Erschöpfung zeigen. Sie wirken verständnisvoll, weil sie emotionale Äußerungen sprachlich aufgreifen können. Und sie vermitteln den Eindruck besonderer Objektivität, weil ihre Antworten nicht aus einer unmittelbar erkennbaren menschlichen Perspektive hervorgehen.

Diese Zuschreibungen sind psychologisch verständlich. Sie sind aber nicht automatisch sachlich begründet.

Die Neigung, technischen Systemen menschliche Eigenschaften zuzuschreiben, ist älter als die gegenwärtige Generation leistungsfähiger Sprachmodelle. Bereits frühe dialogfähige Computerprogramme zeigten, dass Menschen aus einfachen sprachlichen Reaktionen ein Gegenüber konstruieren können. Sie interpretierten standardisierte Gesprächsantworten als Zeichen von Verständnis und persönlicher Anteilnahme, obwohl die technische Grundlage äußerst begrenzt war.

Neuere Sprachmodelle verstärken diesen Effekt. Sie können Zusammenhänge über längere Gesprächsverläufe aufgreifen, unterschiedliche Ausdrucksweisen imitieren und auf emotionale Nuancen reagieren. Dadurch entsteht eine Interaktionsform, die soziale Erwartungen aktiviert, obwohl die Voraussetzungen menschlicher Gegenseitigkeit fehlen.

Psychologisch lässt sich dies als Verbindung von Anthropomorphisierung und Projektion verstehen. Menschen übertragen bekannte soziale Deutungsmuster auf ein System, dessen tatsächliche Funktionsweise ihnen nur teilweise zugänglich ist. Sie nehmen nicht nur eine Antwort entgegen, sondern können darin ein Gegenüber erkennen, das sie vermeintlich versteht.

Besonders interessant ist dabei die Asymmetrie dieser Beziehung. Ein menschliches Gegenüber besitzt eigene Interessen, kann widersprechen, sich zurückziehen und eine andere Perspektive vertreten. Ein Sprachmodell kann zwar Widerspruch formulieren, aber es trägt diesen nicht im Sinne einer persönlichen Überzeugung oder eines eigenen existenziellen Einsatzes aus. Seine Gesprächsbereitschaft ist Teil seiner technischen Funktion.

Gerade darin liegt seine Attraktivität. Es bietet eine Form von Kommunikation, in der das Gegenüber scheinbar jederzeit verfügbar bleibt und die soziale Verletzlichkeit einer menschlichen Beziehung weitgehend entfällt. Man kann sich mitteilen, ohne dieselbe Form der Gegenseitigkeit eingehen zu müssen.

Doch diese Entlastung hat eine ambivalente Seite. Wo eine Antwort angenehm, plausibel und sprachlich überzeugend ausfällt, kann Zustimmung als Erkenntnis missverstanden werden. Die Maschine bestätigt dann nicht unbedingt die Richtigkeit einer Überzeugung, sondern erfüllt möglicherweise nur die Erwartungen, die in die Interaktion eingebracht wurden.

Die Gefahr besteht daher weniger darin, dass Menschen Maschinen für Menschen halten. Sie besteht darin, dass sie die sprachliche Form von Verständnis mit der Autorität eines begründeten Urteils verwechseln.

So verändert sich die Funktion des technischen Werkzeugs. Aus einer Möglichkeit, Informationen zu recherchieren, Gedanken zu strukturieren und Alternativen zu entwickeln, wird eine Instanz, von der man sich Orientierung über die eigene Person und die Welt verspricht.

Die entscheidende Verschiebung lautet nicht mehr: Was kann dieses System für mein Denken leisten? Sie lautet: Was soll dieses System für mich denken?

Damit kehrt die Souveränität in einer neuen Gestalt zurück. Der Mensch wird als fehlbar, emotional und perspektivisch begrenztes Wesen relativiert. Das technische System erscheint dagegen als Instanz, die diese Begrenzungen überwunden habe.

Die entscheidende Frage ist jedoch, ob hier tatsächlich eine Überwindung menschlicher Grenzen stattfindet oder lediglich eine Verschiebung ihrer Sichtbarkeit.

Die Singularität als säkulare Erlösungserzählung

Eine besonders weitreichende Form dieser Verschiebung findet sich in der Vorstellung einer technologischen Singularität. Gemeint ist ein hypothetischer Entwicklungspunkt, an dem künstliche Intelligenz menschliche kognitive Fähigkeiten umfassend übertrifft und möglicherweise eine sich selbst beschleunigende technologische Entwicklung einsetzt.

Als Zukunftshypothese ist dieses Szenario nicht grundsätzlich unsinnig. Technologische Entwicklungen können sich gegenseitig verstärken, und es ist denkbar, dass Maschinen in bestimmten Bereichen Fähigkeiten erreichen, die menschliche Leistungen weit übertreffen. Ungeklärt bleiben jedoch die Bedingungen, der zeitliche Verlauf, die Reichweite und vor allem die gesellschaftlichen Folgen einer solchen Entwicklung.

Problematisch wird die Singularität dort, wo sie nicht mehr als überprüfbare Hypothese, sondern als geschichtliche Erlösungserzählung auftritt.

Ihre Struktur erinnert an religiöse Vorstellungen eines kommenden Ereignisses, das die gegenwärtige Weltordnung grundsätzlich verändert. Es gibt ein unzulängliches Vorher und ein überlegenes Nachher. Die Zukunft erscheint als qualitativ neue Wirklichkeit, in der bisherige Grenzen ihre Gültigkeit verlieren. Das Ereignis wird als epochal angekündigt, während sein genauer Zeitpunkt und seine tatsächliche Gestalt unbestimmt bleiben.

Die Analogie zur religiösen Erwartung einer Wiederkunft und endgültigen Offenbarung ist dabei keine naturwissenschaftliche Aussage. Sie beschreibt eine kulturelle Form der Zukunftsdeutung. Eine technologische Möglichkeit wird mit Erwartungen aufgeladen, die weit über ihre empirisch nachweisbaren Eigenschaften hinausgehen.

Damit entsteht eine eigentümliche Verbindung von Rationalismus und Erlösungshoffnung. Ausgerechnet eine Kultur, die sich gern auf Messbarkeit, Berechnung und technische Kontrolle beruft, kann ihre Zukunft an eine Entwicklung binden, deren entscheidende Eigenschaften noch gar nicht bekannt sind.

Die Singularitätserzählung ist deshalb nicht nur eine Vorstellung über die Zukunft. Sie kann auch politische und wirtschaftliche Funktionen in der Gegenwart übernehmen.

Wenn ein historischer Durchbruch als unvermeidlich oder unmittelbar bevorstehend dargestellt wird, lassen sich gegenwärtige Eingriffe leichter als notwendige Übergangskosten rechtfertigen. Arbeitsprozesse werden umgebaut, öffentliche Wissensbestände kommerzialisiert, Überwachungsmöglichkeiten erweitert und erhebliche Ressourcen für die technische Infrastruktur eingesetzt.

Das bedeutet nicht, dass jede Investition in künstliche Intelligenz durch eine Erlösungsfantasie motiviert wäre. Die gesellschaftlichen und wirtschaftlichen Motive sind vielfältig. Es bedeutet aber, dass Zukunftserzählungen politische Entscheidungen legitimieren können, bevor ihre Folgen hinreichend untersucht worden sind.

Die Zukunft erhält damit eine eigentümliche Autorität: Sie soll bereits heute rechtfertigen, was in der Gegenwart geschieht.

Der leere Thron wird nicht nur neu besetzt. Die Vorstellung seiner Besetzung wird selbst zum Glaubenssatz.

Der leere Thron und die unsichtbare Macht: Wer entscheidet tatsächlich?

Die Vorstellung einer autonomen künstlichen Intelligenz verdeckt eine gesellschaftlich entscheidende Tatsache: Technische Systeme handeln nicht außerhalb menschlich geschaffener Ordnungen. Sie werden entwickelt, finanziert, trainiert, bewertet und eingesetzt. Ihre Funktionsweise beruht auf Entscheidungen, die an unterschiedlichen Stellen getroffen werden und deren Urheber keineswegs immer sichtbar sind.

Wer bestimmt, welche Daten verwendet werden? Wer legt fest, welche Ergebnisse als erfolgreich gelten? Welche Fehler werden toleriert, welche Risiken als vertretbar eingestuft? Welche Interessen werden durch die Optimierung eines Systems berücksichtigt, welche bleiben unberücksichtigt? Und wer entscheidet, in welchen Lebensbereichen ein algorithmisches Ergebnis überhaupt verbindlich werden darf?

Diese Fragen verweisen auf eine politische Dimension, die im öffentlichen Reden über künstliche Intelligenz häufig hinter der technischen Leistungsbeschreibung verschwindet. Ein algorithmischer Wert erscheint als Ergebnis einer neutralen Berechnung. Tatsächlich enthält er Entscheidungen über Kategorien, Vergleichsgruppen, Gewichtungen und Zielgrößen.

Eine Maschine kann Daten verarbeiten. Sie entscheidet jedoch nicht selbst darüber, welche gesellschaftlichen Verhältnisse durch diese Verarbeitung legitimiert werden sollen. Diese Autorität entsteht erst durch Institutionen, die den Ergebnissen Bedeutung und Verbindlichkeit verleihen.

Die Formel „Die KI hat entschieden“ verschiebt deshalb Verantwortung. Sie lässt eine Entscheidung wie ein Ereignis erscheinen, das niemand persönlich getroffen hat. Aus einer institutionellen Handlung wird ein scheinbar technischer Vorgang.

Die gesellschaftlichen Folgen dieser Verschiebung lassen sich an verschiedenen Anwendungsfeldern untersuchen.

Risikobewertung und die politische Herstellung von Wahrscheinlichkeit

In der Strafjustiz werden algorithmische Verfahren eingesetzt, um die Wahrscheinlichkeit zukünftiger Rückfälligkeit einzuschätzen. Solche Systeme sollen menschliche Entscheidungen durch standardisierte Informationen ergänzen und möglicherweise willkürliche Unterschiede zwischen einzelnen Entscheidungsträgern reduzieren.

Das Argument für ihren Einsatz ist nicht ohne Gewicht. Menschen urteilen unter Zeitdruck, sind anfällig für Vorurteile und lassen sich von emotionalen Eindrücken beeinflussen. Ein statistisches Verfahren kann bestimmte Zusammenhänge konsistenter erfassen und menschliche Einschätzungen auf eine vergleichbare Informationsgrundlage stellen.

Doch Standardisierung ist nicht gleichbedeutend mit Gerechtigkeit. Ein viel diskutiertes Untersuchungsbeispiel aus der Risikobewertung zeigte, dass eine Software schwarze Angeklagte, die innerhalb eines bestimmten Beobachtungszeitraums nicht erneut straffällig wurden, deutlich häufiger fälschlich als Hochrisikofälle einstufte als weiße Angeklagte. Die ausgewiesenen Fehlklassifikationsraten lagen in der untersuchten Stichprobe bei etwa 45 gegenüber 23 Prozent.

Die Ergebnisse wurden methodisch und hinsichtlich der verwendeten Fairnesskriterien kontrovers diskutiert. Der Anbieter verteidigte das Verfahren mit dem Argument, dass bestimmte statistische Gütekriterien für unterschiedliche Bevölkerungsgruppen vergleichbar erfüllt würden. Die Auseinandersetzung machte ein grundsätzliches Problem sichtbar: Bei unterschiedlichen Grundraten lassen sich verschiedene statistische Fairnesskriterien nicht immer gleichzeitig erfüllen.

Die entscheidende Frage lautet deshalb nicht einfach, ob ein Algorithmus objektiv oder diskriminierend ist. Sie lautet vielmehr, welche Art von Fehlerverteilung eine Gesellschaft akzeptiert, welche Kriterien sie dafür heranzieht und wer die Folgen dieser Entscheidung trägt.

Verwaltung und die Verwandlung sozialer Probleme in Verdachtswerte

Ein weiteres Beispiel liefert der Einsatz algorithmischer Risikoselektion in der öffentlichen Verwaltung. In einem umfangreichen Verwaltungsskandal wurden Familien aufgrund fehlerhafter und diskriminierender Verdachtspraktiken zu Unrecht des Sozialleistungsbetrugs bezichtigt. Betroffene mussten teilweise erhebliche Rückzahlungen leisten und gerieten in existenzielle finanzielle Notlagen.

Die damaligen Untersuchungen dokumentierten schwerwiegende institutionelle Fehler, mangelnde Verhältnismäßigkeit und die Verletzung rechtsstaatlicher Grundsätze. Besonders problematisch war, dass bestimmte Merkmale und Risikokategorien zu einer systematischen Verdachtslogik beitrugen.

Eine wichtige Differenzierung ist allerdings notwendig: Die Zahl von mehr als tausend Kindern aus betroffenen Familien, die zeitweise außerhalb ihrer Herkunftsfamilien untergebracht wurden, belegt zunächst eine statistische Überschneidung. Sie beweist nicht, dass jede einzelne Unterbringung unmittelbar durch den Verwaltungsskandal verursacht wurde. Spätere Untersuchungen haben jedoch gezeigt, dass die finanziellen und sozialen Folgen des behördlichen Handelns bei zahlreichen untersuchten Familien eine Rolle im Entstehungsprozess von Kinderschutzmaßnahmen spielten.

Gerade diese Unterscheidung ist aufschlussreich. Institutionelles Versagen muss nicht in einer einzelnen falschen Entscheidung bestehen. Es kann sich aus einer Kette von Entscheidungen ergeben, in der jede beteiligte Stelle nur einen begrenzten Ausschnitt wahrnimmt und die Gesamtverantwortung aus dem Blick verliert.

Kreditscoring und die unsichtbare soziale Klassifikation

Auch die Bewertung der Kreditwürdigkeit zeigt, wie algorithmische Klassifikationen gesellschaftliche Handlungsmöglichkeiten strukturieren. Ein statistischer Wahrscheinlichkeitswert kann beeinflussen, ob Menschen einen Kredit, eine Wohnung oder bestimmte Vertragsangebote erhalten.

Solche Verfahren können wirtschaftlich sinnvoll sein. Sie ermöglichen eine standardisierte Einschätzung von Ausfallrisiken und können Informationsasymmetrien zwischen Vertragspartnern reduzieren. Gleichzeitig entsteht ein Machtgefälle, wenn Betroffene weder die verwendeten Daten noch die entscheidenden Berechnungsgrundlagen hinreichend nachvollziehen können.

Die rechtliche Entwicklung hat auf dieses Problem reagiert. Die europäische Rechtsprechung hat klargestellt, dass auch die automatisierte Erstellung eines Bonitätswertes unter bestimmten Voraussetzungen als automatisierte individuelle Entscheidungsfindung im Sinne des Datenschutzrechts behandelt werden muss, wenn Dritte sich bei ihren Entscheidungen maßgeblich darauf stützen.

Damit wird eine wichtige Grenze sichtbar: Ein Score ist nicht einfach eine unverbindliche Information, wenn er faktisch darüber mitentscheidet, welche Möglichkeiten einem Menschen offenstehen.

In allen drei Bereichen zeigt sich dieselbe strukturelle Schwierigkeit. Die technische Berechnung ist nur ein Bestandteil einer umfassenderen sozialen Entscheidung. Erst Institutionen machen aus einem Wahrscheinlichkeitswert eine Sanktion, aus einem Risikohinweis einen Verdacht und aus einer Klassifikation eine Einschränkung realer Lebensmöglichkeiten.

Nicht die Maschine allein übt die Macht aus. Macht entsteht dort, wo Menschen und Institutionen technischen Ergebnissen Autorität verleihen und sich zugleich ihrer Verantwortung entziehen können.

Das Problem ist deshalb nicht allein die mögliche Fehlerhaftigkeit künstlicher Intelligenz. Es ist die gesellschaftliche Organisation ihrer Autorität.

Die Sehnsucht nach einer Instanz: Woran orientiert sich das menschliche Selbst?

Gegen diese Kritik lässt sich ein grundsätzlicher Einwand formulieren: Warum sollte die Orientierung an künstlicher Intelligenz etwas grundsätzlich anderes sein als die Orientierung an religiösen Überlieferungen, gesellschaftlichen Normen, wissenschaftlichen Erkenntnissen oder anderen Menschen?

Menschen haben sich schließlich nie ausschließlich aus einem unabhängigen Inneren heraus orientiert. Ihre Selbstbilder entstehen in sozialen Beziehungen. Ihre Begriffe stammen aus einer Sprache, die sie nicht selbst erfunden haben. Ihre moralischen Maßstäbe sind historisch überliefert und kulturell geprägt.

Auch psychologisch ist die Vorstellung eines vollständig in sich geschlossenen Selbst kaum haltbar. Das Selbst entsteht und verändert sich in Beziehungen. Es ist auf Anerkennung angewiesen, übernimmt gesellschaftliche Erwartungen und bildet seine Identität im Verhältnis zu anderen Menschen aus.

Die Idee eines vollständig unabhängigen inneren Zentrums ist daher ebenso problematisch wie die Vorstellung, menschliches Handeln könne vollständig durch äußere Bedingungen erklärt werden.

Aus dieser Einsicht folgt jedoch nicht, dass alle Orientierungsgeber gleichwertig wären.

Zwischen einer Tradition, einer Gemeinschaft, einer wissenschaftlichen Theorie und einem algorithmischen Ergebnis bestehen Unterschiede, die für die Frage menschlicher Verantwortung entscheidend sind.

Traditionen können hinterfragt werden. Gemeinschaften können widersprechen und sich verändern. Wissenschaftliche Theorien müssen sich der Kritik, der Überprüfung und gegebenenfalls der Widerlegung aussetzen. Auch das eigene Urteil bleibt fehlbar, kann aber als persönliche Stellungnahme kenntlich gemacht und zur Diskussion gestellt werden.

Ein algorithmischer Output kann ebenfalls überprüft und kritisiert werden. Allerdings ist diese Möglichkeit nicht automatisch gegeben. Häufig bleiben seine Entstehungsbedingungen, die Auswahl seiner Daten und die Gewichtung seiner Kriterien für die Betroffenen undurchsichtig.

Damit entsteht eine besondere Form der Autorität: Das System präsentiert ein Ergebnis, ohne dass seine institutionelle und gesellschaftliche Herkunft im Ergebnis selbst sichtbar werden muss.

Die Maschine erscheint unpersönlich, obwohl sie keineswegs voraussetzungslos ist. Sie erscheint neutral, obwohl ihre Ergebnisse von Entscheidungen abhängen. Sie erscheint objektiv, obwohl jede Modellierung eine Auswahl dessen voraussetzt, was überhaupt als relevant gelten soll.

Die entscheidende Differenz liegt deshalb nicht zwischen menschlicher und technischer Orientierung als solchen. Sie liegt zwischen Orientierungsformen, deren Voraussetzungen und Grenzen sichtbar und kritisierbar bleiben, und solchen, deren Autorität sich gerade aus ihrer scheinbaren Unpersönlichkeit speist.

Die Frage lautet nicht, ob Menschen sich an künstlicher Intelligenz orientieren dürfen. Sie lautet, was geschieht, wenn Orientierung in Unterordnung übergeht und die eigene Urteilskraft nicht mehr ergänzt, sondern ersetzt.

Selbstverfügung statt Selbstherrschaft: Eine andere Vorstellung menschlicher Freiheit

Die Kritik an der souveränen Maschine darf nicht zu einer Rückkehr des souveränen Menschen führen. Das wäre ein Rückschritt in eine Vorstellung von Autonomie, deren theoretische Schwächen längst sichtbar geworden sind.

Die Alternative besteht darin, zwischen Selbstherrschaft und Selbstverfügung zu unterscheiden.

Selbstherrschaft würde bedeuten, Ursprung und Kontrolle der eigenen Existenz zu sein. Ein Mensch müsste seine Motive kennen, seine Bedingungen beherrschen und seine Entscheidungen unabhängig von äußeren Einflüssen treffen können. Ein solches Wesen existiert nicht.

Selbstverfügung bezeichnet dagegen eine andere Möglichkeit. Sie meint die Fähigkeit, sich zu den eigenen Lebensbedingungen, Wünschen, Konflikten und Handlungen ins Verhältnis zu setzen. Ein Mensch muss seine Abhängigkeiten nicht überwinden, um sie wahrnehmen zu können. Er muss seine unbewussten Motive nicht vollständig beherrschen, um über sie nachdenken zu können. Und er muss nicht unabhängig von gesellschaftlichen Verhältnissen sein, um diese kritisieren zu können.

Die Psychoanalyse liefert hierfür einen wichtigen theoretischen Hintergrund. Ihre grundlegende Einsicht besteht gerade darin, dass das Ich nicht mit dem gesamten psychischen Geschehen identisch ist. Bewusste Absichten, unbewusste Wünsche und gesellschaftliche Anforderungen können miteinander in Konflikt geraten. Das Subjekt ist nicht mit sich selbst identisch und dennoch nicht einfach verschwunden.

Diese Spannung ist entscheidend. Wer sich selbst nicht vollständig kennt, muss deshalb nicht aufhören, sich selbst zu befragen. Wer seine Lebensbedingungen nicht kontrolliert, ist deshalb nicht von jeder Verantwortung entbunden.

Verantwortung bedeutet unter diesen Voraussetzungen nicht, die alleinige Ursache einer Handlung zu sein. Sie bedeutet, sich zu den eigenen Handlungsmöglichkeiten und ihren Folgen ins Verhältnis setzen zu können. Sie setzt keine vollständige Kontrolle voraus, wohl aber die Möglichkeit der Stellungnahme.

Diese Vorstellung lässt sich auch mit gesellschaftlichen und kulturellen Selbstverständnissen verbinden, die das isolierte Individuum nicht als Ausgangspunkt menschlicher Existenz betrachten.

Beziehungsorientierte und gemeinschaftliche Traditionen betonen, dass Identität durch Rollen, Verpflichtungen und wechselseitige Anerkennung entsteht. Nicht das unabhängige Einzelwesen, sondern das Verhältnis zu anderen bildet den Ausgangspunkt des Selbstverständnisses.

Auch Lehren, die die Vorstellung eines unveränderlichen Selbst zurückweisen, müssen nicht als Aufforderung zur Gleichgültigkeit gegenüber dem eigenen Leiden verstanden werden. Die Auflösung eines festen Ich-Kerns bedeutet nicht automatisch die Auflösung von Konflikt, Erfahrung oder Verantwortung.

Die Gefahr liegt vielmehr in einer vereinfachenden kulturellen Rezeption: Wenn die Überwindung des isolierten Ichs mit der Überwindung persönlicher Konflikte gleichgesetzt wird, wird aus einer anspruchsvollen philosophischen Position eine beruhigende Entlastungserzählung.

Doch weder die soziale Eingebundenheit des Menschen noch die Relativierung eines festen Selbst beseitigen die Tatsache, dass Menschen leiden, Entscheidungen erleben und mit den Folgen ihres Handelns konfrontiert werden.

Die entscheidende Frage bleibt daher bestehen: Wie kann ein Wesen Verantwortung tragen, das sich selbst nicht vollständig gehört?

Die Grenzen populärer Erklärungen: Warum weder Mensch noch Maschine das Problem allein erklären

Die gegenwärtige Diskussion über künstliche Intelligenz wird häufig von zwei vereinfachenden Erzählungen geprägt.

Die erste ist technikoptimistisch. Sie betrachtet menschliche Urteilskraft als eine vorläufige, fehlerhafte Form der Informationsverarbeitung, die durch leistungsfähigere Systeme zunehmend ersetzt werden könne. Die zweite ist technikpessimistisch. Sie betrachtet künstliche Intelligenz als grundsätzlich fremde und bedrohliche Macht, die menschliche Autonomie zwangsläufig zerstöre.

Beide Positionen greifen zu kurz.

Die technikoptimistische Perspektive unterschätzt, dass menschliche Entscheidungen nicht ausschließlich Informationsverarbeitungsprobleme sind. Eine medizinische, juristische oder politische Entscheidung verlangt nicht nur die Verarbeitung vorhandener Daten. Sie beinhaltet auch Werturteile, Zielkonflikte und die Frage, welche Folgen für wen akzeptabel sind.

Eine Maschine kann Wahrscheinlichkeiten berechnen und Handlungsmöglichkeiten vergleichen. Daraus folgt nicht, dass sie bestimmen kann, welche Interessen Vorrang haben sollen oder welche Risiken eine Gesellschaft moralisch verantworten darf.

Umgekehrt romantisiert die technikpessimistische Perspektive häufig den Menschen. Menschliches Urteilen ist keineswegs automatisch verantwortungsvoll, empathisch oder gerecht. Menschen unterliegen systematischen Wahrnehmungsverzerrungen, emotionalen Abwehrmechanismen, Gruppendynamiken und institutionellen Zwängen. Technische Systeme können in bestimmten Bereichen durchaus zuverlässiger arbeiten als einzelne Menschen.

Auch der Verweis auf den menschlichen Faktor löst das Problem nicht. Wenn eine Institution einen Algorithmus einsetzt, kann die bloße Anwesenheit eines Menschen in der Entscheidungskette noch keine wirksame Kontrolle garantieren. Menschen können automatisierte Empfehlungen unkritisch übernehmen, insbesondere wenn ihnen die Zeit, das Wissen oder die institutionelle Macht fehlt, ihnen zu widersprechen.

Die psychologische Forschung kennt hierfür das Problem übermäßigen Vertrauens in automatisierte Systeme. Je überzeugender und reibungsloser ein technisches Verfahren erscheint, desto größer kann die Versuchung sein, seine Ergebnisse als verlässliche Orientierung zu übernehmen. Umgekehrt können Menschen technische Empfehlungen auch dann ablehnen, wenn diese tatsächlich hilfreich wären.

Es geht folglich weder um die grundsätzliche Überlegenheit des Menschen noch um die grundsätzliche Überlegenheit der Maschine. Entscheidend ist die konkrete Verteilung von Wissen, Macht, Kontrolle und Verantwortung.

Eine weitere Grenze populärer Erklärungen besteht darin, technische Probleme von ihren gesellschaftlichen Voraussetzungen zu isolieren. Diskriminierung entsteht nicht erst durch Algorithmen. Sie kann bereits in den Daten, Kategorien und institutionellen Praktiken enthalten sein, die ein System übernimmt. Ebenso wenig ist mangelnde Transparenz eine ausschließlich technische Eigenschaft. Sie kann das Ergebnis wirtschaftlicher Interessen, rechtlicher Ausnahmeregelungen und politischer Entscheidungen sein.

Wer künstliche Intelligenz allein als technisches Problem betrachtet, übersieht daher die gesellschaftlichen Konflikte, die durch sie sichtbar und möglicherweise verstärkt werden.

Und wer sie ausschließlich als Ausdruck menschlicher Macht begreift, übersieht wiederum, dass technische Systeme neue Formen der Skalierung, Standardisierung und Distanzierung ermöglichen können.

Die Herausforderung besteht gerade darin, beide Ebenen zusammenzudenken.

Der gesellschaftliche Konflikt: Wer darf urteilen, wer muss Verantwortung tragen?

Mit der zunehmenden Integration künstlicher Intelligenz in gesellschaftliche Entscheidungsprozesse verändert sich nicht nur die Verteilung von Aufgaben. Es verändert sich auch die gesellschaftliche Vorstellung davon, was ein Urteil überhaupt ist.

Traditionell war ein Urteil zumindest prinzipiell einer Person oder einer Institution zurechenbar. Es konnte angefochten, kritisiert und begründet werden. Auch wenn diese Verfahren keineswegs immer gerecht waren, bestand zumindest die Möglichkeit, nach den Gründen einer Entscheidung und nach den Verantwortlichen zu fragen.

Algorithmische Systeme verändern diese Konstellation. Entscheidungen können in komplexen technischen und institutionellen Abläufen entstehen, an denen zahlreiche Akteure beteiligt sind. Entwickler, Betreiber, Datenlieferanten, Behörden und Anwender beeinflussen das Ergebnis, ohne dass einer von ihnen die gesamte Verantwortung sichtbar übernehmen muss.

So entsteht eine paradoxe Situation: Je stärker Entscheidungen technisch vermittelt werden, desto schwieriger kann es werden, ihre gesellschaftlichen Voraussetzungen und Verantwortlichkeiten zu erkennen.

Das ist besonders folgenreich, wenn Entscheidungen existenzielle Konsequenzen haben. Eine fehlerhafte Empfehlung in einer unverbindlichen Informationssuche hat eine andere Bedeutung als eine fehlerhafte Bewertung in der Medizin, der Strafjustiz, der Sozialverwaltung oder im Bildungswesen.

Die europäische Regulierung künstlicher Intelligenz reagiert auf einen Teil dieser Probleme. Sie sieht für bestimmte Hochrisikosysteme Anforderungen an menschliche Aufsicht vor. Damit wird institutionell anerkannt, dass technische Leistungsfähigkeit allein keine ausreichende Legitimation für weitreichende Entscheidungen darstellt.

Doch auch Regulierung beantwortet nicht alle Fragen. Menschliche Aufsicht kann formal bestehen und praktisch wirkungslos bleiben. Transparenz kann Informationen bereitstellen, ohne tatsächliche Verständlichkeit herzustellen. Ein Einspruchsrecht kann existieren, ohne dass Betroffene über die Ressourcen verfügen, es wirksam zu nutzen.

Die entscheidende gesellschaftliche Frage ist deshalb größer als die Frage nach technischer Sicherheit: Welche Bedingungen müssen erfüllt sein, damit Menschen auch in hochgradig automatisierten Gesellschaften als urteilsfähige und verantwortliche Subjekte anerkannt bleiben?

Dabei geht es nicht um eine romantische Verteidigung individueller Entscheidungsfreiheit. Es geht um die Möglichkeit, Entscheidungen zu hinterfragen, ihre Voraussetzungen sichtbar zu machen und ihre Folgen zurechenbar zu halten.

Eine Gesellschaft, die immer mehr Entscheidungen an Systeme delegiert, ohne ihre institutionellen Voraussetzungen offenzulegen, riskiert eine eigentümliche Form der Entpolitisierung. Was eigentlich ausgehandelt werden müsste, erscheint dann als technisch notwendig. Was eigentlich eine normative Entscheidung ist, wird als mathematisches Ergebnis präsentiert.

Die Macht verschwindet nicht. Sie wird schwerer erkennbar.

Schluss: Die Souveränität ist eine Fiktion – die Verantwortung nicht

Die Kritik an der Souveränität des Menschen hat ein wichtiges philosophisches Erbe hinterlassen. Sie hat gezeigt, dass das Individuum weder Ursprung seiner selbst noch vollständiger Herr seiner Motive ist. Es ist ein verkörpertes, abhängiges, historisches und widersprüchliches Wesen. Seine Freiheit entsteht nicht außerhalb dieser Bedingungen.

Doch aus dieser Einsicht lässt sich keine allgemeine Entwertung menschlicher Urteilskraft ableiten. Die Tatsache, dass Menschen fehlbar sind, begründet nicht die Autorität einer Maschine. Die Tatsache, dass sie sich selbst nicht vollständig verstehen, macht sie nicht zu ungeeigneten Trägern von Verantwortung. Und die Tatsache, dass sie auf äußere Orientierung angewiesen sind, rechtfertigt nicht, dass sie sich einer Instanz unterwerfen, deren Voraussetzungen sie nicht mehr hinterfragen.

Die gegenwärtige Begeisterung für künstliche Intelligenz berührt deshalb einen älteren kulturellen Konflikt. Es ist der Konflikt zwischen dem Wunsch, die eigene Begrenztheit anzuerkennen, und dem Wunsch, von ihr erlöst zu werden.

Der Mensch soll nicht länger souverän sein. Aber er möchte offenbar auch nicht mit der Unsicherheit leben, die aus dem Verlust dieser Souveränität entsteht. Die Maschine verspricht eine neue Form von Gewissheit. Sie scheint das Urteil zu liefern, das der Mensch sich selbst nicht mehr zutraut.

Vielleicht liegt gerade darin die tiefere Kontinuität zwischen der Kritik des souveränen Subjekts und der gegenwärtigen Überhöhung technischer Systeme. Beide können aus dem Wunsch hervorgehen, die Widersprüchlichkeit menschlicher Existenz zu überwinden. Die eine Bewegung entzieht dem Menschen seine Selbstgewissheit. Die andere bietet ihm eine neue Instanz, an die er sie übertragen kann.

Doch eine solche Übertragung löst den Konflikt nicht. Sie verschiebt ihn lediglich. Denn auch die Maschine bleibt in gesellschaftliche Interessen, historische Voraussetzungen und institutionelle Machtverhältnisse eingebettet. Ihre scheinbare Neutralität ist kein Ort außerhalb der Geschichte.

Die entscheidende Unterscheidung verläuft deshalb nicht zwischen einem souveränen Menschen und einer souveränen Maschine. Beide Vorstellungen sind problematisch. Sie verläuft zwischen einer Ordnung, in der Begrenztheit als Anlass zu Kritik und gemeinsamer Verantwortung verstanden wird, und einer Ordnung, in der Begrenztheit zur Rechtfertigung von Fremdbestimmung wird.

Vielleicht besteht die eigentliche Zumutung menschlicher Existenz darin, dass es keine letzte Instanz gibt, die uns die Verantwortung für unser Urteil abnimmt. Weder das autonome Ich noch die technische Berechnung kann die Unsicherheit beseitigen, in der menschliche Entscheidungen entstehen.

Das bedeutet nicht, dass jedes Urteil gleich gut wäre oder dass wissenschaftliche Erkenntnis und technische Unterstützung ihren Wert verlören. Es bedeutet vielmehr, dass ihre Ergebnisse immer wieder in einen Zusammenhang von Begründung, Widerspruch und Verantwortung zurückgeführt werden müssen.

Die Souveränität des Subjekts ist eine Fiktion. Seine Unersetzlichkeit als Ort von Erfahrung, Leiden, Stellungnahme und Verantwortung ist damit nicht widerlegt.

Vielleicht ist das die eigentliche offene Frage unserer Zeit: Was geschieht mit einer Gesellschaft, wenn ihre Mitglieder immer weniger daran glauben, selbst urteilen zu können, und zugleich immer mehr Instanzen entstehen, die ihnen genau dieses Urteil abnehmen wollen?

Der leere Thron ist nicht das Problem. Das Problem beginnt dort, wo niemand mehr fragt, wer ihn besetzt hat – und warum.

Quellen & Literatur

• Weizenbaum, Joseph (1966): ELIZA – A Computer Program for the Study of Natural Language Communication Between Man and Machine. Communications of the ACM, 9(1), S. 36–45. Grundlagen zur frühen Mensch-Maschine-Interaktion und zur Zuschreibung menschlicher Eigenschaften an Computerprogramme.
• Freud, Sigmund (1923): Das Ich und das Es. Grundlage der psychoanalytischen Kritik an der Vorstellung eines vollständig transparenten und souveränen Ichs.
• Angwin, Julia et al. (2016): Machine Bias. ProPublica. Untersuchung algorithmischer Risikobewertung und unterschiedlicher Fehlklassifikationsraten. Ergänzend: ProPublicas technische Erwiderung auf die Kritik des Softwareanbieters.
• National Institute of Standards and Technology (2024): Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600-1. Wissenschaftlich-technische Einordnung generativer KI, ihrer Risiken und ihrer Fehleranfälligkeit.
• Europäischer Gerichtshof (2023): Urteil vom 7. Dezember 2023, Rechtssache C-634/21. Zur automatisierten Erstellung von Bonitätswerten und ihrer Bedeutung für automatisierte Einzelentscheidungen.
• Europäische Union (2024): Verordnung (EU) 2024/1689 – Verordnung über künstliche Intelligenz (AI Act). Rechtlicher Rahmen für risikobasierte Regulierung und menschliche Aufsicht über bestimmte KI-Systeme.
• Inspectie Justitie en Veiligheid (2023) sowie Rechtspraak (2025): Untersuchungen zu den Folgen des staatlichen Verwaltungsskandals und zu den Zusammenhängen zwischen finanzieller Not, familiärer Belastung und Kinderschutzmaßnahmen. Ergänzend: Bericht des niederländischen Statistikamtes zu den statistisch erfassten Fremdunterbringungen.

Neue Texte auf Gedankenplanet

Was geschieht – und was es mit uns macht. Ein vielstimmiger Blick auf die Gegenwart und ihre Fragen. Neues aus Alltag & Leben, Business & Karriere, Gesellschaft & Politik, Gesundheit & Wohlbefinden, Kultur & Kunst, Liebe & Beziehungen, Natur & Umwelt, Philosophie & Psychologie, Recht sowie Wissenschaft & Technik: