llms.txt richtig erstellen: Best Practices & Template für Marketing

llms.txt richtig erstellen: Best Practices & Template für Marketing

Dienstag, 10:30 Uhr: Ihre neueste Marktanalyse, wochenlang erarbeitet, erscheint plötzlich in der Antwort eines KI-Chatbots, ohne Quellenangabe und ohne Link auf Ihre Seite. Gleichzeitig beschreibt derselbe Chatbot Ihr Produkt mit Angaben von vor zwei Jahren. Beide Probleme haben mit KI-Crawlern zu tun, aber sie werden mit zwei verschiedenen Dateien gelöst: Die robots.txt regelt, welche Crawler was abrufen dürfen. Die llms.txt sagt Sprachmodellen, welche Inhalte Ihrer Website wichtig sind und wo sie die verlässliche Version finden.

Genau diese Trennung wird oft verwechselt. Viele Anleitungen beschreiben die llms.txt als „robots.txt für KI“ mit User-agent- und Disallow-Zeilen. Das entspricht nicht der Spezifikation. In diesem Leitfaden zeigen wir Schritt für Schritt, wie eine llms.txt nach dem Vorschlag auf llmstxt.org aufgebaut ist, wie Sie den Zugriff von KI-Crawlern ergänzend über die robots.txt steuern, welche Fehler Sie vermeiden sollten und wie Sie beides prüfen. Sie erhalten für beide Dateien ein sofort einsetzbares Template.

Was ist llms.txt, und was ist sie nicht?

Die llms.txt ist ein Vorschlag für eine Markdown-Datei, die Large Language Models (LLMs) und KI-Agenten eine kompakte Übersicht über eine Website gibt: wer Sie sind, worum es geht und welche Seiten die wichtigsten Informationen enthalten. Vorgeschlagen hat das Format Jeremy Howard im September 2024; die Spezifikation wird auf llmstxt.org gepflegt. Die Idee dahinter: Sprachmodelle arbeiten mit begrenzten Kontextfenstern und tun sich mit HTML voller Navigation, Skripten und Werbeflächen schwer. Eine kurze, gut gegliederte Datei mit Links auf die Kerninhalte ist für sie leichter zu verarbeiten.

Drei Missverständnisse sollten Sie ausräumen, bevor Sie die Datei anlegen:

• Kein Sperrmechanismus: Eine llms.txt kann keinen Crawler aussperren. Wer KI-Crawler blockieren will, tut das in der robots.txt mit den User-Agent-Namen der Anbieter.
• Kein Ranking-Signal: Die Datei hat keinen belegten Einfluss auf Rankings in Google oder Bing. Ob und wie einzelne KI-Anbieter sie auswerten, ist nicht umfassend dokumentiert.
• Kein Sitemap-Ersatz: Die XML-Sitemap listet alle indexierbaren URLs. Die llms.txt ist eine kuratierte Auswahl mit Erklärungen.

robots.txt, sitemap.xml und llms.txt im Vergleich

Kriterium	robots.txt	sitemap.xml	llms.txt
Aufgabe	Zugriff erlauben oder verbieten	Alle indexierbaren URLs auflisten	Kontext und Prioritäten für Sprachmodelle
Format	User-agent, Allow, Disallow, Sitemap	XML	Markdown
Umfang	Regeln für Pfade	Vollständig	Bewusst ausgewählt, mit Beschreibungen
Ort	Domain-Root	Frei, Verweis in robots.txt	Root oder ein Unterpfad
Kann Crawler aussperren?	Ja, für Crawler, die sich daran halten	Nein	Nein

Der unmittelbare Nutzen für Marketing-Entscheider

Für Sie als Marketing-Verantwortlichen geht es um handfeste Geschäftsinteressen: Sie wollen, dass KI-Systeme Ihr Angebot korrekt wiedergeben, auf Ihre aktuellen Seiten verweisen und proprietäre Inhalte nicht ungefragt für Trainingszwecke abschöpfen. Die llms.txt hilft beim ersten Teil, die robots.txt beim zweiten. Wenn eine KI Ihre detaillierte Anleitung zur Datenaufbereitung paraphrasiert, ohne auf Ihre Seite zu verlinken, verlieren Sie Leads und Autorität. Beide Dateien zusammen geben Ihnen mehr Einfluss darauf, als keine von beiden.

Die Anatomie einer llms.txt nach Spezifikation

Öffnen Sie einen einfachen Texteditor wie Notepad++ oder Visual Studio Code. Die llms.txt ist reines Markdown und folgt einer festen Reihenfolge. Laut Spezifikation gilt:

Element	Pflicht?	Inhalt
H1-Überschrift (#)	Ja, das einzige Pflichtelement	Name der Website oder des Unternehmens
Blockquote (>)	Optional	Kurze Zusammenfassung mit den Schlüsselinformationen
Freitext	Optional	Absätze oder Listen mit weiteren Hinweisen, aber ohne Überschriften
H2-Abschnitte (##)	Optional	Linklisten, jede Zeile im Format - [Name](URL): Hinweis; der Hinweis nach dem Doppelpunkt ist optional
Abschnitt ## Optional	Optional	Nachrangige Links, die ein Agent überspringen kann, wenn der Kontext knapp ist

Ein Minimalbeispiel

So sieht eine kleine, korrekt aufgebaute llms.txt für eine B2B-Website aus:

# Muster GmbH

> Die Muster GmbH entwickelt Software für die Tourenplanung in mittelständischen Logistikunternehmen. Sitz in Leipzig, Support auf Deutsch und Englisch.

Preise und Funktionsumfang stehen verbindlich auf den verlinkten Produktseiten. Blogartikel vor 2024 beschreiben teilweise ältere Versionen.

## Produkt
- [Tourenplaner](https://www.muster.de/produkt/tourenplaner): Funktionen, Schnittstellen, Systemvoraussetzungen
- [Preise](https://www.muster.de/preise): Pakete und Laufzeiten

## Unternehmen
- [Über uns](https://www.muster.de/unternehmen): Gründung, Team, Standorte
- [Kontakt](https://www.muster.de/kontakt): Vertrieb und Support

## Optional
- [Blog](https://www.muster.de/blog): Fachartikel zur Routenoptimierung

Beachten Sie die Leerzeichen nach # und ##, absolute URLs und je Link eine kurze Beschreibung. Genau diese Beschreibung nutzt ein Modell, um zu entscheiden, ob sich der Abruf einer Seite für eine konkrete Frage lohnt.

Markdown-Versionen der Seiten und llms-full.txt

Die Spezifikation schlägt zusätzlich vor, wichtige Seiten als reines Markdown unter derselben URL mit angehängtem .md bereitzustellen (etwa /preise.html.md oder /preise.md). Die llms.txt kann dann auf diese Versionen verlinken, sodass ein Agent Inhalt ohne Navigation, Cookie-Banner und Skripte erhält. Das ist vor allem für Dokumentationen und Wissensseiten sinnvoll, bei einer klassischen Marketing-Website aber kein Muss.

In der Praxis begegnet Ihnen außerdem die Datei llms-full.txt. Sie enthält nicht nur Links, sondern den vollständigen Text der wichtigsten Seiten in einer Datei. Diese Variante ist eine verbreitete Konvention einiger Dokumentationswerkzeuge, aber nicht Teil der Spezifikation. Für die meisten Unternehmenswebsites reicht die llms.txt mit guten Linkbeschreibungen.

Zugriff steuern: die robots.txt-Seite der KI-Strategie

Wenn Sie bestimmte Crawler aussperren oder nur Teile Ihrer Website freigeben wollen, ist die robots.txt das richtige Werkzeug. Viele KI-Anbieter veröffentlichen eigene User-Agent-Namen, die Sie dort gezielt ansprechen können. Die Syntax basiert auf zwei Direktiven: „User-agent“ zur Identifikation des Crawlers und „Disallow/Allow“ zur Festlegung der Regel.

Grundlegende Syntax-Regeln

Jede Regelgruppe beginnt mit der Zeile „User-agent:“, gefolgt vom Namen des Crawlers oder einem Sternchen (*) für alle Crawler. Darunter folgen eine oder mehrere Zeilen „Disallow:“ oder „Allow:“ mit dem jeweiligen Pfad. Übernehmen Sie die User-Agent-Namen exakt so, wie der Anbieter sie in seiner Dokumentation angibt, und prüfen Sie diese Liste regelmäßig, weil Anbieter neue Crawler einführen.

Praktische Beispiele für häufige Szenarien

Um OpenAIs Trainings-Crawler von der gesamten Website auszuschließen, verwenden Sie: User-agent: GPTBot gefolgt von Disallow: /. Eine differenzierte Strategie blockiert bestimmte Verzeichnisse wie /kunden-portal/ oder /intern/ für alle KI-Crawler, während der Blogbereich (/blog/) für ausgewählte Crawler freigegeben bleibt.

User-Agent	Betreiber	Typischer Zweck	Empfohlene Einstellung für B2B
GPTBot	OpenAI	Sammeln von Trainingsdaten für OpenAI-Modelle	Disallow für proprietäre Inhalte, Allow für Blog
Google-Extended	Google	Steuerungs-Token für die Nutzung von Inhalten in Gemini-Modellen	Differenzierte Regelung je nach Inhaltsstrategie
CCBot	Common Crawl	Erstellung öffentlicher Datensätze	Oft pauschal Disallow, da die Daten frei weiterverwendet werden
ChatGPT-User	OpenAI	Abrufe, die Nutzer in ChatGPT auslösen	Verhalten gegenüber robots.txt in der aktuellen OpenAI-Dokumentation prüfen

Wichtig für das Zusammenspiel: Die robots.txt darf die llms.txt selbst und die dort verlinkten Seiten nicht für die Crawler sperren, die sie lesen sollen. Sonst verweist die llms.txt auf Inhalte, die gar nicht abgerufen werden dürfen.

Was in die llms.txt gehört, und was nicht

Die häufigste Schwäche liegt nicht in der Syntax, sondern in der Auswahl. Eine llms.txt ist eine Visitenkarte, kein Export aller URLs. Orientieren Sie sich an dieser Aufteilung:

Gehört hinein	Gehört nicht hinein
Kernseiten zu Produkten und Leistungen	Vollständige Produkt- oder Artikellisten
Preis-, Leistungs- und Über-uns-Seiten	Login-, Konto- und Checkout-Seiten
Fachartikel, Fallstudien, Dokumentation	Interne Suchergebnisse und Filter-URLs
Service- und FAQ-Seiten	Weiterleitungen, gelöschte oder noindex-Seiten

Beschreibungen, die Modelle verwenden können

Schreiben Sie Zusammenfassung und Linkhinweise sachlich und konkret. „Wir sind der innovative Marktführer für digitale Lösungen“ sagt einem Sprachmodell nichts. „Wir implementieren CRM-Systeme für Versicherungsmakler mit 20 bis 200 Mitarbeitern“ ordnet Sie eindeutig einem Thema und einer Zielgruppe zu. Dasselbe gilt für jede Linkzeile: Beschreiben Sie, was auf der Seite steht, nicht, wie gut es ist. Verwenden Sie dieselben Produkt- und Firmennamen wie auf der Website und in Ihren strukturierten Daten, damit keine widersprüchlichen Bezeichnungen entstehen.

Häufige Fehler und wie Sie sie vermeiden

Montag, 9:15 Uhr: Nach der Implementierung stellt das IT-Team fest, dass die Datei zwar existiert, aber niemand etwas mit ihr anfangen kann. Der Grund? Eine kopierte robots.txt unter neuem Namen oder eine Liste mit 400 URLs ohne Beschreibung. Solche Fehler sind häufig, aber leicht vermeidbar.

Fehler 1: Falsche Platzierung und Dateibenennung

Legen Sie die Datei im Stammverzeichnis Ihrer Domain ab, erreichbar unter https://www.ihre-domain.de/llms.txt. Die Spezifikation erlaubt auch eine llms.txt in einem Unterpfad, die dann nur die Seiten unterhalb dieses Pfads beschreibt; die Root-Datei ist aber die Stelle, an der Agenten zuerst nachsehen. Achten Sie auf den exakten Dateinamen in Kleinbuchstaben: „LLMS.txt“ oder „llms.txt.md“ werden nicht gefunden. Prüfen Sie die Erreichbarkeit direkt im Browser.

Fehler 2: robots.txt-Syntax in der llms.txt

Zeilen wie „User-agent: GPTBot“ oder „Disallow: /intern/“ haben in der llms.txt keine Wirkung, weil kein Crawler die Datei als Regelwerk liest. Dasselbe gilt für erfundene Felder wie „Attribution-required“, „License“ oder „Training: false“, die in manchen Anleitungen kursieren. Zugriffsregeln gehören in die robots.txt, Lizenzbedingungen auf die Website.

Fehler 3: Widersprüche zwischen robots.txt und llms.txt

Wenn die llms.txt Seiten empfiehlt, die die robots.txt für KI-Crawler sperrt, oder wenn die llms.txt selbst gesperrt ist, läuft sie ins Leere. Gleichen Sie beide Dateien nach jeder Änderung miteinander ab.

Fehler 4: Zu viele Links, zu wenig Kontext

Wer Hunderte URLs ohne Beschreibung auflistet, baut eine zweite Sitemap. Beschränken Sie sich auf die Seiten, die Ihr Angebot am besten erklären, gliedern Sie sie in H2-Abschnitte und schieben Sie Nachrangiges in den Abschnitt „Optional“. Fehlende Linkbeschreibungen sind ein Fehler, keine Stilfrage.

Fehler 5: Die Datei veraltet

Eine llms.txt, die auf gelöschte Seiten, alte Preise oder eingestellte Produkte verweist, schadet mehr als sie nützt. Prüfen Sie die Datei bei jedem Relaunch, jeder Produktänderung und sonst mindestens quartalsweise. Bei großen oder häufig aktualisierten Websites lohnt es sich, die Datei automatisch aus CMS oder Sitemap zu erzeugen und die Beschreibungen anschließend von Hand zu schärfen.

Step-by-Step: So erstellen und implementieren Sie Ihre llms.txt

Öffnen Sie jetzt Ihren Texteditor und folgen Sie diesen sieben Schritten. Eine erste Version für eine kleinere Website steht in weniger als einer Stunde.

Schritt 1: Inhaltsinventur und Strategieentwicklung

Bevor Sie eine Zeile schreiben, analysieren Sie Ihre Website. Welche Bereiche erklären Ihr Angebot am besten und sollen von KI-Systemen gefunden werden (z.B. Leistungsseiten, Blog, Fallstudien)? Welche Bereiche sind privat, proprietär oder kostenpflichtig (z.B. Login-Bereiche, Kundenportale, Forschungsdaten)? Die erste Liste wird Ihre llms.txt, die zweite Ihre robots.txt-Regeln. Diese Analyse ist ähnlich grundlegend wie die Planung für geo-optimierten Content.

Schritt 2: Auswahl der zu adressierenden KI-Crawler

Entscheiden Sie, welche Crawler Sie in der robots.txt ansprechen möchten. Eine fokussierte Strategie, die die für Ihr Geschäft relevanten Agenten wie GPTBot und Google-Extended adressiert, ist leichter zu pflegen als eine Liste aller jemals gesichteten Bots. Recherchieren Sie die offiziellen User-Agent-Namen in der Dokumentation der Anbieter.

Schritt	Aktion	Konkretes Beispiel	Tool/Prüfung
1	Strategie festlegen	„Leistungsseiten empfehlen, Kundenbereich blockieren“	Content-Audit
2	Crawler auswählen	GPTBot, Google-Extended, CCBot	Dokumentation der Anbieter
3	robots.txt-Regeln formulieren	User-agent: GPTBot Disallow: /kunden/	Texteditor
4	llms.txt schreiben	H1, Zusammenfassung, Linklisten; Speichern als „llms.txt“ (UTF-8)	Notepad++, VS Code
5	Upload & Test	Hochladen in Website-Root via FTP oder CMS	FileZilla, Browser-Test
6	Prüfen	Statuscode, Markdown-Struktur, Links, Abgleich mit robots.txt	Browser, curl, Link-Checker
7	Monitoring einrichten	Logfiles auf Abrufe prüfen	Server-Logs

Differenzierte Strategien: Blockieren, Erlauben oder Konditionieren?

Eine pauschale „Block-all“-Politik in der robots.txt ist nicht immer die klügste Wahl. Wer alle KI-Crawler aussperrt, schützt seine Inhalte, nimmt sich aber auch die Chance, in KI-gestützten Suchoberflächen wie Perplexity oder ChatGPT als Quelle aufzutauchen. Die Frage ist also nicht ob, sondern wie.

Strategie A: Selektive Freigabe für Autoritätsaufbau

Diese Strategie eignet sich für Unternehmen, die mit Thought Leadership und Expertise neue Kunden gewinnen. Sie erlauben in der robots.txt das Crawling Ihrer öffentlichen Blogartikel, Fallstudien und Leistungsseiten und blockieren Preislisten, interne Prozessdokumente und Login-Bereiche. Die llms.txt verweist dann gezielt auf die freigegebenen Kernseiten. So steigt die Chance, dass Ihre Inhalte in KI-Antworten korrekt zitiert werden.

Strategie B: Konditionale Nutzung mit Klarstellung

Ergänzend zur robots.txt können Sie in Ihren Nutzungsbedingungen festhalten, unter welchen Bedingungen Inhalte für kommerzielles KI-Training verwendet werden dürfen, und in einem Kommentar der robots.txt darauf verweisen. Für Deutschland ist § 44b UrhG relevant: Text und Data Mining an frei zugänglichen Werken ist erlaubt, solange der Rechteinhaber keinen maschinenlesbaren Nutzungsvorbehalt erklärt hat. Welche Form des Vorbehalts ausreicht, ist nicht abschließend geklärt; lassen Sie die Formulierung juristisch prüfen.

Die Templates für Marketing-Profis

Hier sind zwei sofort einsetzbare Vorlagen für eine typische Marketing-Website. Kopieren Sie sie, passen Sie Namen, Pfade und URLs an Ihre Struktur an und speichern Sie sie als llms.txt bzw. robots.txt im Root-Verzeichnis.

Template 1: llms.txt

# [Firmenname]

> [Ein bis drei Sätze: Was Sie anbieten, für wen, wo. Keine Superlative.]

[Optional: Hinweise ohne Überschrift, z.B. welche Seiten verbindliche Angaben enthalten.]

## Leistungen
- [Leistung A](https://www.ihre-domain.de/leistungen/a): Was die Seite erklärt
- [Leistung B](https://www.ihre-domain.de/leistungen/b): Was die Seite erklärt
- [Preise](https://www.ihre-domain.de/preise): Pakete und Konditionen

## Wissen
- [Fallstudien](https://www.ihre-domain.de/casestudies): Projekte mit Ausgangslage und Ergebnis
- [Whitepaper](https://www.ihre-domain.de/whitepaper): Öffentliche Fachpublikationen

## Unternehmen
- [Über uns](https://www.ihre-domain.de/ueber-uns): Team, Standorte, Geschichte
- [Kontakt](https://www.ihre-domain.de/kontakt): Ansprechpartner für Vertrieb und Presse

## Optional
- [Blog](https://www.ihre-domain.de/blog): Fachartikel und Branchenkommentare

Template 2: KI-Regeln für die robots.txt

# KI-Crawler-Regeln für [Firmenname], Stand: [Datum]
# Nutzungsbedingungen für KI-Training: [URL]

# 1. OpenAI (Trainings-Crawler)
User-agent: GPTBot
Disallow: /kunden-portal/
Disallow: /intern/
Allow: /blog/
Allow: /whitepaper/

# 2. Google (Nutzung für Gemini-Modelle)
User-agent: Google-Extended
Disallow: /preise/
Allow: /blog/
Allow: /casestudies/

# 3. Common Crawl
User-agent: CCBot
Disallow: /

# 4. Alle anderen Crawler
User-agent: *
Disallow: /wp-admin/
Disallow: /kunden-portal/

Ergänzen Sie diese Regeln in Ihrer bestehenden robots.txt, statt sie zu ersetzen, und prüfen Sie, dass die Gruppe „User-agent: *“ nicht versehentlich Ihre Suchmaschinen-Regeln überschreibt.

Prüfen, Monitoring & Rechtliches

Die Veröffentlichung ist der Anfang, nicht das Ende. Wie bei jeder Marketing-Maßnahme sollten Sie prüfen, ob alles technisch funktioniert, und die Wirkung beobachten.

Checkliste nach dem Upload

• Die URL https://www.ihre-domain.de/llms.txt liefert Statuscode 200, ohne Umweg über Weiterleitungsketten.
• Die Datei wird als Klartext angezeigt, ist UTF-8-kodiert und enthält keine HTML-Reste.
• Die erste Zeile ist eine H1 mit # und Leerzeichen; Abschnitte beginnen mit ##.
• Jeder Link hat das Format [Name](URL), verwendet eine absolute URL und führt auf eine erreichbare Seite, nicht auf eine Weiterleitung, einen 404-Fehler oder eine noindex-Seite.
• Weder die llms.txt noch die verlinkten Seiten sind in der robots.txt für die gewünschten Crawler gesperrt.
• Die Angaben stimmen mit der Website überein: gleiche Produktnamen, aktuelle Preise, aktuelle Ansprechpartner.

Technisches Monitoring: Wer ruft was ab?

Prüfen Sie Ihre Server-Logfiles auf Zugriffe der relevanten User-Agents. Filtern Sie nach Einträgen wie „GPTBot“, „CCBot“, „ClaudeBot“ oder „PerplexityBot“. Zwei Fragen stehen im Vordergrund: Halten sich die Crawler an Ihre Disallow-Regeln in der robots.txt? Und wird die llms.txt überhaupt abgerufen? Halten Sie vor der Einführung eine Ausgangsbasis fest, sonst lässt sich keine Veränderung erkennen. Tools wie Screaming Frog können zusätzlich Crawls mit verschiedenen User-Agents simulieren. KI-Traffic auf der Website selbst erkennen Sie in der Webanalyse an Referrern wie perplexity.ai oder chatgpt.com.

Rechtliche Absicherung und ergänzende Maßnahmen

Weder robots.txt noch llms.txt sind rechtliche Barrieren. Für umfassenden Schutz sollten Sie sie mit anderen Maßnahmen kombinieren. Dazu gehören: 1) Klare Nutzungsbedingungen auf Ihrer Website, die die Nutzung Ihrer Inhalte für kommerzielles KI-Training regeln. 2) Die Verwendung von Lizenzmodellen wie Creative Commons mit der Non-Commercial-Klausel (NC) für Inhalte, die Sie bewusst freigeben. 3) Serverseitige Sperren oder Bot-Management für Crawler, die Ihre Regeln ignorieren. Konsultieren Sie einen auf IT-Recht spezialisierten Anwalt.

Wie sich der Standard entwickelt

Die llms.txt ist ein Community-Vorschlag, kein formell verabschiedeter Standard, und die Spezifikation wird weiter überarbeitet. Welche KI-Systeme die Datei regelmäßig auswerten, ist bislang nicht verlässlich dokumentiert. Verbreitet ist sie vor allem bei Software-Dokumentationen, wo Entwickler sie gezielt an Coding-Assistenten übergeben. Behandeln Sie die Datei deshalb als geringen Aufwand mit offenem Nutzen: Sie kostet wenig Pflege, zwingt Sie zu einer klaren Selbstbeschreibung und lässt sich jederzeit anpassen, wenn Anbieter ihren Umgang damit offenlegen.

Fazit: Übernehmen Sie die Kontrolle, heute noch

Jede Woche ohne klare KI-Crawler-Politik ist ein Risiko für Ihre wertvollsten digitalen Assets. Trennen Sie dabei sauber: Die robots.txt entscheidet, welche Crawler was abrufen dürfen. Die llms.txt erklärt Sprachmodellen in Markdown, wer Sie sind und welche Seiten zählen. Beginnen Sie mit den beiden Templates in diesem Artikel, passen Sie sie an Ihre Website an, prüfen Sie beide Dateien mit der Checkliste und setzen Sie sie noch diese Woche live.

Für die Einordnung dieser Maßnahme in Technik, Inhalte und Messung lies unseren GEO-Guide zur KI-Sichtbarkeit.