Wenn man sich die Zahlen im Web Almanac 2025 anschaut, wird schnell klar, dass das Internet nach wie vor ein chaotischer Ort ist – technisch wie organisatorisch. Chris Green, ein erfahrener SEO‑Praktiker, hat die Daten des HTTP Archive durchleuchtet und einige spannende, teils verblüffende Erkenntnisse gewonnen. Er zeigt, wie sich Content‑Management‑Systeme (CMS) und neue technische Entwicklungen wie AI‑Crawler oder llms.txt-Dateien immer stärker auf die tägliche SEO‑Arbeit auswirken. Vieles davon bleibt in der Praxis oft unter dem Radar – bis man genauer hinschaut.
Bot‑Management – Mehr als nur „Google erlaubt oder nicht“
Früher war das relativ einfach: Man ließ Googlebot durch und hielt alle anderen auf. Heute ist das Ganze eine deutlich feinere Balance zwischen Kosten, Datenschutz und Sichtbarkeit. Es gibt unzählige Bots mit unterschiedlichen Zielen – von legitimen Suchmaschinen bis zu Datensammlern für KI‑Modelle.
Chris Green betont aus seiner Erfahrung, dass man als SEO verstehen muss, welcher Bot welchem Zweck dient. Das Blockieren eines Crawler‑Typs kann heute bedeuten, dass ein Teil deiner Inhalte gar nicht mehr in großen Sprachmodellen landet – oder umgekehrt, dass ein sensibler Bereich massenhaft kopiert wird.
Er rät, im Unternehmen nicht nur technisch zu argumentieren, sondern diese Entscheidungen auch mit Redaktion, Datenschutz‑ und Finanzteams abzustimmen. Sonst riskiert man, dass der eine die Crawling‑Kosten senken will, während die andere plötzlich Reichweite im KI‑Kontext verliert.
Robots.txt wird zum ethischen Dokument
Viele vergessen, dass die robots.txt heute mehr ist als eine Datei für Suchmaschinen – sie ist inzwischen ein Statement, wie eine Website mit künstlicher Intelligenz interagieren möchte. Plattformen und Tools interpretieren diese Vorgaben allerdings oft sehr unterschiedlich. Chris sieht hier eine wachsende Verantwortung: SEOs sollten besser verstehen, wie ihre Anweisungen technisch und ethisch umgesetzt werden – und wer sie überhaupt befolgt.
llms.txt – ein heißes Eisen mit erstaunlicher Verbreitung
Ein Punkt, der ihn selbst überrascht hat: Rund 2 % aller untersuchten Websites nutzen bereits llms.txt – den vorgeschlagenen Standard, mit dem man KI‑Crawlern den Zugriff auf Inhalte regeln könnte. Das ist mehr, als viele gedacht hätten.
Interessanterweise kommt diese Verbreitung weniger daher, dass Unternehmen sich aktiv entschieden hätten, sondern oft, weil CMS‑Erweiterungen das Feature automatisch integrieren. Tools wie Yoast packen es einfach mit hinein. Dadurch sieht es nach mehr Akzeptanz aus, als tatsächlich strategisch dahintersteht.
Chris bleibt skeptisch. Er meint: Solange große Player wie Google oder OpenAI nicht klar zusagen, diese Datei zu respektieren, bleibt sie eine nette Geste ohne echte Durchschlagskraft. Ein paar KI‑Crawler scheinen llms.txt‑Dateien tatsächlich abzurufen, doch welchen Einfluss das hat, ist unklar. „Im besten Fall“, so Green, „entsteht damit eine Art Parität – kein Ranking‑Boost, aber etwas mehr Kontrolle darüber, wie man eingeordnet wird.“
SEO und AI – anders, aber erstaunlich vertraut
Trotz all dieser neuen Technologien ist vieles in der SEO‑Welt erstaunlich konstant geblieben. Chris beschreibt es so: „Reassuringly the same where it matters.“ Crawlability, Informationsarchitektur, technische Sauberkeit – all das bleibt die Basis. Der Unterschied liegt darin, wie Systeme Inhalte konsumieren und reproduzieren. Suchmaschinen indexieren, Sprachmodelle interpretieren.
Deshalb, meint er, wird die Zukunft des SEO weniger aus klassischen Maßnahmen auf Seitenebene bestehen, sondern aus Feed‑Management: strukturierte Daten, Produktschnittstellen, API‑basierte Feeds. Google experimentiert bereits damit, Transaktionen direkt im Such‑ oder Gemini‑Interface abzuwickeln. Die Website könnte also mittelfristig zum reinen Datenlieferanten werden.
Das klingt bedrohlich, ist aber auch eine Chance. Denn Inhalte müssen weiterhin für Maschinen verständlich, sauber strukturiert und semantisch korrekt aufbereitet werden. Nur der Ausspiel‑Kanal ändert sich.
CMS‑Systeme haben mehr Macht als SEOs
Einer der aufschlussreichsten Punkte des Web Almanac betrifft laut Chris Green die Content‑Management‑Systeme. Ob WordPress, Shopify oder Wix – diese Systeme prägen das Web stärker, als viele Marketer zugeben.
Die Daten zeigten: Die technische SEO‑Qualität hängt heute weitgehend von den Standards dieser Plattformen ab. Wenn ein CMS einen strukturellen Fehler ausliefert, betrifft er Millionen von Websites gleichzeitig. Andersherum kann schon eine kleine Verbesserung in der Code‑Basis des Systems die gesamte Weblandschaft positiv verschieben.
Chris sagt daher ganz offen: „Wenn du wirklich etwas verändern willst, musst du an die Plattformen ran. Einzelne Agenturen oder SEOs optimieren vielleicht 100 oder 1 000 Sites – ein CMS‑Update beeinflusst 100 000.“
Das erklärt auch, warum trotz all der SEO‑Initiativen so viel im Netz „kaputt“ ist. Viele Seiten implementieren Standards nur halbherzig oder gar nicht. Daraus ergibt sich für Profis eine Gelegenheit: Wer technische Anforderungen wirklich sauber umsetzt, hebt sich deutlicher ab als früher.
Oder, wie Chris es formuliert: „Die Webdaten zeigen, dass vieles einfach bricht. Wir glauben oft, wir SEOs halten das Internet am Laufen – in Wahrheit sind wir ein ziemlich kleiner Hebel in einem sehr großen, chaotischen System.“
KI‑Agenten – Gefahr oder Assistent?
Das Stichwort AI‑Agenten sorgt derzeit für viel Nervosität. Chris nimmt den Druck raus: Diese Agenten werden nicht SEOs ersetzen, aber sie werden Prozesse automatisieren – und schlechte Prozesse besonders deutlich machen.
In vielen SEO‑Abläufen steckt noch viel Handarbeit: Daten sammeln, Reports kopieren, Rankings vergleichen. Genau das leisten Agenten künftig effizienter. Sie übernehmen Routine, keine Strategie. Chris beschreibt sie wie „ein sehr fähiger Praktikant, der 60–80 % der Aufgaben abnimmt“. Aber die letzten 20 % – das Nachdenken, das Interpretieren, das Übersetzen in Geschäftslogik – bleiben menschliche Domäne.
Seine Warnung: Automatisiere nichts, was du nicht verstehst. Sonst skalierst du nur Mittelmaß. Wer jedoch saubere Prozesse entwickelt und KI sinnvoll integriert, hat langfristig den Vorteil.
Warum Prozessverständnis jetzt wichtiger wird
Eine gute Automatisierung kommt nie aus Abkürzungen, sondern aus Klarheit. Du solltest genau wissen, was dein Workflow tun soll – erst dann lohnt es sich, ihn per KI zu beschleunigen. Chris sagt: „Wenn der Prozess schlecht ist, hast du nur eine Maschine gebaut, die schlechten Output in großem Stil produziert.“ Das ist die neue Qualitätsgrenze: nicht mehr bloß Geschwindigkeit, sondern Relevanz.
Was sich für SEOs wirklich ändert
Im Ergebnis zeichnet der Web Almanac ein widersprüchliches, aber realistisches Bild: Das Handwerk bleibt – doch die Umgebung, in der wir es ausüben, wird komplexer.
- Technische Hygiene ist weiterhin Grundlage. Wer strukturiert, sauber und nachvollziehbar arbeitet, bleibt sichtbar – ob im Index oder im LLM‑Training.
- Plattformverständnis wird entscheidend. Die großen CMS‑Anbieter bestimmen, wie einfach oder schwierig guter SEO‑Code überhaupt möglich ist.
- Automatisierung ersetzt Fleißarbeit, nicht Kopfleistung. Das gilt besonders dort, wo man große Datensätze filtert, korreliert und bewertet.
Was mir persönlich an Greens Sicht gefällt, ist dieser bodenständige Pragmatismus: Er glorifiziert KI nicht, aber er verkennt ihren Nutzen auch nicht. Ja, die Weblandschaft ist chaotisch, ja, vieles funktioniert nicht optimal – doch gerade darin liegt der Spielraum für Menschen, die bereit sind, das System wirklich zu verstehen, statt nur Checklisten abzuarbeiten.
Mein Fazit
SEO im Jahr 2026 fühlt sich manchmal an wie ein Marathon durch ständig wechselndes Terrain. Man braucht Neugier, technisches Grundverständnis und die Bereitschaft, auch mal unbequeme Fragen zu stellen – an Tools, an Plattformen und an sich selbst.
Wenn du als SEO heute Erfolg haben willst, lohnt es sich nicht, jeden Hype blind mitzumachen. Es lohnt sich vielmehr, die Mechanismen hinter Bots, CMS und Automatisierung zu verstehen. Wer das Chaos akzeptiert, statt es zu bekämpfen, kann inmitten all der Maschinenlogik immer noch menschliche Strategie liefern – und genau das macht den Unterschied.
