GEO webfejlesztőknek: így olvassák az AI-keresők az oldaladat

Robots.txt az AI-robotokhoz, CDN-beállítás, szerveroldali HTML és mérés lépésenként, hogy a ChatGPT, a Claude, a Perplexity és a Google AI is lássa az oldalad.

8 perc olvasásFrissítve:

A GEO (generative engine optimization) azt jelenti, hogy az oldalad tartalma bekerülhessen az AI-keresők válaszaiba, és ott forrásként, linkkel szerepeljen. A neve újabb, mint maga a munka: nagy része ugyanaz a technikai SEO, amit eddig is csináltál. Van viszont néhány pont, ahol egy átlagos modern weboldal csendben láthatatlanná válik az AI-robotok számára. Ez az útmutató ezeket veszi sorra, a 2026. novemberi állapot szerint.

Kinek szól: annak, aki weboldalt épít vagy üzemeltet, és hozzáfér a szerverhez, a CDN-hez vagy legalább a robots.txt fájlhoz.

Két külön út vezet az AI-válaszokba

A Google AI-funkciói (AI Overviews, AI Mode) a Google meglévő keresőindexére épülnek. A Google saját útmutatója szerint ezekhez nincs szükség külön optimalizálásra: ami a klasszikus keresőben megjelenhet, az itt is szóba jöhet. A Googlebot a JavaScriptet is lefuttatja.

A független AI-keresők (ChatGPT, Claude, Perplexity) saját robotokkal járnak, és ezek másképp dolgoznak. A legfontosabb különbség: a Vercel és a MERJ nagy mintán végzett mérése szerint az OpenAI és az Anthropic robotjai letöltik ugyan a JavaScript-fájlokat, de nem futtatják le őket. Amit a szerver nem küld el kész HTML-ként, azt ezek a robotok nem látják.

A teendők ezért két csoportba esnek: ami mindenkinek számít (elérhetőség, tiszta HTML, mérés), és ami kifejezetten a független AI-robotok miatt fontos (a robotok szerinti robots.txt-szabályok és a szerveroldali megjelenítés).

1. Döntsd el, mit engedsz: tanítást, keresést, lekérést

Az AI-cégek ma már szerepek szerint külön robotot használnak. Így engedheted a keresést és a felhasználói lekérést, közben pedig kizárhatod a modelltanítást.

Cég Modelltanítás Keresőindex Felhasználói lekérés
OpenAI GPTBot OAI-SearchBot ChatGPT-User
Anthropic ClaudeBot Claude-SearchBot Claude-User
Perplexity nincs ilyen robot PerplexityBot Perplexity-User
Google Google-Extended (csak vezérlőjel) Googlebot Googlebot

Három részlet, amin könnyű elcsúszni:

  • A felhasználói lekérés más műfaj. Ha valaki egy konkrét linket ad a ChatGPT-nek, a lekérést egy ember indítja. Az OpenAI dokumentációja szerint ilyenkor a robots.txt szabályai nem feltétlenül érvényesek, a keresési megjelenést pedig az OAI-SearchBot szabálya dönti el. A Perplexity-User viselkedését harmadik feleknél is így írják le.
  • A Google-Extended nem robot, hanem jelzés. A Gemini-modellek tanítását és a Gemini-válaszok forrásolását szabályozza. A Google szerint a keresőben való megjelenésre és a rangsorolásra nincs hatással, az AI Overviews-t és az AI Mode-ot pedig a Googlebot szabálya vezérli.
  • Új, közös tanítási jelzés készül. Az IETF aipref munkacsoportja szabványt dolgoz ki arra, hogy egy oldal géppel olvasható módon kizárhassa az AI-tanítást. Az Anthropic 2026. október 30-tól fokozatosan elkezdte figyelembe venni. A formátum még változhat, ezért érdemes követni.

2. Írd meg a robots.txt-t robotonként

A leggyakoribb eset: szeretnéd, ha a keresőkben és az AI-válaszokban látszódnál, de a tartalmadat nem adnád oda modelltanításhoz. Erre ez a minta jó kiindulópont:

# Keresés és felhasználói lekérés: engedve
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /admin/

# Modelltanítás: tiltva
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

# Mindenki más (köztük a Googlebot és a Bingbot)
User-agent: *
Disallow: /admin/

Sitemap: https://pelda.hu/sitemap.xml

Mire figyelj közben:

  • Minden robot csak a saját csoportját olvassa. Ha egy robotnak van saját blokkja, a User-agent: * alatti szabályok rá már nem vonatkoznak. Ezért kell az /admin/ tiltást a saját blokkokba is beírni.
  • Aldomainenként külön fájl kell. A blog.pelda.hu nem örökli a pelda.hu robots.txt-jét.
  • A változás nem azonnali. Az OpenAI például nagyjából egy napot ír, mire a keresése igazodik egy módosításhoz.
  • Ha mindent engedni akarsz, nem kell külön AI-blokk. Ilyenkor csak arra figyelj, hogy egy régi, bemásolt tiltólista ne zárja ki őket.

3. Nézd meg a CDN-t és a tűzfalat is

A robots.txt csak kérés. A CDN vagy a tűzfal viszont még a szervered előtt megállítja a kérést, és ilyenkor hiába engedsz meg valamit a fájlban. A Google útmutatója is külön kiemeli, hogy a feltérképezést a CDN és a tárhely sem akadályozhatja.

Konkrét példa a Cloudflare: 2026. szeptember 15-től az új domaineknél és az ingyenes csomagoknál alapból tiltja a tanító és az ügynök típusú robotokat azokon az oldalakon, ahol hirdetés fut. A Help Net Security beszámolója szerint ha a tanító robotokat tiltod, a több szerepet ellátó robotok (például a Googlebot, az Applebot és a Bingbot) is fennakadhatnak. Ezt a beállítást egyszer, tudatosan érdemes átnézni.

Az ellenőrzéshez a hálózaton át kérd le a fájlt, ne a szerveren lévő példányt nézd. Előfordulhat, hogy a CDN menet közben módosítja:

curl -s https://pelda.hu/robots.txt
curl -s -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot" https://pelda.hu/

A második parancs csak azt mutatja meg, hogy a szerver ilyen azonosítóra mit válaszol. A valódi robotokat a CDN gyakran IP-cím alapján kezeli, ezért a végleges választ a CDN robotnaplója vagy a szervernapló adja (lásd a 7. lépést).

4. A tartalom legyen benne a nyers HTML-ben

Ez a legfontosabb fejlesztői pont. Egy kliensoldalon renderelt alkalmazás (React, Vue vagy Angular SPA szerveroldali megjelenítés nélkül) az AI-robotnak gyakran csak egy üres <div id="app"> elemet ad.

Így teszteld egy perc alatt: válassz egy mondatot az oldal törzsszövegéből, és keresd meg a nyers válaszban.

curl -s https://pelda.hu/termek/kek-bogre/ | grep -c "kézzel mázazott kerámia"

Ha az eredmény 0, a mondat csak JavaScripttel jelenik meg. Ugyanezt böngészőben is megnézheted: a fejlesztői eszközökben kapcsold ki a JavaScriptet, majd töltsd újra az oldalt. Ami ilyenkor eltűnik, azt a ChatGPT és a Claude robotja sem látja.

A javítás iránya:

  • Statikus generálás (SSG) tartalomoldalakhoz, blogokhoz, dokumentációhoz. A legolcsóbb és a leggyorsabb megoldás.
  • Szerveroldali megjelenítés (SSR) gyakran változó oldalakhoz, például terméklistákhoz és árakhoz.
  • Előrenderelés átmeneti megoldásnak, ha egy meglévő SPA-t nem lehet gyorsan átírni.

A lényeg nem a keretrendszer, hanem a szabály: a cím, a törzsszöveg, az ár és a kulcsadatok már az első HTML-válaszban szerepeljenek. Interaktív részek (szűrők, kosár) maradhatnak JavaScriptben.

5. Írj tiszta, szemantikus HTML-t

A Google AI-útmutatója szerint ahol ésszerű, érdemes szemantikus HTML-t használni, de az ember és a kisegítő eszközök olvashatósága fontosabb a tökéletes jelölésnél. Ami a gyakorlatban a legtöbbet számít:

  • Egy h1 és logikus címsorrend. A h2 és a h3 alá tartozó szöveg tényleg arról szóljon, amit a címsor ígér.
  • Valódi linkek. Belső navigáció <a href="/utvonal/"> elemmel, ne onclick eseménnyel. A robot csak a href attribútumot követi.
  • Táblázat <table> elemmel. Ár- és műszakiadat-összevetésnél sokat számít, hogy a sorok és az oszlopok géppel is egyértelműek legyenek.
  • Szöveg szövegként. Képre írt árat, nyitvatartást vagy feliratot a robot nem olvas el. Az alt szöveg írja le, mi van a képen.
  • Egy oldal, egy URL. A duplikált tartalmat kanonikus URL-lel jelöld, mert a Google útmutatója is a duplikációk csökkentését javasolja.

Amit a Google kifejezetten nem kér: hogy a szöveget apró darabokra szabdald az AI kedvéért, vagy hogy átírd a stílusodat a gépeknek. Az ember számára jól tagolt oldal a gépnek is jó.

6. Strukturált adat: hasznos, de nem belépőjegy

A Google szerint az AI-funkciókhoz nem kell sem strukturált adat, sem különleges schema.org-jelölés. A rich results miatt viszont továbbra is érdemes használni. Ha teszel az oldalra JSON-LD-t, két szabályt tarts be:

  • Csak azt jelöld, ami látható is. Az árnak, az értékelésnek és a nyitvatartásnak egyeznie kell az oldalon olvasható adattal.
  • Szerveroldalon kerüljön a HTML-be. A JavaScripttel utólag beszúrt jelölést a nem renderelő robotok nem látják.

7. Segítsd a felfedezést, és mérd az eredményt

Felfedezés:

  • Oldaltérkép valós lastmod dátummal. Csak akkor frissüljön a dátum, ha a tartalom tényleg változott. A minden buildnél frissülő dátum semmit nem jelez.
  • Belső linkek. Minden fontos oldalra vezessen link egy már ismert oldalról. A Google ezt az AI-funkcióknál is külön említi.
  • IndexNow. Egy egyszerű POST-kéréssel jelezheted a Bingnek és a többi támogató keresőnek, mely URL-ek változtak. Érdemes a deploy végére tenni, és csak a ténylegesen változott oldalakat küldeni. A Google nem használja.

Mérés:

  • Google Search Console, Generatív AI jelentés. 2026 júniusa óta külön mutatja, hányszor jelent meg az oldalad az AI Overviews-ban és az AI Mode-ban. A beszámolók szerint csak megjelenéseket ad, lekérdezéseket és kattintásokat nem.
  • Bing Webmaster Tools, AI Performance. Azt mutatja, hányszor hivatkozott az oldaladra a Copilot és a Bing AI-összefoglalója, és mely oldalakra. A ChatGPT-t nem méri.
  • Szervernapló. Ebből látod, melyik robot jár nálad, és milyen választ kap:
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot" access.log \
  | awk '{print $9}' | sort | uniq -c

A kimenet a robotok kéréseinek HTTP-státuszait összesíti. Ha sok a 403-as vagy az 503-as válasz, valami az útjukba áll. Ne feledd: a robotazonosítót bárki hamisíthatja. Az OpenAI, az Anthropic és a Perplexity közzéteszi a robotjai IP-címeit, egy gyanús forgalomnál ezekkel vesd össze.

Amire nem kell időt szánni

  • llms.txt. Egy Markdown-fájl a gyökérben, amely összefoglalja az oldalt a nyelvi modelleknek. A Google szerint a keresője nem használja: nem árt, de nem is segít. Az Ahrefs 2026 májusi mérése szerint az ilyen fájlok 97%-át egyetlen robot sem kérte le. Fejlesztői dokumentációnál, kódoló asszisztenseknek lehet értelme, egy átlagos céges oldalnál nincs.
  • Kulcsszóvariációs aloldalak. A Google szerint az, hogy egy kérdés minden változatára külön oldalt gyártasz, beleütközhet a tömeges tartalomgyártás elleni szabályába.
  • Mesterséges említések. A fizetett vagy gyártott hivatkozásokat a Google szerint a spamszűrők eleve kiszűrik.
  • Csodát ígérő GEO-eszközök. Külső eszköz nem lát bele a Google rangsorolásába. Amit ígér, azt vesd össze a keresők hivatalos dokumentációjával.

Gyors ellenőrzőlista

  1. A robots.txt robotonként rendezett, és a hálózaton át lekérve is azt mutatja, amit akarsz.
  2. A CDN és a tűzfal AI-robotbeállítását valaki tudatosan átnézte.
  3. A kulcsoldalak törzsszövege, ára és címe benne van a nyers HTML-ben (curl-teszt).
  4. A belső navigáció valódi <a href> linkekből áll, az oldaltérkép valós dátumokat ad.
  5. A strukturált adat egyezik a látható tartalommal, és szerveroldalon kerül a HTML-be.
  6. A Search Console és a Bing Webmaster Tools be van kötve, a szervernaplóban pedig látszanak az AI-robotok 200-as válaszai.

Ha a kódot AI-asszisztenssel írod, a szabályfájl a kódoló AI-nak promptban rögzítheted, hogy új oldalnál a tartalom mindig szerveroldalon jelenjen meg. A kódátnézés pull request előtt prompt pedig rákérdezhet erre minden változtatásnál.

Források

Próbáld ki ezekkel a promptokkal

Promptkönyvtár

További útmutatók

Mind