GEO webfejlesztőknek: így olvassák az AI-keresők az oldaladat
Robots.txt az AI-robotokhoz, CDN-beállítás, szerveroldali HTML és mérés lépésenként, hogy a ChatGPT, a Claude, a Perplexity és a Google AI is lássa az oldalad.
A GEO (generative engine optimization) azt jelenti, hogy az oldalad tartalma bekerülhessen az AI-keresők válaszaiba, és ott forrásként, linkkel szerepeljen. A neve újabb, mint maga a munka: nagy része ugyanaz a technikai SEO, amit eddig is csináltál. Van viszont néhány pont, ahol egy átlagos modern weboldal csendben láthatatlanná válik az AI-robotok számára. Ez az útmutató ezeket veszi sorra, a 2026. novemberi állapot szerint.
Kinek szól: annak, aki weboldalt épít vagy üzemeltet, és hozzáfér a szerverhez, a CDN-hez vagy legalább a robots.txt fájlhoz.
Két külön út vezet az AI-válaszokba
A Google AI-funkciói (AI Overviews, AI Mode) a Google meglévő keresőindexére épülnek. A Google saját útmutatója szerint ezekhez nincs szükség külön optimalizálásra: ami a klasszikus keresőben megjelenhet, az itt is szóba jöhet. A Googlebot a JavaScriptet is lefuttatja.
A független AI-keresők (ChatGPT, Claude, Perplexity) saját robotokkal járnak, és ezek másképp dolgoznak. A legfontosabb különbség: a Vercel és a MERJ nagy mintán végzett mérése szerint az OpenAI és az Anthropic robotjai letöltik ugyan a JavaScript-fájlokat, de nem futtatják le őket. Amit a szerver nem küld el kész HTML-ként, azt ezek a robotok nem látják.
A teendők ezért két csoportba esnek: ami mindenkinek számít (elérhetőség, tiszta HTML, mérés), és ami kifejezetten a független AI-robotok miatt fontos (a robotok szerinti robots.txt-szabályok és a szerveroldali megjelenítés).
1. Döntsd el, mit engedsz: tanítást, keresést, lekérést
Az AI-cégek ma már szerepek szerint külön robotot használnak. Így engedheted a keresést és a felhasználói lekérést, közben pedig kizárhatod a modelltanítást.
| Cég | Modelltanítás | Keresőindex | Felhasználói lekérés |
|---|---|---|---|
| OpenAI | GPTBot |
OAI-SearchBot |
ChatGPT-User |
| Anthropic | ClaudeBot |
Claude-SearchBot |
Claude-User |
| Perplexity | nincs ilyen robot | PerplexityBot |
Perplexity-User |
Google-Extended (csak vezérlőjel) |
Googlebot |
Googlebot |
Három részlet, amin könnyű elcsúszni:
- A felhasználói lekérés más műfaj. Ha valaki egy konkrét linket ad a ChatGPT-nek, a lekérést egy ember indítja. Az OpenAI dokumentációja szerint ilyenkor a robots.txt szabályai nem feltétlenül érvényesek, a keresési megjelenést pedig az
OAI-SearchBotszabálya dönti el. A Perplexity-User viselkedését harmadik feleknél is így írják le. - A
Google-Extendednem robot, hanem jelzés. A Gemini-modellek tanítását és a Gemini-válaszok forrásolását szabályozza. A Google szerint a keresőben való megjelenésre és a rangsorolásra nincs hatással, az AI Overviews-t és az AI Mode-ot pedig a Googlebot szabálya vezérli. - Új, közös tanítási jelzés készül. Az IETF aipref munkacsoportja szabványt dolgoz ki arra, hogy egy oldal géppel olvasható módon kizárhassa az AI-tanítást. Az Anthropic 2026. október 30-tól fokozatosan elkezdte figyelembe venni. A formátum még változhat, ezért érdemes követni.
2. Írd meg a robots.txt-t robotonként
A leggyakoribb eset: szeretnéd, ha a keresőkben és az AI-válaszokban látszódnál, de a tartalmadat nem adnád oda modelltanításhoz. Erre ez a minta jó kiindulópont:
# Keresés és felhasználói lekérés: engedve
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /admin/
# Modelltanítás: tiltva
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
# Mindenki más (köztük a Googlebot és a Bingbot)
User-agent: *
Disallow: /admin/
Sitemap: https://pelda.hu/sitemap.xml
Mire figyelj közben:
- Minden robot csak a saját csoportját olvassa. Ha egy robotnak van saját blokkja, a
User-agent: *alatti szabályok rá már nem vonatkoznak. Ezért kell az/admin/tiltást a saját blokkokba is beírni. - Aldomainenként külön fájl kell. A
blog.pelda.hunem örökli apelda.hurobots.txt-jét. - A változás nem azonnali. Az OpenAI például nagyjából egy napot ír, mire a keresése igazodik egy módosításhoz.
- Ha mindent engedni akarsz, nem kell külön AI-blokk. Ilyenkor csak arra figyelj, hogy egy régi, bemásolt tiltólista ne zárja ki őket.
3. Nézd meg a CDN-t és a tűzfalat is
A robots.txt csak kérés. A CDN vagy a tűzfal viszont még a szervered előtt megállítja a kérést, és ilyenkor hiába engedsz meg valamit a fájlban. A Google útmutatója is külön kiemeli, hogy a feltérképezést a CDN és a tárhely sem akadályozhatja.
Konkrét példa a Cloudflare: 2026. szeptember 15-től az új domaineknél és az ingyenes csomagoknál alapból tiltja a tanító és az ügynök típusú robotokat azokon az oldalakon, ahol hirdetés fut. A Help Net Security beszámolója szerint ha a tanító robotokat tiltod, a több szerepet ellátó robotok (például a Googlebot, az Applebot és a Bingbot) is fennakadhatnak. Ezt a beállítást egyszer, tudatosan érdemes átnézni.
Az ellenőrzéshez a hálózaton át kérd le a fájlt, ne a szerveren lévő példányt nézd. Előfordulhat, hogy a CDN menet közben módosítja:
curl -s https://pelda.hu/robots.txt
curl -s -o /dev/null -w "%{http_code}\n" -A "OAI-SearchBot" https://pelda.hu/
A második parancs csak azt mutatja meg, hogy a szerver ilyen azonosítóra mit válaszol. A valódi robotokat a CDN gyakran IP-cím alapján kezeli, ezért a végleges választ a CDN robotnaplója vagy a szervernapló adja (lásd a 7. lépést).
4. A tartalom legyen benne a nyers HTML-ben
Ez a legfontosabb fejlesztői pont. Egy kliensoldalon renderelt alkalmazás (React, Vue vagy Angular SPA szerveroldali megjelenítés nélkül) az AI-robotnak gyakran csak egy üres <div id="app"> elemet ad.
Így teszteld egy perc alatt: válassz egy mondatot az oldal törzsszövegéből, és keresd meg a nyers válaszban.
curl -s https://pelda.hu/termek/kek-bogre/ | grep -c "kézzel mázazott kerámia"
Ha az eredmény 0, a mondat csak JavaScripttel jelenik meg. Ugyanezt böngészőben is megnézheted: a fejlesztői eszközökben kapcsold ki a JavaScriptet, majd töltsd újra az oldalt. Ami ilyenkor eltűnik, azt a ChatGPT és a Claude robotja sem látja.
A javítás iránya:
- Statikus generálás (SSG) tartalomoldalakhoz, blogokhoz, dokumentációhoz. A legolcsóbb és a leggyorsabb megoldás.
- Szerveroldali megjelenítés (SSR) gyakran változó oldalakhoz, például terméklistákhoz és árakhoz.
- Előrenderelés átmeneti megoldásnak, ha egy meglévő SPA-t nem lehet gyorsan átírni.
A lényeg nem a keretrendszer, hanem a szabály: a cím, a törzsszöveg, az ár és a kulcsadatok már az első HTML-válaszban szerepeljenek. Interaktív részek (szűrők, kosár) maradhatnak JavaScriptben.
5. Írj tiszta, szemantikus HTML-t
A Google AI-útmutatója szerint ahol ésszerű, érdemes szemantikus HTML-t használni, de az ember és a kisegítő eszközök olvashatósága fontosabb a tökéletes jelölésnél. Ami a gyakorlatban a legtöbbet számít:
- Egy
h1és logikus címsorrend. Ah2és ah3alá tartozó szöveg tényleg arról szóljon, amit a címsor ígér. - Valódi linkek. Belső navigáció
<a href="/utvonal/">elemmel, neonclickeseménnyel. A robot csak ahrefattribútumot követi. - Táblázat
<table>elemmel. Ár- és műszakiadat-összevetésnél sokat számít, hogy a sorok és az oszlopok géppel is egyértelműek legyenek. - Szöveg szövegként. Képre írt árat, nyitvatartást vagy feliratot a robot nem olvas el. Az
altszöveg írja le, mi van a képen. - Egy oldal, egy URL. A duplikált tartalmat kanonikus URL-lel jelöld, mert a Google útmutatója is a duplikációk csökkentését javasolja.
Amit a Google kifejezetten nem kér: hogy a szöveget apró darabokra szabdald az AI kedvéért, vagy hogy átírd a stílusodat a gépeknek. Az ember számára jól tagolt oldal a gépnek is jó.
6. Strukturált adat: hasznos, de nem belépőjegy
A Google szerint az AI-funkciókhoz nem kell sem strukturált adat, sem különleges schema.org-jelölés. A rich results miatt viszont továbbra is érdemes használni. Ha teszel az oldalra JSON-LD-t, két szabályt tarts be:
- Csak azt jelöld, ami látható is. Az árnak, az értékelésnek és a nyitvatartásnak egyeznie kell az oldalon olvasható adattal.
- Szerveroldalon kerüljön a HTML-be. A JavaScripttel utólag beszúrt jelölést a nem renderelő robotok nem látják.
7. Segítsd a felfedezést, és mérd az eredményt
Felfedezés:
- Oldaltérkép valós
lastmoddátummal. Csak akkor frissüljön a dátum, ha a tartalom tényleg változott. A minden buildnél frissülő dátum semmit nem jelez. - Belső linkek. Minden fontos oldalra vezessen link egy már ismert oldalról. A Google ezt az AI-funkcióknál is külön említi.
- IndexNow. Egy egyszerű POST-kéréssel jelezheted a Bingnek és a többi támogató keresőnek, mely URL-ek változtak. Érdemes a deploy végére tenni, és csak a ténylegesen változott oldalakat küldeni. A Google nem használja.
Mérés:
- Google Search Console, Generatív AI jelentés. 2026 júniusa óta külön mutatja, hányszor jelent meg az oldalad az AI Overviews-ban és az AI Mode-ban. A beszámolók szerint csak megjelenéseket ad, lekérdezéseket és kattintásokat nem.
- Bing Webmaster Tools, AI Performance. Azt mutatja, hányszor hivatkozott az oldaladra a Copilot és a Bing AI-összefoglalója, és mely oldalakra. A ChatGPT-t nem méri.
- Szervernapló. Ebből látod, melyik robot jár nálad, és milyen választ kap:
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot" access.log \
| awk '{print $9}' | sort | uniq -c
A kimenet a robotok kéréseinek HTTP-státuszait összesíti. Ha sok a 403-as vagy az 503-as válasz, valami az útjukba áll. Ne feledd: a robotazonosítót bárki hamisíthatja. Az OpenAI, az Anthropic és a Perplexity közzéteszi a robotjai IP-címeit, egy gyanús forgalomnál ezekkel vesd össze.
Amire nem kell időt szánni
- llms.txt. Egy Markdown-fájl a gyökérben, amely összefoglalja az oldalt a nyelvi modelleknek. A Google szerint a keresője nem használja: nem árt, de nem is segít. Az Ahrefs 2026 májusi mérése szerint az ilyen fájlok 97%-át egyetlen robot sem kérte le. Fejlesztői dokumentációnál, kódoló asszisztenseknek lehet értelme, egy átlagos céges oldalnál nincs.
- Kulcsszóvariációs aloldalak. A Google szerint az, hogy egy kérdés minden változatára külön oldalt gyártasz, beleütközhet a tömeges tartalomgyártás elleni szabályába.
- Mesterséges említések. A fizetett vagy gyártott hivatkozásokat a Google szerint a spamszűrők eleve kiszűrik.
- Csodát ígérő GEO-eszközök. Külső eszköz nem lát bele a Google rangsorolásába. Amit ígér, azt vesd össze a keresők hivatalos dokumentációjával.
Gyors ellenőrzőlista
- A robots.txt robotonként rendezett, és a hálózaton át lekérve is azt mutatja, amit akarsz.
- A CDN és a tűzfal AI-robotbeállítását valaki tudatosan átnézte.
- A kulcsoldalak törzsszövege, ára és címe benne van a nyers HTML-ben (curl-teszt).
- A belső navigáció valódi
<a href>linkekből áll, az oldaltérkép valós dátumokat ad. - A strukturált adat egyezik a látható tartalommal, és szerveroldalon kerül a HTML-be.
- A Search Console és a Bing Webmaster Tools be van kötve, a szervernaplóban pedig látszanak az AI-robotok 200-as válaszai.
Ha a kódot AI-asszisztenssel írod, a szabályfájl a kódoló AI-nak promptban rögzítheted, hogy új oldalnál a tartalom mindig szerveroldalon jelenjen meg. A kódátnézés pull request előtt prompt pedig rákérdezhet erre minden változtatásnál.
Források
- AI features and your website (Google Search Central)
- Optimizing your website for generative AI features on Google Search (Google Search Central)
- Search Generative AI performance reports (Google Search Central Blog)
- Overview of OpenAI Crawlers (OpenAI)
- Anthropic robotjai és a robots.txt (Claude súgó)
- Perplexity Crawlers (Perplexity)
- The rise of the AI crawler (Vercel)
- Cloudflare changes AI crawler access rules (Help Net Security)
- llms.txt: 97% of files get zero requests (PPC Land, az Ahrefs és az Originality.ai adataival)
- Bing AI Performance report (Search Influence)