Mi az a közös AI-tanítási jel a robots.txt-ben? Egy új „policy token”, a __usage_ai-training. Ha a robots.txt-be beírod, hogy User-Agent: __usage_ai-training és alá Disallow: /, azzal egyetlen lépésben jelzed az OpenAI-nak, a Google-nek, a Microsoftnak és az Anthropicnak, hogy a tartalmadat ne használják generatív AI-modellek tanítására. A négy cég 2026. október 30-án jelentette be a támogatását. Az Anthropic már dolgozik rajta, az OpenAI „az elkövetkező hónapokban” vezeti be, a Microsoft 2027. február 1-jétől, a Google 2027-ben. A jel csak a tanításról szól: a keresőtalálatokat nem érinti, az AI-válaszokban való megjelenést (grounding) pedig külön kell szabályozni.
Állapot: 2026. november 1. A cikk a Google Search Central, az OpenAI és a Microsoft Bing október 30-i bejelentésén, az IETF-en benyújtott tervezeten (Internet-Draft), valamint a The Verge és a The Next Web beszámolóján alapul. A SocialPro saját robots.txt-jére vonatkozó rész a socialpro.hu élő fájlja.
Mit jelentett be október 30-án a négy AI-cég?
2026. október 30-án ugyanazon a napon négy nagy AI-szolgáltató állt be egy közös megoldás mögé. A The Verge szerint az OpenAI, a Google, a Microsoft és az Anthropic is elfogad egy új robots.txt-jelet, amellyel a weboldalak egyetlen beállítással mondhatnak nemet az AI-tanításra. Eddig minden cég robotjának külön sort kellett írni.
A jel neve __usage_ai-training. Kevin Kelley, az Anthropic szabványügyi technikai vezetője nyújtotta be tervezetként az IETF-nek, az internetes szabványokat kidolgozó szervezetnek. A tervezet az IETF AI Preferences (AIPREF) munkacsoportjának definíciójára épül.
Az OpenAI bejelentése a lényeget egy mondatban foglalja össze: korábban a weboldalak üzemeltetőinek minden egyes robotot azonosítaniuk kellett, és szolgáltatónként, minden AI crawlerhez külön szabályt kellett fenntartaniuk. A közös jel ezt a munkát csökkenti.
„We believe this is a practical step toward an open web where people can publish and discover information, and website owners have clearer, simpler ways to communicate their choices about how their content is used.”
Magyarul: „Úgy gondoljuk, ez gyakorlati lépés egy olyan nyílt web felé, ahol az emberek publikálhatnak és információt találhatnak, a weboldalak tulajdonosai pedig világosabban és egyszerűbben jelezhetik, hogyan használható fel a tartalmuk.”
A Meta kommunikációs vezetője, Andy Stone az X-en támogatásáról biztosította a közös jelet, de a The Verge szerint nem mondta meg, hogy a Meta be is tartja-e. A Meta tehát egyelőre nincs a biztos támogatók között.
Hogyan működik a __usage_ai-training jel?
A jel nem új parancs, hanem egy új „felhasználói ügynök” név a robots.txt meglévő szerkezetében. A tervezet kifejezetten úgy készült, hogy ne kelljen új nyelvtant tanulni: ugyanúgy működik, mint egy robot neve. A tervezet saját példája így néz ki:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Ez azt jelenti: a teljes oldalt ne használják AI-tanításra, kivéve a /press-kit/ mappát. Mappánként, útvonalanként is szabályozhatsz, nem csak az egész oldalra.
A tervezet négy szabálya a gyakorlatban a legfontosabb, mert ezek döntik el, hogy a beállításod mit jelent:
- Ha nincs
__usage_ai-trainingcsoport a fájlban, nem jeleztél semmit. A hallgatás nem tiltás. - A
User-Agent: *csoport nem számít. A tervezet szerint a csillagos, mindenkire vonatkozó szabályt tilos a tanítási jelre is érteni. - A jel nem a robotok bejárását szabályozza. Egy preferenciát fejez ki arról, mire használják a tartalmat. Ha a robotokat ki akarod zárni, arra továbbra is a saját nevük kell.
- Magánmegállapodás felülírhatja. Ha egy kiadó licencszerződést köt egy AI-céggel, a szerződés erősebb a robots.txt-nél.
Egy fontos korlát: a tervezet egyéni beadvány. Az IETF adatlapja szerint az IETF nem hagyta jóvá, és nincs formális helye a szabványosítási folyamatban. A tervezet 2027. május 3-án lejár, ha addig nem frissítik. Közben viszont a négy legnagyobb nyugati AI-cég kijelentette, hogy követni fogja, és a gyakorlatban ez számít.
Mikortól tartják be az egyes cégek?
A bejelentés nem jelenti azt, hogy holnaptól minden robot így olvassa a fájlodat. A négy cég eltérő ütemben vezeti be:
| Cég | Mikortól | Mi marad meg mellette |
|---|---|---|
| Anthropic | Már dolgozik a bevezetésen | A meglévő robotszabályai (kiegészíti, nem helyettesíti) |
| OpenAI | „Az elkövetkező hónapokban” | A meglévő robotszabályok, például a GPTBot |
| Microsoft | 2027. február 1. | A NoArchive és a NoCache helyére lép |
| 2027 folyamán | A Google-Extended továbbra is működik | |
| Meta | Nem nyilatkozott | – |
Forrás: The Next Web, Google Search Central, Microsoft Bing, The Verge.
Az Anthropic oldaláról Kevin Kelley maga is óvatos volt a menetrenddel. A The Next Web az IETF levelezőlistáján írt üzenetét idézi:
„It’ll take us some time to add support across our services and work through the inevitable complications and edge cases that I’m sure we’ll discover.”
Magyarul: „Időbe telik, mire minden szolgáltatásunkban bevezetjük, és végigmegyünk az elkerülhetetlen bonyodalmakon és határeseteken, amelyekbe biztosan bele fogunk futni.”
— Kevin Kelley, Anthropic, a The Next Web idézetében
Mi a különbség a tanítás és a grounding között?
Ez a cikk legfontosabb része, mert itt lehet a legtöbbet veszíteni. Az AI kétféleképpen használhatja a weboldaladat:
- Tanítás (training): a tartalmad bekerül egy jövőbeli modell tanítóanyagába. A modell „megtanul” belőle, de a válaszban nem hivatkozik rád.
- Grounding: amikor valaki kérdez a ChatGPT-től, a Copilottól vagy a Geminitől, az AI élőben megnyitja a weboldalakat, és azokból válaszol, gyakran linkkel és forrásmegjelöléssel. Egy magyar KKV-nak ebből jön az AI-ból érkező látogató.
A közös __usage_ai-training jel csak az elsőről szól. A Microsoft ezt külön is kimondja: a tanítás és a grounding két független beállítás, és a tanítás tiltása nem változtat a groundingon. A Bing blogján Krishna Madhavan termékmenedzser így fogalmaz:
„Publishers should not have to choose between being discoverable in Bing and deciding how generative models use their work.”
Magyarul: „A kiadóknak ne kelljen választaniuk aközött, hogy megtalálhatók legyenek a Bingben, vagy hogy ők döntsenek arról, hogyan használják a generatív modellek a munkájukat.”
— Krishna Madhavan, Microsoft Bing, 2026. október 30.
A Microsoft a grounding letiltására oldalszintű beállítást vezet be (meta tag vagy HTTP-fejléc), és figyelmeztet is: ha letiltod, a tartalmad jelentősen kevésbé lesz látható az AI-válaszokban, a Bing-találatokra viszont ez nincs hatással. A groundingra a Microsoftnál nincs egész oldalra szóló robots.txt-beállítás, csak oldalankénti.
Hol a csapda a Google-nél és a robots.txt-ben?
Két csapda van, és mindkettő könnyen elkerülhető, ha tudsz róla.
1. A Google-Extended kettős szerepe
A Google bejelentése szerint, ha a közös jellel letiltod a tanítást, és a Google-Extended-et nem említed külön, a Google úgy kezeli, mintha a Google-Extended-et tiltottad volna le. A Google-Extended viszont nem csak a tanításról szól. John Mueller ugyanebben a bejelentésben írja, hogy azok az oldalak, amelyek kifejezetten engedélyezik a Google-Extended-et, megjelenhetnek a Gemini alkalmazások válaszaiban, és kattintást kaphatnak onnan.
A gyakorlati következtetés: ha a közös jellel tiltasz, döntsd el külön, mit akarsz a Google-Extended-del. Ha fontos neked, hogy a Gemini-alkalmazás hivatkozzon rád, ne bízd a hallgatásra.
2. Kiesik a weboldalam a Google-ből, ha rosszul tiltom az AI-tanítást?
Igen, ha az új sort a csillagos, mindenkire vonatkozó csoportba teszed. A robots.txt-ben egymás alá írt User-Agent sorok egy csoportot alkotnak, és a csoport szabályai mindegyikükre vonatkoznak. A tervezet ezt meg is engedi. A hiba ott kezdődik, ha valaki a meglévő, mindenkire vonatkozó csoportba szúrja be az új sort:
# ROSSZ – ez minden robotot kizár, a Googlebotot is
User-Agent: __usage_ai-training
User-agent: *
Disallow: /Ez a Disallow: / nemcsak a tanítást tiltja, hanem az összes robotot kizárja az oldalról, a keresőrobotokat is. A helyes megoldás: külön csoport, üres sorral elválasztva.
# JÓ – a tanítást tiltja, a keresőket nem
User-agent: *
Allow: /
User-Agent: __usage_ai-training
Disallow: /Melyik magyar cégnek érdemes tiltania?
A legtöbb magyar KKV-nak a rövid válasz: valószínűleg semmit nem kell tennie. A tanítás tiltása egy szolgáltató cégnek ritkán hoz valamit, a rosszul beállított grounding-tiltás viszont elvághatja az AI-keresőkből érkező ügyfeleket. A saját tapasztalatunk alapján így osztanánk fel:
| Cégtípus | AI-tanítás | AI-válaszokban megjelenés | Miért |
|---|---|---|---|
| Helyi szolgáltató (fodrász, szerelő, ügyvédi iroda) | Engedni | Engedni | Az a cél, hogy az AI ajánlja. A tartalom marketing, nem termék. |
| B2B szolgáltató, ügynökség | Engedni | Engedni | Minél többször említi az AI, annál több ajánlatkérés jöhet. |
| Webshop saját termékleírásokkal | Mérlegelni | Engedni | A termékoldal legyen hivatkozható; a tanítás kevés hasznot hoz. |
| Fizetős tudás, tananyag, szakmai kiadvány | Tiltani | Oldalanként dönteni | A tartalom maga a termék, a tanítás ingyen adja oda. |
| Hírportál, magazin | Tiltani | Mérlegelni | A megállapodások (licenc) erősebbek a robots.txt-nél. |
Saját besorolás a SocialPro weboldal- és GEO-projektjei alapján. Jogi kérdésben (szerzői jog, licenc) ügyvéd tud dönteni, ez a táblázat műszaki szempontokat mutat.
Mi magunk a socialpro.hu-n mindent engedélyezünk. Az élő robots.txt-ünk fejlécében az áll, hogy a stratégia „maximális AI-láthatóság”: a GPTBot, a Google-Extended, a ClaudeBot és a többi AI-robot is be van engedve. Egy ügynökségnek az a jó, ha a ChatGPT és a Claude ismeri és ajánlja. A közös jel ezen nem változtat, ezért nem is írjuk be. Az ügyfeleink robots.txt-jét az élesítés előtt kézzel nézzük át, mert egy elcsúszott üres sor egy egész weboldal keresési forgalmába kerülhet.
Ha nem tudod, ma mit enged a robots.txt-ed, és megjelensz-e egyáltalán a ChatGPT, a Claude vagy a Gemini válaszaiban, azt az AI-láthatóság audit megnézi. Az AI-keresők működéséről a Google AI Mode-ról szóló cikkünkben írtunk részletesen.
Mit érdemes most megtenned?
- Nézd meg a mostani robots.txt-edet. A
teoldalad.hu/robots.txtcímen bárki megnyithatja. Keresd meg, van-e benne GPTBot, Google-Extended vagy ClaudeBot sor. A GPTBot az OpenAI robotja, a ClaudeBot az Anthropicé, a Google-Extended pedig a Google AI-tanítási beállítása. - Döntsd el külön a tanítást és a megjelenést. A tanítási jel nem véd meg semmitől, ami a válaszokban történik, és nem is árt a láthatóságnak, ha jól állítod be.
- Ha tiltasz, külön csoportba írd. Soha ne a
User-agent: *csoportba. - A Google-Extended-ről dönts tudatosan. Ha a Gemini-alkalmazásban is meg akarsz jelenni, engedd kifejezetten.
- Ha most NoArchive vagy NoCache címkét használsz a Bing miatt: a Microsoft szerint 2027. március 1-jéig kell átállni az új beállításokra, a Bing Webmaster Tools átmeneti beállítása 2026. december 15-én nyílik meg.
Európai szemmel még egy dolog számít: a Google szerint a javaslat összhangban van az EU AI Act alá tartozó, általános célú AI-modellekre vonatkozó gyakorlati kódexszel, amely a robots.txt-et a kiadók gépi úton olvasható preferenciáinak elsődleges eszközeként ismeri el. Az uniós szabályozás hátteréről az EU AI Act-oldalunkon olvashatsz.
Gyakori kérdések
Kiesik a weboldalam a Google-ből, ha letiltom az AI-tanítást?
A közös jel a tanításról szól, nem a keresőrobotokról, ezért a helyesen beállított tiltás (külön csoportban) a keresési találatokat nem érinti. A Microsoft kifejezetten közölte, hogy a Bing-találatokra nincs hatása. Ha viszont a jelet a User-agent: * csoportba írod Disallow: / szabállyal, az minden robotot kizár, a Googlebotot is.
Mikortól működik a __usage_ai-training jel?
Nincs egyetlen dátum. Az Anthropic már dolgozik a bevezetésén, az OpenAI az elkövetkező hónapokban vezeti be, a Microsoft 2027. február 1-jétől, a Google 2027 folyamán. Addig a cégenkénti robotszabályok (GPTBot, Google-Extended, ClaudeBot) a mérvadók.
Megjelenek még a ChatGPT-ben vagy a Copilotban, ha letiltom a tanítást?
Elvileg igen, mert a tanítás és a válaszokban való megjelenés (grounding) külön beállítás. A Microsoft ezt kifejezetten így írja le, és a groundingot oldalszintű címkével lehet tiltani. A Google-nél figyelj: ha a közös jellel tiltasz és a Google-Extended-et nem említed, a Google úgy kezeli, mintha azt is tiltottad volna, és a Google-Extended engedélyezése feltétele a Gemini-alkalmazásokban való megjelenésnek.
Kötelező szabvány a __usage_ai-training?
Nem. Az IETF-en benyújtott egyéni tervezet, amelyet az IETF nem hagyott jóvá. A robots.txt maga is önkéntes: a jelet a négy bejelentő cég ígérte meg betartani, más robotokat nem köt.
Érdemes egy magyar KKV-nak letiltania az AI-tanítást?
A legtöbb szolgáltató cégnek nem, mert az a célja, hogy az AI ismerje és ajánlja. Fizetős tudást, tananyagot vagy egyedi kiadványt értékesítő cégnek viszont érdemes mérlegelnie, mert ott a tartalom maga a termék.
A cikk AI-asszisztált kutatással és szerkesztéssel, emberi szakmai ellenőrzés mellett készült. Minden hivatkozott forrást publikálás előtt ellenőrzünk.
