llmtag.txt ile yapay zekâ botlarına eğitim/çıkarım izinlerini, hız ve atıf kurallarını belirtin. SEO’yu koruyun, içeriğinizi denetim altına alın.
Web, arama motorları için robots.txt ile sorunu çözdü. Ama AI ajanları yalnızca indekslemiyor; içeriğinizi eğitmek, dayanak (grounding) olarak kullanmak, özetlemek ve yeniden paketlemek için de tarıyor. İşte bu yüzden sektör, alan adınızın kökünde yer alan küçücük bir konvansiyonda buluşuyor: /llmtag.txt. İçerik üretiyor ya da barındırıyorsanız, bu tek dosyayı yayımlamak, AI’lara açık, makinece okunur kurallar koymanın en hızlı yolu. Giriş ve örnekler için llmtag.org’a bakın.
Peki robots.txt zaten bunu yapmıyor mu?
Tam olarak değil. robots.txt, arama taraması için gönüllü uyum mantığında çalışır. Amaç düzeyinde izinleri (örn. “eğitim yok, özet serbest”) ya da AI’a özel hız/atıf ihtiyaçlarını ifade etmek üzere tasarlanmadı. Kısacası, tarayıcılar için bir rehber; AI kullanımına dair bir “politika sözleşmesi” değil.
Neden şimdi (ve neden kalıcı olacak)?
- Trafik değişti. AI odaklı kazımalar anlık patlamalara yol açabiliyor; bazı botlar robots’u görmezden geliyor. Büyük altyapılar (CDN/WAF) buna cevap veriyor: AI crawler’larını varsayılan engelleme ve kullanım başına ücret gibi modeller geliyor. Bu kaldıraç iyi, ama yine de niyetinizi tek, makinece okunur bir dosyayla ilan etmelisiniz.
- İyi aktörler netlik istiyor. Önde gelen üreticiler, site tercihlerine saygıyı nasıl uyguladıklarını belgeliyor. Onların da ilk bakacağı tek bir dosya olmalı:
llmtag.txttam bu rol için tasarlandı.
llmtag.txt nedir? (tek cümlede)
https://alanadiniz.com/llmtag.txt adresinde bulunan küçük bir düz metin dosyası. AI’a özgü izinleri tanımlar: eğitim serbest mi, hangi çıkarım modlarına (özet/QA/grounding) izin var, ne hızda istek yapabilirler, nasıl bir atıf beklersiniz, hangi ajanlar için istisnalar geçerlidir—artı isteğe bağlı raporlama ve doğrulama kancaları. robots.txt’yi tamamlar (arama açık kalır); uygulama için WAF/CDN ve uygulama katmanıyla eşleştirilmelidir.
“Benimseme çarkı”
- Yayıncılar
llmtag.txtyayımlar. - CMS/eklenti ekosistemi bunu tek tık haline getirir.
- AI ajanları dosyayı okur, uyar; isterlerse uyum raporu yollar.
- Üzerine analitik ve lisanslama modelleri inşa olur (tam “hayır”dan, “belirli şartlarda olabilir”e).
- Sözlük gerçek kullanımda olgunlaşır ve spesifikasyona dönüşür.
İlk 4 adımın faydası için 5. adımı beklemek zorunda değilsiniz.
Kopyala-yapıştır: bugün yayımlayabileceğiniz mantıklı bir llmtag.txt
(Yolları ve iletişim adresini değiştirin, köke bırakın.)
# LLMTAG policy v0.2
Site: https://example.com
Policy-URL: https://example.com/ai-usage-policy
Contact: legal@example.com
Policy-Revision: 2025-10-18
# Global defaults
Use-Training: no
Use-Inference: summary,qa
Attribution: required
Attribution-Format: "Source: {url} — © Example Inc."
Cache: no
Crawl-Delay-LLM: 30
Sitemap: /sitemap.xml
# Rate guidance (enforcement: CDN/Uygulama)
Rate: 60/min/ip on /api/summary, /api/search
# Per-agent overrides
Agent: Google-Extended
Use-Training: no
Use-Inference: grounding
Allow: /docs/public/, /faq/
Disallow: /members-only/
Agent: GPTBot|OAI-SearchBot|ChatGPT-User
Use-Training: no
Use-Inference: summary
Disallow: /private/, /raw-datasets/
Agent: ClaudeBot|Claude-User
Use-Training: no
Crawl-Delay-LLM: 45
Agent: PerplexityBot
Use-Training: no
Allow: /news/
Disallow: /exports/
# Optional governance
Verify: DNS-TXT llmtag=pubkey:ed25519:BASE64KEY
Report-Endpoint: https://example.com/.well-known/llmtag/report
Report-Sample: 0.1
Bu varsayılanlar neden?
- SEO korunur. Googlebot/Bingbot gibi arama tarayıcıları
robots.txtile yönetilmeye devam eder.Google-Extendedgibi AI kullanım sinyalleri indeksleme ile karıştırılmaz; eğitim/çıkarım davranışını hedefler. - Ajanları adlandırmak (OpenAI/Anthropic/Perplexity vb.) uyumlu botlar için belirsizliği azaltır.
- Telemetri/doğrulama opsiyoneldir ama ekosistem olgunlaştıkça çok değerlidir.
Gerçeğe dönüştürün: politika ile uyumlu
Politika tek başına öneridir. llmtag.txt’i hafif ama etkin önlemlerle eşleyin:
- CDN/WAF katmanı: Yönetilen AI crawler kontrollerini açın; stratejinize uygunsa varsayılan engelleme uygulayın ve sadece politikanızın izin verdiğini bırakın. Robots/politikayı görmezden gelen ajanlara karşı ağ katmanı sizi korur.
- Uygulama katmanı: JS sınaması, honeypot ve
/api/*, dışa aktarımlar gibi maliyetli uçlar için yol bazlı hız limiti ekleyin. Kararları loglayın (“challenge”, “rate_limit”, “honeypot”).
WordPress: 10 dakikalık devreye alma
llmtag.txt’yi yayımlayın: basit bir yönetim ekranında eğitim/çıkarım, atıf, ajan istisnaları alanlarıyla üretin.robots.txt’yi arama için koruyun; AI ajanları için ayrıca allow/deny gerekiyorsa orada da belirtin.- Uygulama katmanı korumalarını açın: güvenlik/bot eklentisi ya da ufak bir özel eklentiyle JS challenge + honeypot + rate limit.
- Doğrulayın:
https://alanadiniz.com/llmtag.txtçalışıyor mu; bilinen user-agent’larla test edin; logları izleyin.
İpucu: Cloudflare kullanıyorsanız AI crawler kontrollerini açarak politikanızla uyumlu infazı ilk günden hizalayın.
S.S.S.
Bu SEO’yu bozar mı?
Hayır—llmtag.txt AI kullanımı için; arama indekslemesi için değil. Arama tarayıcılarını robots.txt ile yönetmeye devam ederken, AI izinlerini ve hızlarını llmtag.txt ile ilan edersiniz. Google-Extended sinyali, Search sıralamasıyla karıştırılmamalıdır.
Bot politikayı yok sayarsa ne olur?
CDN/WAF ve uygulama katmanında engeller ya da kısıtlarsınız. Bazı AI kazıyıcıları site sinyallerini görmezden geldiği için, büyük altyapı sağlayıcılarında bu yaklaşım zaten yaygınlaşıyor.
Neden resmi bir standardı beklemeyelim?
De-facto konvansiyonlar önce gelir, standart sonra gelir. llmtag.txt özellikle basit bırakıldı ki üreticiler anında benimseyebilsin. Felsefe ve örnekler için llmtag.org’a bakın; dosyanızı bugün yayınlayın.
Özet
İçerik üretiyor veya barındırıyorsanız, bu ay llmtag.txt ekleyin. Aramayı robots.txt ile sağlıklı tutun; AI beklentilerinizi llmtag.txt ile netleştirin; bunu temel infazla destekleyin. Web, küçük ve açık konvansiyonlarla çalışır. Bu, AI çağında rıza, netlik ve kontrolü geri getiren en küçük ama en etkili adım.
- Gerekçe ve örnekler: llmtag.org
- Yollarınızı haritalayın, varsayılanlarınızı seçin, dosyayı yayınlayın.
- CDN/WAF kontrollerini açın; uygulama katmanı önlemlerini ekleyin.
İçeriğiniz, kurallarınız. llmtag.txt AI ajanlarının önce baktığı dosya olsun.
