Web, arama motorları için robots.txt ile sorunu çözdü. Ama AI ajanları yalnızca indekslemiyor; içeriğinizi eğitmek, dayanak (grounding) olarak kullanmak, özetlemek ve yeniden paketlemek için de tarıyor. İşte bu yüzden sektör, alan adınızın kökünde yer alan küçücük bir konvansiyonda buluşuyor: /llmtag.txt. İçerik üretiyor ya da barındırıyorsanız, bu tek dosyayı yayımlamak, AI’lara açık, makinece okunur kurallar koymanın en hızlı yolu. Giriş ve örnekler için llmtag.org’a bakın.

Peki robots.txt zaten bunu yapmıyor mu?

Tam olarak değil. robots.txt, arama taraması için gönüllü uyum mantığında çalışır. Amaç düzeyinde izinleri (örn. “eğitim yok, özet serbest”) ya da AI’a özel hız/atıf ihtiyaçlarını ifade etmek üzere tasarlanmadı. Kısacası, tarayıcılar için bir rehber; AI kullanımına dair bir “politika sözleşmesi” değil.

Neden şimdi (ve neden kalıcı olacak)?

• Trafik değişti. AI odaklı kazımalar anlık patlamalara yol açabiliyor; bazı botlar robots’u görmezden geliyor. Büyük altyapılar (CDN/WAF) buna cevap veriyor: AI crawler’larını varsayılan engelleme ve kullanım başına ücret gibi modeller geliyor. Bu kaldıraç iyi, ama yine de niyetinizi tek, makinece okunur bir dosyayla ilan etmelisiniz.
• İyi aktörler netlik istiyor. Önde gelen üreticiler, site tercihlerine saygıyı nasıl uyguladıklarını belgeliyor. Onların da ilk bakacağı tek bir dosya olmalı: llmtag.txt tam bu rol için tasarlandı.

llmtag.txt nedir? (tek cümlede)

https://alanadiniz.com/llmtag.txt adresinde bulunan küçük bir düz metin dosyası. AI’a özgü izinleri tanımlar: eğitim serbest mi, hangi çıkarım modlarına (özet/QA/grounding) izin var, ne hızda istek yapabilirler, nasıl bir atıf beklersiniz, hangi ajanlar için istisnalar geçerlidir—artı isteğe bağlı raporlama ve doğrulama kancaları. robots.txt’yi tamamlar (arama açık kalır); uygulama için WAF/CDN ve uygulama katmanıyla eşleştirilmelidir.

“Benimseme çarkı”

1. Yayıncılar llmtag.txt yayımlar.
2. CMS/eklenti ekosistemi bunu tek tık haline getirir.
3. AI ajanları dosyayı okur, uyar; isterlerse uyum raporu yollar.
4. Üzerine analitik ve lisanslama modelleri inşa olur (tam “hayır”dan, “belirli şartlarda olabilir”e).
5. Sözlük gerçek kullanımda olgunlaşır ve spesifikasyona dönüşür.

İlk 4 adımın faydası için 5. adımı beklemek zorunda değilsiniz.

Kopyala-yapıştır: bugün yayımlayabileceğiniz mantıklı bir llmtag.txt

(Yolları ve iletişim adresini değiştirin, köke bırakın.)

# LLMTAG policy v0.2
Site: https://example.com
Policy-URL: https://example.com/ai-usage-policy
Contact: legal@example.com
Policy-Revision: 2025-10-18

# Global defaults
Use-Training: no
Use-Inference: summary,qa
Attribution: required
Attribution-Format: "Source: {url} — © Example Inc."
Cache: no
Crawl-Delay-LLM: 30
Sitemap: /sitemap.xml

# Rate guidance (enforcement: CDN/Uygulama)
Rate: 60/min/ip on /api/summary, /api/search

# Per-agent overrides
Agent: Google-Extended
  Use-Training: no
  Use-Inference: grounding
  Allow: /docs/public/, /faq/
  Disallow: /members-only/

Agent: GPTBot|OAI-SearchBot|ChatGPT-User
  Use-Training: no
  Use-Inference: summary
  Disallow: /private/, /raw-datasets/

Agent: ClaudeBot|Claude-User
  Use-Training: no
  Crawl-Delay-LLM: 45

Agent: PerplexityBot
  Use-Training: no
  Allow: /news/
  Disallow: /exports/

# Optional governance
Verify: DNS-TXT llmtag=pubkey:ed25519:BASE64KEY
Report-Endpoint: https://example.com/.well-known/llmtag/report
Report-Sample: 0.1

# LLMTAG policy v0.2
Site: https://example.com
Policy-URL: https://example.com/ai-usage-policy
Contact: legal@example.com
Policy-Revision: 2025-10-18

# Global defaults
Use-Training: no
Use-Inference: summary,qa
Attribution: required
Attribution-Format: "Source: {url} — © Example Inc."
Cache: no
Crawl-Delay-LLM: 30
Sitemap: /sitemap.xml

# Rate guidance (enforcement: CDN/Uygulama)
Rate: 60/min/ip on /api/summary, /api/search

# Per-agent overrides
Agent: Google-Extended
  Use-Training: no
  Use-Inference: grounding
  Allow: /docs/public/, /faq/
  Disallow: /members-only/

Agent: GPTBot|OAI-SearchBot|ChatGPT-User
  Use-Training: no
  Use-Inference: summary
  Disallow: /private/, /raw-datasets/

Agent: ClaudeBot|Claude-User
  Use-Training: no
  Crawl-Delay-LLM: 45

Agent: PerplexityBot
  Use-Training: no
  Allow: /news/
  Disallow: /exports/

# Optional governance
Verify: DNS-TXT llmtag=pubkey:ed25519:BASE64KEY
Report-Endpoint: https://example.com/.well-known/llmtag/report
Report-Sample: 0.1

Bu varsayılanlar neden?

• SEO korunur. Googlebot/Bingbot gibi arama tarayıcıları robots.txt ile yönetilmeye devam eder. Google-Extended gibi AI kullanım sinyalleri indeksleme ile karıştırılmaz; eğitim/çıkarım davranışını hedefler.
• Ajanları adlandırmak (OpenAI/Anthropic/Perplexity vb.) uyumlu botlar için belirsizliği azaltır.
• Telemetri/doğrulama opsiyoneldir ama ekosistem olgunlaştıkça çok değerlidir.

Gerçeğe dönüştürün: politika ile uyumlu

Politika tek başına öneridir. llmtag.txt’i hafif ama etkin önlemlerle eşleyin:

• CDN/WAF katmanı: Yönetilen AI crawler kontrollerini açın; stratejinize uygunsa varsayılan engelleme uygulayın ve sadece politikanızın izin verdiğini bırakın. Robots/politikayı görmezden gelen ajanlara karşı ağ katmanı sizi korur.
• Uygulama katmanı: JS sınaması, honeypot ve /api/*, dışa aktarımlar gibi maliyetli uçlar için yol bazlı hız limiti ekleyin. Kararları loglayın (“challenge”, “rate_limit”, “honeypot”).

WordPress: 10 dakikalık devreye alma

• llmtag.txt’yi yayımlayın: basit bir yönetim ekranında eğitim/çıkarım, atıf, ajan istisnaları alanlarıyla üretin.
• robots.txt’yi arama için koruyun; AI ajanları için ayrıca allow/deny gerekiyorsa orada da belirtin.
• Uygulama katmanı korumalarını açın: güvenlik/bot eklentisi ya da ufak bir özel eklentiyle JS challenge + honeypot + rate limit.
• Doğrulayın: https://alanadiniz.com/llmtag.txt çalışıyor mu; bilinen user-agent’larla test edin; logları izleyin.
  İpucu: Cloudflare kullanıyorsanız AI crawler kontrollerini açarak politikanızla uyumlu infazı ilk günden hizalayın.

S.S.S.

Bu SEO’yu bozar mı?
Hayır—llmtag.txt AI kullanımı için; arama indekslemesi için değil. Arama tarayıcılarını robots.txt ile yönetmeye devam ederken, AI izinlerini ve hızlarını llmtag.txt ile ilan edersiniz. Google-Extended sinyali, Search sıralamasıyla karıştırılmamalıdır.

Bot politikayı yok sayarsa ne olur?
CDN/WAF ve uygulama katmanında engeller ya da kısıtlarsınız. Bazı AI kazıyıcıları site sinyallerini görmezden geldiği için, büyük altyapı sağlayıcılarında bu yaklaşım zaten yaygınlaşıyor.

Neden resmi bir standardı beklemeyelim?
De-facto konvansiyonlar önce gelir, standart sonra gelir. llmtag.txt özellikle basit bırakıldı ki üreticiler anında benimseyebilsin. Felsefe ve örnekler için llmtag.org’a bakın; dosyanızı bugün yayınlayın.

Özet

İçerik üretiyor veya barındırıyorsanız, bu ay llmtag.txt ekleyin. Aramayı robots.txt ile sağlıklı tutun; AI beklentilerinizi llmtag.txt ile netleştirin; bunu temel infazla destekleyin. Web, küçük ve açık konvansiyonlarla çalışır. Bu, AI çağında rıza, netlik ve kontrolü geri getiren en küçük ama en etkili adım.

• Gerekçe ve örnekler: llmtag.org
• Yollarınızı haritalayın, varsayılanlarınızı seçin, dosyayı yayınlayın.
• CDN/WAF kontrollerini açın; uygulama katmanı önlemlerini ekleyin.

İçeriğiniz, kurallarınız. llmtag.txt AI ajanlarının önce baktığı dosya olsun.