Web, arama motorları için robots.txt ile sorunu çözdü. Ama AI ajanları yalnızca indekslemiyor; içeriğinizi eğitmek, dayanak (grounding) olarak kullanmak, özetlemek ve yeniden paketlemek için de tarıyor. İşte bu yüzden sektör, alan adınızın kökünde yer alan küçücük bir konvansiyonda buluşuyor: /llmtag.txt. İçerik üretiyor ya da barındırıyorsanız, bu tek dosyayı yayımlamak, AI’lara açık, makinece okunur kurallar koymanın en hızlı yolu. Giriş ve örnekler için llmtag.org’a bakın.

Peki robots.txt zaten bunu yapmıyor mu?

Tam olarak değil. robots.txt, arama taraması için gönüllü uyum mantığında çalışır. Amaç düzeyinde izinleri (örn. “eğitim yok, özet serbest”) ya da AI’a özel hız/atıf ihtiyaçlarını ifade etmek üzere tasarlanmadı. Kısacası, tarayıcılar için bir rehber; AI kullanımına dair bir “politika sözleşmesi” değil.

Neden şimdi (ve neden kalıcı olacak)?

• Trafik değişti. AI odaklı kazımalar anlık patlamalara yol açabiliyor; bazı botlar robots’u görmezden geliyor. Büyük altyapılar (CDN/WAF) buna cevap veriyor: AI crawler’larını varsayılan engelleme ve kullanım başına ücret gibi modeller geliyor. Bu kaldıraç iyi, ama yine de niyetinizi tek, makinece okunur bir dosyayla ilan etmelisiniz.
• İyi aktörler netlik istiyor. Önde gelen üreticiler, site tercihlerine saygıyı nasıl uyguladıklarını belgeliyor. Onların da ilk bakacağı tek bir dosya olmalı: llmtag.txt tam bu rol için tasarlandı.

llmtag.txt nedir? (tek cümlede)

https://alanadiniz.com/llmtag.txt adresinde bulunan küçük bir düz metin dosyası. AI’a özgü izinleri tanımlar: eğitim serbest mi, hangi çıkarım modlarına (özet/QA/grounding) izin var, ne hızda istek yapabilirler, nasıl bir atıf beklersiniz, hangi ajanlar için istisnalar geçerlidir—artı isteğe bağlı raporlama ve doğrulama kancaları. robots.txt’yi tamamlar (arama açık kalır); uygulama için WAF/CDN ve uygulama katmanıyla eşleştirilmelidir.

“Benimseme çarkı”

1. Yayıncılar llmtag.txt yayımlar.
2. CMS/eklenti ekosistemi bunu tek tık haline getirir.
3. AI ajanları dosyayı okur, uyar; isterlerse uyum raporu yollar.
4. Üzerine analitik ve lisanslama modelleri inşa olur (tam “hayır”dan, “belirli şartlarda olabilir”e).
5. Sözlük gerçek kullanımda olgunlaşır ve spesifikasyona dönüşür.

İlk 4 adımın faydası için 5. adımı beklemek zorunda değilsiniz.

Kopyala-yapıştır: bugün yayımlayabileceğiniz mantıklı bir llmtag.txt

(Yolları ve iletişim adresini değiştirin, köke bırakın.)

# LLMTAG policy v0.2
Site: https://example.com
Policy-URL: https://example.com/ai-usage-policy
Contact: legal@example.com
Policy-Revision: 2025-10-18

# Global defaults
Use-Training: no
Use-Inference: summary,qa
Attribution: required
Attribution-Format: "Source: {url} — © Example Inc."
Cache: no
Crawl-Delay-LLM: 30
Sitemap: /sitemap.xml

# Rate guidance (enforcement: CDN/Uygulama)
Rate: 60/min/ip on /api/summary, /api/search

# Per-agent overrides
Agent: Google-Extended
  Use-Training: no
  Use-Inference: grounding
  Allow: /docs/public/, /faq/
  Disallow: /members-only/

Agent: GPTBot|OAI-SearchBot|ChatGPT-User
  Use-Training: no
  Use-Inference: summary
  Disallow: /private/, /raw-datasets/

Agent: ClaudeBot|Claude-User
  Use-Training: no
  Crawl-Delay-LLM: 45

Agent: PerplexityBot
  Use-Training: no
  Allow: /news/
  Disallow: /exports/

# Optional governance
Verify: DNS-TXT llmtag=pubkey:ed25519:BASE64KEY
Report-Endpoint: https://example.com/.well-known/llmtag/report
Report-Sample: 0.1

# LLMTAG policy v0.2
Site: https://example.com
Policy-URL: https://example.com/ai-usage-policy
Contact: legal@example.com
Policy-Revision: 2025-10-18

# Global defaults
Use-Training: no
Use-Inference: summary,qa
Attribution: required
Attribution-Format: "Source: {url} — © Example Inc."
Cache: no
Crawl-Delay-LLM: 30
Sitemap: /sitemap.xml

# Rate guidance (enforcement: CDN/Uygulama)
Rate: 60/min/ip on /api/summary, /api/search

# Per-agent overrides
Agent: Google-Extended
  Use-Training: no
  Use-Inference: grounding
  Allow: /docs/public/, /faq/
  Disallow: /members-only/

Agent: GPTBot|OAI-SearchBot|ChatGPT-User
  Use-Training: no
  Use-Inference: summary
  Disallow: /private/, /raw-datasets/

Agent: ClaudeBot|Claude-User
  Use-Training: no
  Crawl-Delay-LLM: 45

Agent: PerplexityBot
  Use-Training: no
  Allow: /news/
  Disallow: /exports/

# Optional governance
Verify: DNS-TXT llmtag=pubkey:ed25519:BASE64KEY
Report-Endpoint: https://example.com/.well-known/llmtag/report
Report-Sample: 0.1

Bu varsayılanlar neden?

• SEO korunur. Googlebot/Bingbot gibi arama tarayıcıları robots.txt ile yönetilmeye devam eder. Google-Extended gibi AI kullanım sinyalleri indeksleme ile karıştırılmaz; eğitim/çıkarım davranışını hedefler.
• Ajanları adlandırmak (OpenAI/Anthropic/Perplexity vb.) uyumlu botlar için belirsizliği azaltır.
• Telemetri/doğrulama opsiyoneldir ama ekosistem olgunlaştıkça çok değerlidir.

Gerçeğe dönüştürün: politika ile uyumlu

Politika tek başına öneridir. llmtag.txt’i hafif ama etkin önlemlerle eşleyin:

• CDN/WAF katmanı: Yönetilen AI crawler kontrollerini açın; stratejinize uygunsa varsayılan engelleme uygulayın ve sadece politikanızın izin verdiğini bırakın. Robots/politikayı görmezden gelen ajanlara karşı ağ katmanı sizi korur.
• Uygulama katmanı: JS sınaması, honeypot ve /api/*, dışa aktarımlar gibi maliyetli uçlar için yol bazlı hız limiti ekleyin. Kararları loglayın (“challenge”, “rate_limit”, “honeypot”).

WordPress: 10 dakikalık devreye alma

• llmtag.txt’yi yayımlayın: basit bir yönetim ekranında eğitim/çıkarım, atıf, ajan istisnaları alanlarıyla üretin.
• robots.txt’yi arama için koruyun; AI ajanları için ayrıca allow/deny gerekiyorsa orada da belirtin.
• Uygulama katmanı korumalarını açın: güvenlik/bot eklentisi ya da ufak bir özel eklentiyle JS challenge + honeypot + rate limit.
• Doğrulayın: https://alanadiniz.com/llmtag.txt çalışıyor mu; bilinen user-agent’larla test edin; logları izleyin.
  İpucu: Cloudflare kullanıyorsanız AI crawler kontrollerini açarak politikanızla uyumlu infazı ilk günden hizalayın.

S.S.S.

Bu SEO’yu bozar mı?
Hayır—llmtag.txt AI kullanımı için; arama indekslemesi için değil. Arama tarayıcılarını robots.txt ile yönetmeye devam ederken, AI izinlerini ve hızlarını llmtag.txt ile ilan edersiniz. Google-Extended sinyali, Search sıralamasıyla karıştırılmamalıdır.

Bot politikayı yok sayarsa ne olur?
CDN/WAF ve uygulama katmanında engeller ya da kısıtlarsınız. Bazı AI kazıyıcıları site sinyallerini görmezden geldiği için, büyük altyapı sağlayıcılarında bu yaklaşım zaten yaygınlaşıyor.

Neden resmi bir standardı beklemeyelim?
De-facto konvansiyonlar önce gelir, standart sonra gelir. llmtag.txt özellikle basit bırakıldı ki üreticiler anında benimseyebilsin. Felsefe ve örnekler için llmtag.org’a bakın; dosyanızı bugün yayınlayın.

Özet

İçerik üretiyor veya barındırıyorsanız, bu ay llmtag.txt ekleyin. Aramayı robots.txt ile sağlıklı tutun; AI beklentilerinizi llmtag.txt ile netleştirin; bunu temel infazla destekleyin. Web, küçük ve açık konvansiyonlarla çalışır. Bu, AI çağında rıza, netlik ve kontrolü geri getiren en küçük ama en etkili adım.

• Gerekçe ve örnekler: llmtag.org
• Yollarınızı haritalayın, varsayılanlarınızı seçin, dosyayı yayınlayın.
• CDN/WAF kontrollerini açın; uygulama katmanı önlemlerini ekleyin.

İçeriğiniz, kurallarınız. llmtag.txt AI ajanlarının önce baktığı dosya olsun.

1. TensorFlow

• Açıklama: Google tarafından geliştirilen TensorFlow, makine öğrenimi ve derin öğrenme uygulamaları için popüler bir açık kaynak kütüphanesidir. Kullanıcılar, karmaşık algoritmalar oluşturabilir ve veri setlerini analiz edebilir.
• Kullanım Alanları: Görüntü tanıma, doğal dil işleme, öneri sistemleri.

2. PyTorch

• Açıklama: Facebook tarafından geliştirilen PyTorch, esnek ve dinamik bir yapay zeka kütüphanesidir. Araştırmacılar ve geliştiriciler için hızlı prototipleme imkanı sunar.
• Kullanım Alanları: Bilgisayarla görme, doğal dil işleme, oyun geliştirme.

3. Hugging Face Transformers

• Açıklama: Doğal dil işleme için en popüler kütüphanelerden biri olan Hugging Face, önceden eğitilmiş modeller sunarak kullanıcıların projelerine hız katar. BERT, GPT ve T5 gibi modelleri içerir.
• Kullanım Alanları: Metin sınıflandırma, metin üretimi, soru yanıtlama.

4. OpenAI GPT-3

• Açıklama: OpenAI tarafından geliştirilen GPT-3, doğal dil işleme alanında devrim niteliğinde bir dil modelidir. İnsan benzeri metinler üretebilme yeteneği ile dikkat çeker.
• Kullanım Alanları: İçerik oluşturma, sohbet botları, dil çevirisi.

5. IBM Watson

• Açıklama: IBM’in yapay zeka platformu olan Watson, sağlık, finans, müşteri hizmetleri gibi birçok sektörde kullanılmaktadır. Kullanıcıların verileri analiz etmesine ve karar verme süreçlerini iyileştirmesine yardımcı olur.
• Kullanım Alanları: Veri analizi, doğal dil işleme, makine öğrenimi.

6. Keras

• Açıklama: Kullanımı kolay bir yapay zeka kütüphanesi olan Keras, derin öğrenme modellerini hızlıca oluşturma imkanı sunar. TensorFlow üzerine inşa edilmiştir ve kullanıcı dostu arayüzü ile dikkat çeker.
• Kullanım Alanları: Görüntü sınıflandırma, zaman serisi analizi, öneri sistemleri.

7. RapidMiner

• Açıklama: Veri bilimi ve makine öğrenimi süreçlerini hızlandıran bir platform olan RapidMiner, kullanıcıların veri hazırlama, model oluşturma ve değerlendirme işlemlerini yapmasına olanak tanır.
• Kullanım Alanları: Veri analizi, tahmin analitiği, müşteri segmentasyonu.

8. Tableau

• Açıklama: Veri görselleştirme aracı olan Tableau, kullanıcıların verilerini kolayca analiz etmelerine ve görselleştirmelerine olanak tanır. AI destekli analitik özellikleri ile dikkat çeker.
• Kullanım Alanları: Veri analizi, raporlama, iş zekası.

Sonuç

Yapay zeka araçları, işletmelerin verimliliklerini artırmalarına ve rekabet avantajı elde etmelerine yardımcı olmaktadır. TensorFlow, PyTorch, Hugging Face ve diğerleri gibi araçlar, geliştiricilere ve veri bilimcilere güçlü çözümler sunarak inovasyonu destekler. İhtiyaçlarınıza uygun olan aracı seçerek, yapay zeka projelerinizi daha etkili bir şekilde hayata geçirebilirsiniz.