Robots.txt nedir? Robots.txt, bir web sitesinin kök dizininde yer alan düz metin dosyasıdır. Bu dosya, arama motoru botlarına ve diğer otomatik tarayıcılara hangi sayfalara erişebileceklerini, hangilerini atlayacaklarını söyler. Standart adı robots.txt olup Robots Exclusion Protocol kurallarına dayanır.
Bir bot sitenize geldiğinde önce yourdomain.com/robots.txt adresini kontrol eder. Dosyada izin veren veya kısıtlayan bir kural bulursa o kurala göre davranır. Peki bu kural dijital marka koruma (brand protection) açısından neden önemlidir? Bülten abonelerimizin sıkça karıştırdığı kavramları ve pratikte ne anlama geldiğini aşağıda bulacaksınız.
Robots.txt tek bir görevi yerine getirir: tarayıcıya (crawler) "şu dizine girme" ya da "şu dosyayı atla" der. Dosyanın içeriği birkaç satırdan oluşur. En yaygın iki komut User-agent ve Disallow'dur. User-agent: * tüm botları hedefler; Disallow: /admin/ ise admin dizinini tüm botlara kapatır.
Pazaryeri ve marka koruma bağlamında robots.txt şu senaryolarda karşınıza çıkar. Bir pazaryeri, ürün ilanlarını fiyat karşılaştırma botlarından gizlemek isteyebilir. Bir marka sahibi, hak ihlali iddiasıyla bir platformun içeriğine itiraz ederken, o sayfanın bot tarafından ne kadar süredir indekslendiğini anlamaya çalışır. Amazon Türkiye satıcı panelinde marka koruma ayarları yapılandırılırken de tarayıcı erişim kurallarının o platformdaki ilanları nasıl etkilediği değerlendirilir.
Bir noktanın altını çizmek gerekir: robots.txt bir güvenlik duvarı değildir. Dosya yalnızca kurallara uyan botlar için geçerlidir. Kötü amaçlı tarayıcılar – taklit ürün satıcılarının fiyat ve görsel kopyalamak için kullandığı araçlar dahil – bu kuralları tamamen yok sayabilir. Bu nedenle robots.txt'yi "ürününüzü koruyan bir mekanizma" olarak değil, "arama motoru erişimini düzenleyen bir yol gösterici" olarak okumak gerekir.
SahteAvcı, pazaryeri ilanlarını tararken her platformun robots.txt kurallarını incelemekte ve bu kurallara uygun biçimde çalışmaktadır. Temel analiz tarayıcıda yerel çalışır; isteğe bağlı BYOK modunda görseller seçtiğiniz API sağlayıcısına gönderilir.
Robots.txt üç kavramla sıkça karıştırılır. Bunları ayırt etmek, hem teknik hem hukuki süreçlerde daha doğru kararlar almanızı sağlar.
| Kavram | Ne yapar? | Robots.txt'den farkı |
|---|---|---|
| Robots.txt | Botlara hangi dizine gireceğini söyler | — |
| Meta robots etiketi | Tek bir sayfanın indekslenmesini ya da bağlantılarının takibini engeller | Sayfa düzeyinde çalışır; dosya gerektirmez |
| Noindex direktifi | Sayfanın arama sonuçlarında görünmemesini sağlar | Robots.txt erişimi engellemez; sadece indekslemeden çıkarır |
| Canonical etiketi | Yinelenen içeriğin hangi sürümünün esas alınacağını belirtir | Bot erişimiyle ilgisi yoktur |
Markalar, ihlal bildirimi (kaldırma talebi / takedown) sürecinde zaman zaman "robots.txt ile sayfayı kapattık, dolayısıyla indekslenmedi" argümanını görür. Bu argüman yanıltıcı olabilir: robots.txt erişimi kısıtlasa bile sayfa daha önce indekslenmiş ve önbelleğe alınmışsa arama sonuçlarında görünmeye devam edebilir. NFC etiket gibi fiziksel doğrulama yöntemlerinden farklı olarak robots.txt, ürünün gerçekliğiyle değil yalnızca dijital erişim yönetimiyle ilgilidir.
Bir taklit saat satıcısı, ürün ilanını arama motorlarından gizlemek için sayfasına Disallow: /urun/ kuralı ekler. Bu sayede SahteAvcı gibi araçların o sayfayı arama indeksinden bulması güçleşir. Ancak doğrudan URL biliniyor ya da başka kanallardan (sosyal medya, paylaşım linkleri) erişiliyorsa robots.txt kuralı hiçbir şey yapmaz. UV işaret veya ihtiyati haciz gibi hukuki ve fiziksel yöntemler, robots.txt'nin koruma sağlayamadığı bu boşlukları doldurur.
Öte yandan meşru platformlar da robots.txt kullanır. Trendyol ve Hepsiburada gibi pazaryerleri, belirli satıcı veya ürün sayfalarını fiyat botlarından korumak amacıyla robots.txt kuralları tanımlar. Bu tamamen olağan bir pratiktir; kuralın varlığı başlı başına bir risk sinyali değildir.
Pazaryerlerindeki sahte ürün ilanlarını takip etmek giderek karmaşık bir hal alıyor. SahteAvcı'nın yeni verileri ve sözlük güncellemelerini kaçırmamak için bültene abone olun – yayımlandığında doğrudan size ulaşır.
Evet, robots.txt tamamen yasaldır. Bir web sitesi sahibinin botlara erişim tercihleri bildirmesi için tanımlanmış standart bir protokoldür. Kurallara uyan botlar bu direktife uyar; kötü amaçlı tarayıcılar için herhangi bir hukuki yaptırım mekanizması içermez. Hukuki koruma için ayrı mevzuat hükümleri geçerlidir.
Hayır, ikisi arasında doğrudan bir ilişki yoktur. Robots.txt, bir sitenin tarayıcı erişimini düzenleyen teknik bir dosyadır. Taklit ürün ise marka hakkını ihlal eden mal veya hizmet anlamına gelir. Bir taklit satıcısı robots.txt kullanabilir; bu durum ürünün sahteliğini ne kanıtlar ne de ortadan kaldırır. Sınai mülkiyet mevzuatı bu iki kavramı ayrı ayrı ele alır.
Herhangi bir sitenin robots.txt dosyasını görmek için tarayıcı adres çubuğuna siteadresi.com/robots.txt yazmanız yeterlidir. Dosya kamuya açıksa içeriği doğrudan görüntülenir. Robots.txt'nin varlığı veya içeriği, sahteyi tespit etmeye yönelik eklentiler aracılığıyla da otomatik olarak analiz edilebilir.