Robots.txt Nedir ?

Yorum YapKategori SEO Paylaşımları

İnternet sitelerinin arama motorlarında yer alması için arama motorlarının botları siteleri incelemektedir. Arama motoru internet sitelerini ziyaret eden programlardır ve tüm siteyi incelemektedir. Arama motoru botu sitenin tüm bağlantıları, tüm sayfalarını ve içeriklerindeki bilgileri alarak arama motorunun sonuçlarda gösterilmesini sağlamakta. Bu durumda sitenin aram motorunda görüntülenmesi istenmeyen bölümlerinin belirlenmesi ve buralara arama motorunun botunun girmemesi […]