WordPress Sayfalandırma ( /page ) İndexlemeyi Engelleme Robots.txt Dosyası Kullanarak

WordPress ile siteniz var ve sitenizde sayfalandırma da görülen permalik url adresinde /page sayfalarını tamamen arama motorlarını nasıl indexlemesini engellerseniz sayfa bulabilirsiniz. Sayfalandırma yapısı arama motorları için tekrar edilen içerik olarak görülmekte ve arama motorlarından binlerce taranmış sayfa oluşturabilmektedir. Page sayfasını WordPress robots.txt yardımı ile nasıl arama motorlarının indexlemesini engelleriz başlayalım.

FTP ile WordPress kurulum ilk dizinine gidiniz. Alt domain açmadıysanız public_html klasörü içerisinde robots.txt dosyasını bilgisayara kayıt ediniz. Kayıt ettiğiniz robots.txt dosyasını Notepad ++ ile açınız.

Resimde gözüktüğü gibi her iki kuralı da robots.txt dosyası içerisinde User-agent: * alt tarafına ekleyiniz. Bu şekilde sitede permalink kısımda bulunan domain sonu /page kategori sonu /page ve diğer tüm orta url de gelen /page /page1, /page2, /page3 ve devamı olan sayfalandırma adresleri artık arama motorları tarafından indexlenmeyecektir.

WordPress public_html klasöründe eğer robots.txt dosyasını bulamadıysanız sitenizde robots.txt önceden oluşturulmamışsınız demektir. Bu durumda bir yeni metin dosyası oluşturarak adını robots.txt yapın ve Notepad ++ açınız. Burada yer alan kodları değiştirmeden Notepad ++ ile robots.txt dosyası içerisine yazarak kayıt ediniz ve WordPress public_html içerisine yükleyiniz.

Bu işlemlerden sonra artık arama motorları site url yapısında /page geçen hiçbir url adresini indexlemeyecektir. Önceden arama motorlarından indexlenen /page sayfaları bu komuttan sonra zamanla teker, teker arama motoru indexlemesinden silecektir.