Magento sitesinde “robots.txt tarafından engellendi” hatası nasıl çözülür?
Magento sitenizde Search Console'da “robots.txt tarafından engellendi” durumunu görüyorsanız doğru yerdesiniz. robots.txt Googlebot'un adrese girmesini engelliyor. Bu sayfa Magento için nedenleri ve adım adım düzeltmeyi anlatır. Büyük kataloglar için güçlü bir e-ticaret yazılımı (Adobe Commerce). Katman gezinme filtreleri çok sayıda parametreli adres üretir.
İçindekiler
Bu durum ne anlama gelir?
robots.txt dosyanızdaki bir Disallow kuralı bu adresin taranmasını yasaklıyor. Google içeriği okuyamaz; adres başka sitelerden bağlantı aldıysa içeriksiz olarak dizinde görünebilir.
Magento sitelerinde olası nedenler
- Geliştirme sırasında konulan "Disallow: /" kuralı canlıda unutulmuş.
- Geniş bir desen (örneğin /*?) istemediğiniz sayfaları da kapsıyor.
- CMS ya da eklenti robots.txt'yi kendiliğinden yeniden yazdı.
- Sitemap'teki adresler robots.txt ile kapatılmış klasörlerde.
- Magento notu: Aynı ekrandan robots.txt içeriğini düzenleyin. Filtre parametrelerini, arama sonuçlarını ve sepet adreslerini Disallow ile kapatmak tarama bütçesini korur.
Magento üzerinde adım adım düzeltme
- Magento yönetiminde şuraya gidin: Mağazalar > Yapılandırma > Katalog > Katalog > Arama motoru optimizasyonu ve Pazarlama > SEO ve Arama.
- Aynı ekrandan robots.txt içeriğini düzenleyin. Filtre parametrelerini, arama sonuçlarını ve sepet adreslerini Disallow ile kapatmak tarama bütçesini korur.
- Search Console'un robots.txt raporuyla ya da bir robots test aracıyla hangi kuralın adresi kapattığını bulun.
- Kuralı daraltın ya da silin; yalnızca gerçekten taranmaması gereken klasörleri kapatın.
- Sitemap'teki adreslerin robots.txt ile çelişmediğini doğrulayın.
- Düzeltmeden sonra robots.txt'nin önbelleğini yenilemesi için bir gün bekleyin ya da raporda yeniden almayı isteyin.
- Adresi indeksleme için gönderin ve ilerlemeyi URL denetimiyle izleyin.
Magento için ek kontroller
- noindex ve görünürlük: Mağazalar > Yapılandırma > Genel > Tasarım > Arama motoru robotları bölümünde varsayılan robot değeri INDEX,FOLLOW olmalı. Geliştirme ortamından kalan NOINDEX,NOFOLLOW değeri canlıda sık görülen bir hatadır.
- canonical ve kopya adresler: Katalog > SEO bölümünde kategori ve ürünler için "Canonical bağlantı meta etiketi kullan" seçeneklerini açın. Ürün adreslerinde kategori yolunu kaldırmak yinelenen adresleri azaltır.
Düzelttikten sonra
Search Console'da bu durum için "Düzeltmeyi doğrula" seçeneğini başlatın ve sayfayı URL denetimiyle yeniden gönderin. Önce ücretsiz Ücretsiz indekslenebilirlik kontrolü ile engelin kalktığını doğrulayın; çok sayıda adres için Toplu URL indeksleme: binlerce sayfa Google'a nasıl gönderilir? akışını izleyin. Google dizine alma kararını kendisi verir, süre günlerden haftalara değişebilir.
Daha fazla bilgi
Sık sorulan sorular
robots.txt sayfayı dizinden çıkarır mı?
Hayır. Taramayı engeller, dizinden çıkarmaz. Çıkarmak için taramaya izin verip noindex kullanın.
robots.txt'yi nasıl test ederim?
Ücretsiz robots.txt test aracımızda dosyayı ve bir adresi girin; Googlebot için izin durumunu görürsünüz.
Magento'da bu ayarlar nerede?
Mağazalar > Yapılandırma > Katalog > Katalog > Arama motoru optimizasyonu ve Pazarlama > SEO ve Arama.