Laravel sitesinde “robots.txt tarafından engellendi” hatası nasıl çözülür?
Laravel sitenizde Search Console'da “robots.txt tarafından engellendi” durumunu görüyorsanız doğru yerdesiniz. robots.txt Googlebot'un adrese girmesini engelliyor. Bu sayfa Laravel için nedenleri ve adım adım düzeltmeyi anlatır. PHP çatısı. SEO davranışı tamamen sizin kodunuzdadır; meta etiketleri Blade şablonlarında, sitemap ise bir paket ya da özel bir komutla üretilir.
İçindekiler
Bu durum ne anlama gelir?
robots.txt dosyanızdaki bir Disallow kuralı bu adresin taranmasını yasaklıyor. Google içeriği okuyamaz; adres başka sitelerden bağlantı aldıysa içeriksiz olarak dizinde görünebilir.
Laravel sitelerinde olası nedenler
- Geliştirme sırasında konulan "Disallow: /" kuralı canlıda unutulmuş.
- Geniş bir desen (örneğin /*?) istemediğiniz sayfaları da kapsıyor.
- CMS ya da eklenti robots.txt'yi kendiliğinden yeniden yazdı.
- Sitemap'teki adresler robots.txt ile kapatılmış klasörlerde.
- Laravel notu: public/robots.txt dosyasını düzenleyin; dosya yoksa framework 404 döndürür. Web sunucusu kök dizinin public klasörü olmalı.
Laravel üzerinde adım adım düzeltme
- Laravel yönetiminde şuraya gidin: Blade layout dosyası (head bölümü), public/robots.txt, routes/web.php ve sitemap paketi yapılandırması.
- public/robots.txt dosyasını düzenleyin; dosya yoksa framework 404 döndürür. Web sunucusu kök dizinin public klasörü olmalı.
- Search Console'un robots.txt raporuyla ya da bir robots test aracıyla hangi kuralın adresi kapattığını bulun.
- Kuralı daraltın ya da silin; yalnızca gerçekten taranmaması gereken klasörleri kapatın.
- Sitemap'teki adreslerin robots.txt ile çelişmediğini doğrulayın.
- Düzeltmeden sonra robots.txt'nin önbelleğini yenilemesi için bir gün bekleyin ya da raporda yeniden almayı isteyin.
- Adresi indeksleme için gönderin ve ilerlemeyi URL denetimiyle izleyin.
Laravel için ek kontroller
- canonical ve kopya adresler: Layout içinde url()->current() ile canonical üretin ve sorgu parametrelerini dışarıda bırakın. Sayfalama için her sayfa kendi canonical'ını taşımalıdır.
- yönlendirme ve 404: routes/web.php içinde Route::permanentRedirect ile 301 tanımlayın. Eloquent modeli bulunamayınca abort(404) çağırın; boş sayfayı 200 ile döndürmeyin.
Düzelttikten sonra
Search Console'da bu durum için "Düzeltmeyi doğrula" seçeneğini başlatın ve sayfayı URL denetimiyle yeniden gönderin. Önce ücretsiz Ücretsiz indekslenebilirlik kontrolü ile engelin kalktığını doğrulayın; çok sayıda adres için Toplu URL indeksleme: binlerce sayfa Google'a nasıl gönderilir? akışını izleyin. Google dizine alma kararını kendisi verir, süre günlerden haftalara değişebilir.
Daha fazla bilgi
Sık sorulan sorular
robots.txt sayfayı dizinden çıkarır mı?
Hayır. Taramayı engeller, dizinden çıkarmaz. Çıkarmak için taramaya izin verip noindex kullanın.
robots.txt'yi nasıl test ederim?
Ücretsiz robots.txt test aracımızda dosyayı ve bir adresi girin; Googlebot için izin durumunu görürsünüz.
Laravel'da bu ayarlar nerede?
Blade layout dosyası (head bölümü), public/robots.txt, routes/web.php ve sitemap paketi yapılandırması.