Tarama(Crawl) ve Tarama Sıklığı (Crawl Frequency) Nedir?

Bir web sitesinin SEO çalışmalarından alınacak ziyaretçi sayısına kadar pek çok durumu etkileyen tarama sıklığı, sitelerin arama motoru ile olan ilişkisini esas almaktadır. Aşağıdaki resimde görüldüğü üzere siteme belirli aralıklarla uğrayan crawl(tarama) botlarına ait küçük bir kesit görmektesiniz.

Tarama(Crawl) Nedir?

Crawler veya diğer adıyla Web Crawler, web sitelerini belleklerine almak için World Wide Web üzerinde sürekli bir tarama yapan arama botlarıdır. Örneğin bir Crawler içerisinde belirli anahtar kelimelerin yer aldığı sayfaları tarayıp, daha sonra bu tarama sonuçlarını arama motorunun mekanizmasına bildirebilir. İnternette arama motorları başta olmak üzere otomatik olarak çalışan servislerin bir çoğu interneti sürekli taramak amacıyla Crawler adını verdiğimiz bu gezgin botları kullanır.

Peki bu Crawler ’lar nasıl var oluyor? Crawler ’da bizim bilgisayarlımızda kullandığımız yazılımlar gibi tasarlanan, filtreleme yapabilen veya işaretleme yöntemiyle yalnızca istenen kriterleri göz önünde bulundurabilen yazılımlardır. Sürekli olarak aynı rutini tekrar ederler ancak kendi başlarına karar veremezler. Dolayısıyla bir Crawler ’ı arama motorunun tümü şeklinde düşünmek yanlış olacaktır.

Tarama Sıklığı(Crawl Frequency) Nedir?

Tarama sıklığı, web sitesinin arama motoru tarafından ne sıklıkta tarandığını gösteren bir değerdir. Googlebot, Google’ın bilinen botudur. Arama motorları bu tip bot ya da diğer tabiriyle örümcekleri ile siteleri analiz eder. Temel olarak, botlar web sitelerini ziyaret eder ve sitelerde keşfettiği değişiklikleri ya da yeni sayfaları dizine ekler. Google gibi arama motorlarının dizinleri büyük ve genişleyen bir bilgi kütüphanesidir. Arka planda yapılan bu tarama ne kadar başarılı olursa, arama motorunun tek bir arama sorgusu için yüz milyonlarca sonuç sunabilmesi de o kadar kolay olacaktır.

Tarama Sıklığı Neden Önemli?

Sayfaların ve içeriğin organik arama sonuçlarında sıralama alması, dizine eklenmesiyle mümkün olmaktadır. Bir sitenin dizine eklenmesi için ise botlar tarafından taranmasını gerekir. Böylece sayfa sıralanarak ziyaretçi almaya başlayacaktır. Sitenin güncelleme sıklığı (yeni sayfa ekleme, yeni içerik ekleme, mevcut sayfaları ve içeriği optimize etme dahil olmak üzere)  sitenin ne sıklıkta taranacağını etkiler. Crawl Bot, dizini güncelleyebilmek adına sitelerde yeni şeyler tarar. Bu nedenle, sitelerin düzenli olarak güncellenmesi ve ya optimize edilmesi, taranma ve dizine eklenme konusunda siteyi ön plana çıkarır. Botlar siteye gelip yeni içerikler buldukça tarama sıklığını arttıracaktır. Tam ters durumda ise tarama sıklığı düşer.

Tarama sıklığı ne kadar düşükse yani ne kadar kısa aralıklarla siteniz bu Crawl yapısı ile taranıyorsa, sitenin arama motorları tarafından sevildiği anlaşılabilir. Fakat günlerce Crawl botlar sitenize uğramıyorsa, ya da çok çok az uğruyorsa o sitenin yükselmesi ve arama motorları tarafından sevilmesi de bir hayli zor olacaktır.

Tarama Sıklığı Nasıl Arttırılır?

Tarama sıklığının arttırabilmek adına web site yöneticilerinin yapması gerekenlerden bazılarını şöyle listeleyebiliriz;

• Site için doğru bir içerik planlaması yaparak belirli aralıklarla yayın yapılmalıdır.
• Düzensiz içerik girişi yapılmamalıdır.
• İçerikler güncel tutulmalı, içeriklerdeki bilgiler değiştikçe ya da yenilendikçe içeriklere eklenerek içeriklerin her zaman doğru bilgi sunması sağlanmalıdır.
• Web sayfaları, arama motorlarında doğru bir şekilde ayarlanmalıdır. Site haritaları ve robot.txt dosyaları doğru bir şekilde hazırlanmalıdır.

Yukarıda verilen temel dinamiklerin dışında, daha farklı çalışmalarla yine bu Crawl ‘ları sitenize düzenli olarak ve belirli frekanslarda çekmeniz mümkündür.