Arama motorlarına nasıl davranmalıyız

Arama motorları, tarayıcı (spider) robotlar adını verdiğimiz algoritmalar kullanarak aslında hangi sitede ne olduğunu ve nelerin değiştiğini kontrol edip kayıt altına alırlar. Bu süreçte bir web sitesinin ne oranda iyi olduğunu belirlerler. Ancak web siteniz arama motorları tarafından bilinmiyorsa sitenizi tarayıcıların ziyaret etme olasılığı oldukça düşüktür. Bunun için haftalarca, aylarca hatta yıllarca beklemeniz gerekebilir. Elbette bu kadar bekleyecek vaktiniz olmayacak. Arama motorları sitenize uğramıyorlarsa onları davet etmek sizin görevinizdir. Şimdi bunun nasıl yapıldığını ele alalım. Arada ortaya çıkabilecek sorunlara da değinilecektir. 
• Öncelikle hedeflediğiniz bir arama motoruna "site: sitenizin adresi" eksiksiz giriniz (örneğin: site:atolyebirsifir.com). Arama motorunun göstereceği sonuçların ve sayfa sayısının doğru bir şekilde gösterilip gösterilmediğini kontrol edin. 
• Eğer arama motoru sayfanızı tanımıyorsa: 
• Web sayfanızı tanımasını istediğiniz arama motoruna "url ekle" yazıp sonraki adımları takip edin. (Bu aşamada dikkat edilmesi gereken en önemli husus herhangi bir sayfayı eklemekten ziyade görünmesini istediğiniz en önemli sayfayı eklemektir. Bu sayfa da genellikle bütün sayfa linklerinin bir arada bulunduğu anasayfadır.) 
• Mümkünse bildiğiniz tüm arama motorlarında aynı işlemi tekrarlayın. Bu işlem fazla zamanınızı almayacaktır. 
• Web sitesi bildirildikten sonra spiderların sitenizi ziyaret etmesi altı hafta kadar sürebilir. Bu süre arama motoruna göre değişir. Bu süreci hızlandırmak için aşağıda ele alacağımız bazı yöntemleri kullanabilirsiniz. 
• Arama motoru tarayıcılarının sıkca ziyaret ettiği bir sitenin önemli bir yerine sitenizin linkini yazın. Tarayıcı robotlar bu linki takip edecektir. 
• Sitenizin tarayıcılar tarafından bilinmesi tek başına yeterli bir kriter değildir. Eğer web sayfanız tarayıcılar için okunması zor ve karmaşıksa, sitenizin arama motorlarında görülme olasılığı oldukça düşük demektir. Bu durumda aşağıda belirteceğimiz kriterler çerçevesinde siteniz, arama motoru dostu bir site haline nasıl dönüşür, biraz değinelim. 
• Öncelikle arama motoru robotları nasıl çalışır onu ele alalım: Arama motoru robotları günün her anı web sitelerinde dolaşırlar. Bu gezinti esnasında arama motorlarına inceledikleri web sayfalarını rapor ederler. Arama motorları bu veriler doğrultusunda muhattap sitedeki değişiklikleri ve yenilikleri kaydederler. Takibinde bu verileri arama sonuçlarına yansıtırlar. 
• Robotları yönlendirmek için robots.txt dosyası kurulabilir. Bu dosyayı bir turist rehberi gibi düşünebilirsiniz. Sitenizin hangi sayfalarının birincil derecede önemli olduğunu, hangi bilgilerin okunmaması gerektiğini buradan yönetebilirsiniz. Eğer gizlemeyi düşündüğünüz bir içerik varsa bunun için txt dosyası kritik bir koşuldur. "robots.txt" dosyası arama motoru optimizasyonu yapılmış hemen her sitede mevcuttur. Öreneğin "amazon" sayfasının robots dosyasını (http://www.amazon.de/robots.txt) incelemeniz size robots.txt dosyasının nasıl yapıldığı hakkında bir fikir verebilir. 
• ***"robots.txt" dosyası sayfanız için oldukça önemlidir. Bu dosya kusursuz işlenmelidir. Burada yazacağınız herşey sayfanızın gösterilme oranını doğrudan etkileyecektir.**** 
• Yazdığınız dosyanın doğru bir şekilde yazılıp yazılmadığını"http://www.invisiongraphics.com/robotstxt_validator.html" adresinden kontrol edebilirsiniz. 
• Hızlı ve güvenilir bir hosting bulmaya özen gösterin. Robotlar hızlı web sitelerini oldukça severler. Arama motorları sayfanızı indekslerken sayfanızın kilitlenmemesi, bağlantının kesilmemesi son derece önemlidir. 
• Dinamik url adresleri yerine statik url'ler kullanınız. Kullandığınız url'nin değişken olması arama motorlarının kafasını karıştırabilir. Aynı zamanda okunabilir url'ler de son derece arama motoru dostudur. Örneğin "www.benimsayfam.com/item=123489" yerine "www.benimsayfam.com/kategoriler/erkek-giyim.html/" kullanmanız oldukça faydalıdır. 
• Mevcut url adreslerini .htaccess dosyasında sorunsuz değiştirebilirsiniz. Eski url adreslerini ise robots.txt dosyasında arama motorları için gizlemeyi unutmayın. 
• Sitenizi kategorilere ayırmayı ihmal etmeyin. Sayfanızı kategorilere ayırırken navigasyon sorununun çıkmamasına dikkat edin. Çok büyük bir içeriğiniz olmadığı müddetçe başlıkları en fazla 3 basamaklı (h1, h2, h3) olarak kullanın. Basamak sayısı arttıkça içeriğin önemi de arama motorları için önemsiz hale gelir. 
• Bir sayfanız için linklerken farklı yönlendirmeler kullanmayı ihmal etmeyin. Aynı sayfaya birkaç yerden atıf yapılması tarayıcı robotların hoşuna gidecektir. 
• Bağlantı yaparken resimli bir buton yerine metinli linkler kullanın. Unutmayın ki arama motoru bir resmin üzerine yazılmış bir metni okuyamaz. 
• Mecbur kalmadıkça flash, javascript ve frame kullanmayın. Bunlar her ne kadar bir web sitesini güzelleştirse de, arama motorları için oldukça yabancıdırlar. Çerçeveli etiketler kullanmamaya özen gösterin. Mevcut çerçeveleri (frame) sayfanızdan silin. Mümkün olduğunca çerçevesiz etiket (noframe tag) kullanın. 
• Hoşgeldin sayfasını silin. Bu tarz sayfalar hem tarayıcı robotlar için hem de ziyaretçiler için fazladan efor demektir. Tarayıcı robotlar taraması kolay sayfaları daha önemli bulurlar. 
• Boş ya da yanlış sayfalara yönlendiren linkleri tespit edip bunları düzeltin. (http://validator.w3.org/checklink) adresinden linkleri kontrol ettirebilirsiniz. 
• Aynı linkin ya da url adresinin farklı adreslere yönlendirme yapmasını engelleyin. Şayet sitenizde böyle bir durum söz konusuysa hemen müdahale edin. 
• Aynı metin mecburi olarak sitenizde farklı birkaç linkte bulunuyorsa arama motorları sitenize yönlendirme yaparkan hangi linki esas alacağını bilemez. Bu nedenle bu tarz sorunlardan kurtulmak için link koduna hangi etiketin varsayılan olduğunu bildirmeniz faydanıza olacaktır. Bunu yaparken örneğin html link koduna: () yazmanız bu sorunu ortadan kaldıracaktır. 
• Birbirinin tekrarı metinler kullanmayın. Elinizden geldiğince özgün ve tekrarlanmayan metinler kullanın. 
• Kopya ya da alıntı metinleri Google Web Yöneticisi araçlarını kullanarak tespit edebilirsiniz. Bir metnin kopya olup olmadığına ya da kopya olduğunu düşünseniz dahi silmeye karar vermeden önce bu araçları mutlaka kullanın. Google hesabınızdan (https://www.google.com/webmasters/tools/home?hl=tr) sayfasına girerek verilen talimatları takip edin. 
• Birbirinin tekrarı metinleri tespit etmek için google site operatörü biçilmiş kaftandır... (site: sitenizin adresi "tekrarının olup olmadığını bulmak isteğiniz metin") 
• Bazı sitelerde, özellikle alışveriş sitelerinde tarayıcıya site adresi gönderilirken çoklu linkler oluşabiliyor. Örneğin "www.orneksite.com/?session=12345". Bu şekilde adreslenmiş bir sitede siz farkında olmadan binlerce link oluşabilir. Bunu önlemenin en iyi yolu bu tarz adreslerdeki "session ID" kısmını kaldırıp çerezler (cookie) klasöründe depolamaktır. Özellikle PHP ile yazılmış sayfalarda bu tarz sorunlar ortaya çıkabiliyor. Bir başka çözüm ise ınclude komutuyla bu linklerin başka bir dosyada tutulmasıdır. Böylece arama motorlarının bu sayfaları indekslemesinin önüne geçmiş olursunuz. 
• "http://www.copyscape.com" adresinden başka sitelerde de içeriğinizin bulunup bulunmadığını araştırabilirsiniz. 
• Eğer içeriğiniz size ait olmayan bir sayfada mevcutsa web yöneticinizle temasa geçebilirsiniz. Orijinal metnin size ait olduğuna dair arama motorlarını mümkün olduğunca ikna edin. Alıntı metnin yapıldığı site sahibiyle temasa geçin ve emek hırsızlığı konusundaki şikayetinizi dile getirin. Elinizde kanıtlar varsa hukuki süreç dahi başlatabilirsiniz. 
• Başka sitelerden alıntı yapmaktan özellikle sakının. Bu hem doğuracağı hukuki sorunlar hem de arama motorlarının sayfanıza biçtiği değer konusunda başınıza dert açacaktır. Sizi sizden daha iyi kimse tanımlayamaz. Bu aynı zamanda özgünlüğünüz ve saygınlığınız için bir önkoşuldur. 
• Sitenizi başka sitelerde tanıtırken sitenizden alıntı ya da kopyala yapıştır yapmayın. Bunun yerine sitenizi farklı ve yine özgün bir metinle tanıtın. Aynı metnin iki farklı sayfada bulunması arama motorlarının hoş karşılayacağı bir durum değildir. 
• Aynı içeriği size ait farklı sitelerde de kullanmayın. Mecbur kalırsanız"http://googlewebmastercentral.blogspot.com/2009/12/handling-legitimate-cross-domain.html" adresine gidip talimatları takip edebilirsiniz. 
• Sitenizin hatasız kodla yazılması sizi SEO bakımından yukarı taşımasa da, içinde hataların var olması sıralamanızın düşmesine yol açabilir. Bu nedenle html ve css hatalarını gözardı etmeyin. Sitenizin html dilinde doğru yazılıp yazılmadığını "http:// validator.w3.org" adresinden kontrol edebilirsiniz. CSS hatalarını da aynı şekilde "http://jigsaw.w3.org/css-validator/" adresinden kontrol edebilirsiniz. 
• Site haritaları hem insanlar hem de arama motorları için, yön bulmak açısından önemlidir. İnsanlar için html dilinde hazırlanmış bir site haritası arama motorları için kullanışsızdır. Arama motorları için xml site haritaları en ideal olanıdır. Robotlar xml site haritasını kolaylıkla okurlar ve sayfa ya da içerik atlama gibi bir sorun da bu nedenle ortadan kalkmış olur. Mevcut html dilinde yazılmış bir site haritasını kolaylıkla xml diline çevirebilirsiniz. Bunu "http://www.xml-sitemaps.com/" sitesinden sorunsuz bir şekilde hayata geçirebilirsiniz. Site haritasını hazırladıktan sonra arama motorlarına önermeyi ihmal etmeyin. Bu konuda http://www.google.com/support/webmasters/bin/answer.py?answer=40318 adresindeki talimatları takip edebilirsiniz. Önerme süreci farklı arama motorlarında farklı işlemlerle yapılmaktadır. Eğer önermek istediğiniz arama motoruna "sitemap + arama motorunun ismi" örneğin "sitemap bing" yazarsanız bunun nasıl yapıldığına dair bilgilere kolaylıkla ulaşabilirsiniz. 
• Bütün hataları düzelttiniz - Flash ve çerçeveleri oluşturdunuz. Tarayıcı robotlar sayfanızı artık sorunsuzca tarayabilirler. Yani robotlar sayfanıza gelirken yolda karşılaşacakları engelleri ortadan kaldırmış oldunuz. Şimdi misafirlerimiz içerideyken yapmamız gerekenleri ele alalım.