HİKAYELER

Bir ya da birkaç kelimeyi dünyadaki tüm internet siteleri içinde (genelde) 1 saniyeden kısa sürede aramayı becerebilen , bu yetmezmiş gibi tamda aradığımız şeyi karşımıza getiren Google’ın nasıl çalıştığı hakkında pek azımızın bir fikri vardır.Bakalım google bunu nasıl oluyorda mümkün kılıyor ?

Alan Adı sunucuları
Google’ın alan adı sunucusu (dns) yazılımı tüm dünyadaki şirkete ait ya da kiralanmış bilgisayarlarda çalışır.Bunların tek görevi sorguyu en yakın ve en az meşgul olan Google sunucu kümesine (cluster) a göndermektir.
Cluster nedir ?

Cluster kelimesi Türkçeye salkım ya da kümelerden oluşan bir bütün olarak çevrilebilir.Küçük parçalardan meydana gelen büyük bir yapıyı temsil etmek için kullanılır diyebiliriz.Salkımlar üzüm tanelerinden oluşur ve başlı başına birşeydir.:p

Clusterların Kontrolü

Google’ın dehası binlerce ucuz ve yavaş bilgisayarı tek bir süper bilgisayar gibi kullanabilen network yazılımında yatar.Bu sistem salkımı oluşturan küçük bilgisayarların sisteme girip çıkmasına izin verir.Bu sayede eğer küçük bilgisayarlardan biri bozulursa sistemin çalışması sekteye uğramadan tamir edilebilir veya değiştirilebilir.
Clusterin içinde ne var ?

Googlebot , görevi girebildiği bütün siteleri gezmek ve istemediğini belirtmediği sürece yazıların kopyasını alan ve kolay ulaşılabilir olması için “index verileri” oluşturan web örümceğidir.Bu örümcekler bir siteden diğerine linkler aracılığı ile geçerler populer siteleri ve oradaki linkleri yaklaşık her saatte bir indexlerler.Tüm Google clusterlerinin içinde bütün web in toplam üç kopyası vardır.Bu yaklaşık 20 petabyte tutar.(Kulağa küçük geliyor değil mi?Eğer ipodunuzun hafızası 20 petabyte olsaydı tam 200 milyon şarkıyı cebinizde taşıyabilirdiniz..)Clusterlardaki veriler sürekli güncellenir, asla sabit değildir.

Google Web Server
Aramalar üzerinde aynı anda çalışılması için web server tarafındn onbinlerce makineye gönderilir.Bu markete gidip birşey istediğinizde yüzlerce görevlinin bir ürün bulup alışveriş sepetinize koymasına benzer.

Google Index Server

Googlenin bildiği herşey devasa veritabanlarında saklanır fakat bir bilgisayarın gigabytelarca dosyayı işlemesini beklemek yerine google bu verileri binlerce bilgisayar tarafından taranarak benzer aramalar için index verileri oluşturulur.Bunu bir kitapta neyin nerede olduğunu belirten içindekiler sayfasına benzetebiliriz.Bu sayade webin kolayca ulaşılabilir olması sağlanır (bkz google desktop)

Google Document Server

İndex serverden gelen verileri linklere ve sıralama algoritmasına göre düzenler ve kullanıcının karşısına çıkarır.

Bütün bu işlemler ortalama 0.5 saniye sürer.

Peki google webi nasıl bu kadar kısa sürede arar?
Aslında bir sorgu gerçekleştirdiğinizde google webde aramaz.Google zaten veritabanlarına webin 3 kopyasını almış ve kendi özel algoritmaları sayesinde bunları kolayca aranabilir hale getirmiştir.

Pagerank Algoritması
Bu “program” sayesinde Google hangi sitelerin önemli ve hangilerinin önemsiz olduğunu belirler.Pagerank hakkındaki detayları daha önce milyonsitede yazmıştım.

Google’ın web araması özelliklerini bilgisayara taşıyan Google Desktop adlı bir uygulaması var.Tam anlamıyla olmasada web aramalarını kullanıyor.Bilgisayarınızı kullanmadığınız zamanlarda dosyaları tarayarak index verisini oluşturuyor.Bu sayede siz daha aradığınız kelimleri yazarken google bu kelimeleri içeren sonuçları (emailler, belgeler , dosyalar , web geçmişi ..) listeliyor.Yazmaya devam ettikçe sonuçları güncelleyebiliyor.

Google’ın nasıl çalıştığı benim uzun süredir merak ettiğim bir konuydu.Bu konuda birkaç bilgim vardı ama detaylı bir araştırma yapmaya karar verdim ve bu konuda hiç Türkçe kaynak olmadığını gördüm.Dilim döndüğünce , gerek direk ingilizcesinden çevirerek gerekse kendi cümlelerimi kullanarak bu dökümanı yazdım.Umarım beğenmişsinizdir..

kaynaklar ;
How Google Works
Güvercinli bilgisayarlar

 

İlgili Yazılar

1. GoogleBot ile Ücretli Sitelere Bedava Giriş