Arama motorları internetin sonsuzluğu içinde kaybolmadan ulaşmak istediğimiz bilgiye hızlı ve kolay ulaşmamızı sağlayan bilgisayar programlarına verilen addır. Kendisine gönderilen sorguları cevaplayabilmek için bir arama motoru internetteki bilgileri önceden "görmek" zorundadır. Başka bir deyişle bir arama motoru ancak daha önceden "gördüğü" ve "hatırlayabildiği" sayfaları size sunabilir. Daha önce görmediği, ya da görmüş olsa biler hatırlayamadığı sayfaları ise kullanıcılara sunamaz. Peki ama nasıl oluyor da bir bilgisayar sayfaları görüyor ve hatırlıyor? İşte burada bizim kapımızdan içeri giriyorsunuz.

İnternetteki sayfalar birbirine bağlantılar (linkler) vasıtasıyla bağlıdır. Bu sayede bir sayfadan diğerine geçmek mümkündür. Dahası, normalde sayfalar kendileriyle alakalı sayfalara link verirler. Mesela kalp ameliyatlarından bahseden Türkçe bir sayfada, hatta sitede, kedi mamaları hakkındaki Fransızca bir sayfaya link görmeniz ihtimali oldukça düşüktür. İşte arama motorları bu özellikten faydalanarak bir siteden başlar ve internette dolaşmaya başlarlar. Bir sayfa gördüklerinde aynen bir kullanıcının Internet Explorer ya da Firefox gibi bir tarayıcı ile bakacağı gibi sayfaya bakar ve içeriğini anlamaya çalışırlar. Sonra içeriği hafızalarında (hard disklerinde) bir yere yazar ve sayfadaki linkleri takip ederek diğer sayfalara ulaşır orada da aynısını yaparlar. Böylece internmette gezinirken mümkün olduğu kadar çok siteyi ziyaret eder ve hatırlamaya çalışırlar.

Sayfaları hatırlamaları da temel oalrak sayfadaki kelimeler sayesinde olur. "Index" adı verilen listelerde bir nevi bir kitabın başındaki içindekiler ya da sonundaki indeks gibi sayfada geçen kelimeleri tutaarlar. Böylece gördükleri sayfalardan hangisinde hangi kelime geçiyor hafızlarında tutmaya çalışırlar. Daha gelişmiş arama motorları sayfada geçen keliemelerin geçme sıklığı (sayısı), keliemelerin sayfadaki yeri, birbirine göre konumu, sayfa içindeki dış bağlantılar için kullanılan kelimeler, sayfa başlığı, sayfadaki başlıklar, büyük-küçük harfle yazılan kelimeler, yazıların rengi büyüklüğü, site genelinde hakim olan konu, sayfaya link veren diğer sayfaların içeriği ve sayfanın link verdiği dış bağlantıların içeriği gibi pekçok özelliğe dikkat eder ve bunları indekeslerde saklarlar.

Sayfanın olduğu gibi saklanması yerine indekslenmesinin amacı gerektiğinde sayfadaki bilgilere kolay ulaşmayı sağlamaktır. Bir benzetme yapmak gerekirse, kitabın tamamı elimizde olmasına rağmen yine de içindekiler bölümüne ihtiyaç duyarız. Elimizdeki kitapta bir konuyu ararken önce bölüm başlıklarına, sayfa başlıkların vs bakarız. Ya da bizim için önemli bir kitapta diğer bir kitaba atıfta bulunulduğunda o kitabı da elimizn altındaysa konuyla alakalı sayar ve gözden geçirmeye çalışırız. İşte arama motorları da benzer bir düşünceyi internet sayfaları ve siteler için uygulamaktadırlar.

Kullanıcıdan bir sorgu geldiğinde arama motorları hemen indexlerine bakar ve sorguda geçen kelimelerin geçtiği sayfaları bulmaya çalışırlar. Sonra o sayfalar arasında çeşitli kriterlere göre sıralama yapar ve sonuçları kullanıcıya gösterirler.

Bir kez daha özetlemek gerekirse, arama motorları temel oalrak üç kısımdan oluşur. Birinci kısım İngilizce olarak crawler (emekleyici) ya da spider (örümcek) olarak adlandırılan ve sayfaları gezip içeriğini toplayan kısımdır. İkinci modül internetten toplanan sayfaların içerğini inceleyen ve indexlerde saklayan modüldür. Son bölüm olan sorgulama modülü ise kullnıcıdan gelen sorguları ikinci kısımda oluşturulan indexlerde bularak sıralar ve kullnıcıya gösterir.

Alıntıdır