Arama motorlarının en temel aşaması, “crawling” adı verilen web sitelerindeki içerikleri taramaktan ve verilerin analiz edilerek dev veritabanlarında depolanmasından oluşuyor.
Crawling
Crawling adı verilen işlem, arama motorunun web sitelerini ziyaret ederek orada bulduğu her şeyin bir listesini kaydetmesi anlamına geliyor. Bunlar arasında en az sayfa başlığı, resimler, anahtar sözcükler ve diğer sayfalara verilen bağlantılar bulunuyor. Bazı arama motorları, tüm web sayfasını kendi üzerinde depolayabiliyorlar, reklamların, bağlantıların sayfanın neresinde olduğunu tarayabiliyorlar.
Crawling işlemi, otomatik olarak bilgisayarlar tarafından gerçekleştiriliyor. Bu sırada web sitesindeki her sayfa tek tek ziyaret ediliyor, ancak bu işlem bir insanın yapabileceğinden çok daha hızlı yerine getiriliyor. Crawling, sonu olmayan bir işlem, yani arama motorları belirli aralıklarla web sitelerini tekrar tekrar tarıyorlar.
Arama motorunun taradığı web sitelerindeki herhangi bir yeni web sitesine verilen bağlantı, bu yeni web sitesinin de taranmasıyla sonuçlanır. Crawling işlemin sıklığı ve derinliği, siteden siteye değişmektedir.