Στις πρώτες μέρες της ανάπτυξης του Διαδικτύου, οι χρήστες του, ήταν μια προνομιούχος μειονότητα και το ποσό διαθέσιμων πληροφοριών ήταν σχετικά μικρό.
Η πρόσβαση περιορίστηκε κυρίως στους υπαλλήλους των διάφορων πανεπιστημίων και των εργαστηρίων που την χρησιμοποίησαν στις επιστημονικές πληροφορίες πρόσβασης. Σε εκείνες τις ημέρες, το πρόβλημα τις πληροφορίες για το διαδίκτυο δεν ήταν σχεδόν τόσο κρίσιμο όπως είναι τώρα.
Οι κατάλογοι περιοχών ήταν μια από τις πρώτες μεθόδους που χρησιμοποιήθηκαν για να διευκολύνουν την πρόσβαση στις πηγές πληροφοριών στο δίκτυο. Οι συνδέσεις με αυτούς τους πόρους ομαδοποιήθηκαν ανά θέμα. Το Yahoo ήταν το πρώτο πρόγραμμα αυτού του είδους που ξεκίνησε τον Απριλίο του 1994. Δεδομένου ότι ο αριθμός περιοχών στον κατάλογο του Yahoo αυξήθηκε αδυσώπητα, οι υπεύθυνοι για την ανάπτυξη του Yahoo κατέστησαν το directory εξερευνήσιμο. Φυσικά, δεν ήταν μια μηχανή αναζήτησης με αληθινή μορφή του επειδή η έρευνα περιορίστηκε σε εκείνους τους πόρους που βρίσκονταν στα directories. Δεν έκανε πραγματική αναζήτηση και φυσικά θέμα SEO ακόμα δεν υπήρχε.
Τέτοιοι κατάλογοι συνδέσεων (directories) έχουν χρησιμοποιηθεί εκτενώς στο παρελθόν, αλλά σήμερα έχουν χάσει ένα μεγάλο μέρος της δημοτικότητάς τους. Ο λόγος είναι απλός – ακόμη και οι σύγχρονοι κατάλογοι με πολλούς πόρους παρέχουν μόνο τις πληροφορίες για ένα μικροσκοπικό μέρος του Διαδικτύου. Παραδείγματος χάριν, ο μεγαλύτερος κατάλογος στο διαδίκτυο είναι αυτήν την περίοδο το DMOZ (ή ανοικτό πρόγραμμα καταλόγου). Περιέχει τις πληροφορίες για περίπου πέντε δισεκατομμύρια εγγράφων.
Το πρόγραμμα WebCrawler ξεκίνησε το 1994 και ήταν η πρώτη πλήρης-χαρακτηρισμένη μηχανή αναζήτησης. Οι μηχανές αναζήτησης Lycos και AltaVista εμφανίστηκαν το 1995 και για πολλά έτη το AltaVista ήταν ο «μεγαλύτερος παίχτης» στις μηχανές αναζήτησης..
Το 1997 ο Sergey Brin και ο Larry Page δημιούργησαν το Google ως ερευνητικό πρόγραμμα στο Πανεπιστήμιο του Stanford. Το Google είναι τώρα η δημοφιλέστερη μηχανή αναζήτησης στον κόσμο.
Στις μέρες μας, υπάρχουν τρεις κύριες διεθνείς μηχανές αναζήτησης – Google, Yahoo και το MSN. Κάθε ένας έχουν τις βάσεις δεδομένων και τους αλγορίθμους αναζήτησής τους. Πολλές άλλες μηχανές αναζήτησης χρησιμοποιούν τα αποτελέσματα που προέρχονται από αυτές τις τρεις σημαντικές μηχανές αναζήτησης και το SEO μπορεί να εφαρμοστεί σε όλες τους. Παραδείγματος χάριν, η μηχανή αναζήτησης της AOL (search.aol.com) χρησιμοποιεί τη βάση δεδομένων της Google ενώ το AltaVista, Lycos και AllTheWeb χρησιμοποιούν τη βάση δεδομένων του Yahoo.
