Για να καταλάβουμε το SEO θα πρέπει να γνωρίζουμε και την αρχιτεκτονική των μηχανών αναζήτησης. Όλες οι μηχανές αναζήτησης περιέχουν τα παρακάτω συστατικά:
1. Spider. Είναι ένα πρόγραμμα σαν σελιδομετρητής που μεταφορτώνει ιστοσελίδες.
2. Crawler. Το πρόγραμμα που ακολουθεί που ακολουθεί αυτόματα όλες τις συνδέσεις σε κάθε ιστοσελίδα.
3. Indexer. Aναλύει τις ιστοσελίδες που μεταφορτώνονται από το Spider και τον Crawler.
4. Βάση δεδομένων. Χώρος αποθήκευσης για τις σελίδες που έχουν γίνει επεξεργασία και στην συνέχεια μεταφορτώθηκαν.
5. Μηχανή αποτελεσμάτων. Αποσυμπιέζει όλα τα αποτελέσματα αναζήτησης από την βάση.
6. Web Server. Ένας κεντρικός υπολογιστής που είναι αρμόδιος για την αλληλεπίδραση μεταξύ του χρήστη και άλλων τμημάτων μηχανών αναζήτησης.
Οι συγκεκριμένες εφαρμογές των μηχανισμών αναζήτησης μπορούν να διαφέρουν. Παραδείγματος χάριν, Spider+Crawler+Indexer όλα αυτα μάζι μπορούν να γίνουν όπως ένα ενιαίο πρόγραμμα που μεταφορτώνει ιστοσελίδας, τις αναλύει και χρησιμοποιεί έπειτα τις συνδέσεις τους για να βρεί τους νέους πόρους. Εντούτοις, τα συστατικά που απαριθμούνται είναι έμφυτα σε όλες τις μηχανές αναζήτησης καινοι αρχές SEO είναι οι ίδιες.
Spider. Αυτό το πρόγραμμα μεταφορτώνει ιστοσελίδες ακριβώς όπως μια μηχανή αναζήτησης. Η διαφορά είναι ότι μια μηχανή αναζήτησης επιδεικνύει τις πληροφορίες που παρουσιάζονται για κάθε σελίδα (κείμενο, γραφική παράσταση, κ.λπ.) το spider δεν έχει οποιαδήποτε οπτικά συστατικά και εργάζεται άμεσα με τον κώδικα HTML της σελίδας. Μπορείτε ήδη να ξέρετε ότι υπάρχει μια επιλογή στους τυποποιημένους σελιδομετρητές να δείτε τον κώδικα πηγής (source HTML code).
Crawler. Αυτό το πρόγραμμα βρίσκει όλες τις συνδέσεις σε κάθε σελίδα. Ο στόχος του είναι να καθορίσει όπου το Spider πρέπει να πάει είτε με την αξιολόγηση των συνδέσεων είτε σύμφωνα με έναν προκαθορισμένο κατάλογο διευθύνσεων. O crawler ακολουθεί αυτές τις συνδέσεις και προσπαθεί να βρεί τα έγγραφα που δεν είναι γνωστά στις μηχανές αναζήτησης.
Indexer. Αυτό το συστατικό αναλύει κάθε σελίδα και αναλύει τα διάφορα στοιχεία, όπως το κείμενο, οι επιγραφές, τα δομικά ή υφολογικά χαρακτηριστικά γνωρίσματα, οι πρόσθετες ετικέττες HTML, κ.λπ.
Βάση δεδομένων. Η βάση δεδομένων είναι ο χώρος αποθήκευσης για τα στοιχεία που η μηχανή αναζήτησης μεταφορτώνει και αναλύει. Μερικές φορές ονομάζεται και σαν δείκτης της μηχανής αναζήτησης.
Μηχανή αποτελεσμάτων. Η μηχανή αποτελεσμάτων ταξινομεί τις σελίδες. Καθορίζει το καλύτερο αποτέλεσμα σελίδων που δημιουργείται από την ερώτηση ενός χρήστη και σε ποια σειρά πρέπει οι σελίδες να ταξινομηθούν. Αυτό γίνεται σύμφωνα με τους αλγορίθμους ταξινόμησης της μηχανής αναζήτησης.
Web Server. Ο κεντρικός υπολογιστής δικτύου μηχανών αναζήτησης περιέχει συνήθως μια σελίδα HTML με ένα πεδίο εισαγωγής όπου ο χρήστης μπορεί να διευκρινίσει την ερώτηση αναζήτησης που ενδιαφέρεται. Ο κεντρικός υπολογιστής δικτύου είναι επίσης αρμόδιος για την επίδειξη των αποτελεσμάτων αναζήτησης στο χρήστη που γίνεται με την μορφή της σελίδας HTML.