Στο βόρειο μέρος της πόλης , ανάμεσα σ’ ένα καταπράσινο πευκώνα και στη θάλασσα υψώνονται τα απομεινάρια του κάστρου της Μυτιλήνης. Διατηρείται σε αρκετά καλή κατάσταση και είναι ένα από τα μεγαλύτερα κάστρα του μεσογειακού χώρου. Η οικοδόμησή του και η ενίσχυσή του έγινε σε διάφορες χρονικές περιόδους. Πιθανολογείται ότι κτίσθηκε την βυζαντινή εποχή στους χρόνους του Ιουστινιανού.
Σημαντική όμως ανακαίνιση δέχτηκε από τον Φραγκίσκο Γατελούζο στα χρόνια της ηγεμονίας του στο νησί. Αυτή την περίοδο πιστεύεται ότι ήταν ένα από τα πιο απόρθητα και ισχυρά κάστρα. Μέσα σ’ αυτό βρισκόταν και τo παλάτι του , που ονομάζεται “Πύργος της Βασίλισσας”. Στο χώρο του κάστρου σώζεται επίσης μια ρωμαϊκή ή βυζαντινή δεξαμενή φτιαγμένη από αδιάβροχο υλικό. Στις πύλες και σε διάφορα άλλα σημεία του κάστρου υπάρχουν οικόσημα των Παλαιολόγων και των Γατελούζων. Κάτω από τo κάστρο υπάρχουν στοές μεγάλου μήκους , στις οποίες συγκεντρώνονταν τα γυναικόπαιδα σε εμπόλεμη περίοδο. Ο θρύλος θέλει τις στοές να έχουν έξοδο και μάλιστα σε μεγάλη απόσταση από τo κάστρο. Τα τείχη του διατηρούνται σε καλή κατάσταση και είναι δείγματα άριστης οχυρωματικής αρχιτεκτονικής.

Η Μυτιλήνη είναι μια απ' τις αρχαιότερες πόλεις της Ελλάδας, ίσως και του κόσμου ολόκληρου, που κατοικείται στα ίδια χώματα χιλιάδες χρόνια. Η ίδρυσή της αρχικά πάνω στο νησάκι, όπου βρίσκεται το Κάστρο, τοποθετείται από τον ψευδο-Ηρόδοτο στο έργο του "Βίος Ομήρου" 130 χρόνια μετά την άλωση της Τροίας, δηλαδή το 1053 π.Χ., αν η άλωση έγινε το 1183, όπως υποστηρίζεται. Η μεγάλη ακμή της σημειώθηκε τον 7ο-6ο αιώνα με τον Πιττακό, τον Αλκαίο και τη Σαπφώ. Στην αρχαιότητα και μέχρι τους πρώτους βυζαντινούς αιώνες η περιοχή όπου είναι σήμερα το Κάστρο της ήταν ένα νησάκι, που χωριζόταν απ' την υπόλοιπη Λέσβο με τον λεγόμενο «Έύριπο των Μυτιληναίων» , δηλαδή το κανάλι που διατρέχοντας περίπου το δρόμο της σημερινής αγοράς σε μήκος 700 περίπου μέτρων ένωνε τα δυο λιμάνια της πόλης, το βόρειο της Επάνω Σκάλας και το Νότιο. Έτσι τα καράβια περνώντας απ' το ένα λιμάνι στο άλλο μέσα από τον Εύριπο μπορούσαν να αποπλεύσουν εύκολα είτε φύσαγε βοριάς είτε νοτιάς.
«Πόλις εστί Λέσβου Μυτιλήνη μεγάλη και καλή διείληπται γαρ ευρίποις υπεισρεούσης της θαλάττης και κεκόσμηται γεφύραις ξεστού και λευκού λίθου. Νομίσεις ου πόλιν οράν, αλλά νήσον.» (Η Μυτιλήνη είναι μεγάλη και όμορφη πόλη της Λέσβου, γιατί περιβάλλεται με ευρίπους όπου εισρέει η θάλασσα και είναι στολισμένη με γέφυρες από πελεκητή άσπρη πέτρα. Θα νόμιζες πως δεν βλέπεις πόλη, αλλά νησί.)
Λέγει ο συγγραφέας του ερωτικού αρχαίου μυθιστορήματος "Δάφνης και Χλόη" Λόγγος (3ος μ.Χ. αιώνας). Στο νησάκι αυτό είχαν γίνει και τα πρώτα οχυρωματικά έργα, που ελάχιστα ίχνη άφησαν μέσα στο σημερινό Κάστρο. Όταν άλλαξε η τακτική του πολέμου και η άμυνα των πόλεων στηρίχτηκε κατ' εξοχήν στα Κάστρα, υψώθηκε και το πρώτο συστηματικό Κάστρο της Μυτιλήνης, ίσως στα χρόνια του Αυτοκράτορα του Βυζαντίου Ιουστινιανού (6ος μ.Χ. αιώνας).Στους αιώνες που ακολούθησαν, το Κάστρο ήταν η καρδιά της πόλης. Όσο άντεχε στις επιδρομές και πολιορκίες, η πόλη ζούσε. Οι εχθροί μπορούσαν να καταλάβουν τις γύρω απ' αυτό περιοχές και τις κατοικίες, που είχαν απλωθεί πια και στην απέναντι ακτή καθώς μάλιστα ο εύριπος προσχωνόταν και έκλεινε. Αν το Κάστρο έστεκε "άπαρτο" η πόλη δεν κυριευόταν.
Αυτό βέβαια ίσχυε για όλες τις πόλεις με Κάστρο, ιδιαίτερα όμως ίσχυε για το Κάστρο της Μυτιλήνης, που έτσι μεγάλο που ήταν μπορούσε να εφοδιαστεί πολύ καλά και άφθονα, ώστε να διαθρέψει για πολύν καιρό όλους τους κατοίκους της. Οι υπόγειοι θάλαμοι και στοές, οι αποθήκες, τα πηγάδια κι η υδατοδεξαμενή, τα γερά κι αλλεπάλληλα τείχη, οι πύργοι κι οι επάλξεις πρόσφεραν ασφάλεια και διαβίωση σ' ένα μεγάλο πλήθος ανθρώπων. Το Κάστρο συνδεόταν τόσο με τη ζωή της Μυτιλήνης και μεγαλόπρεπο εδέσποζε σ' αυτή, ώστε ολόκληρη η πόλη ονομαζόταν μέχρι τις αρχές του αιώνα μας "Κάστρο" κι οι κάτοικοί της "Καστρινοί".
Το Κάστρο είχε κάτω απ' τα τείχη του και μέχρι τις ακρογιαλιές γύρω του αναπεπταμένο πεδίο, ώστε να ελέγχεται κάθε κίνηση και να γίνεται έγκαιρα αντιληπτός κάθε εχθρός που θα επιχειρούσε αιφνιδιασμό. Τα "Τσαμάκια" (το πευκόδασος), που τόσο όμορφα σήμερα το ντύνει στα νότιά του, δεν υπήρχαν φυσικά. Φυτεύθηκαν το 1916 απ' τον στρατό της Εθνικής Άμυνας του Βενιζέλου, όταν τα Κάστρα έχασαν την παλιά τους στρατηγική αξία.
18 χρόνια μετά, το 1789 ο περιηγητής Friesman λέγει ότι τα 8 κανόνια που υπήρχαν στο Καστρέλι "από την αδιαφορία των Τούρκων μένουν ακόμα χαλασμένα", ενώ για το κυρίως Κάστρο διαπιστώνει ότι έχει λεπτά και χαλασμένα τείχη.
Το 1797 άλλος περιηγητής, ο Dallaway γράφει ότι το Κάστρο είναι μεγάλο με