
Σημαντική όμως ανακαίνιση δέχτηκε από τον Φραγκίσκο Γατελούζο στα χρόνια της ηγεμονίας του στο νησί. Αυτή την περίοδο πιστεύεται ότι ήταν ένα από τα πιο απόρθητα και ισχυρά κάστρα. Μέσα σ’ αυτό βρισκόταν και τo παλάτι του , που ονομάζεται “Πύργος της Βασίλισσας”. Στο χώρο του κάστρου σώζεται επίσης μια ρωμαϊκή ή βυζαντινή δεξαμενή φτιαγμένη από αδιάβροχο υλικό. Στις πύλες και σε διάφορα άλλα σημεία του κάστρου υπάρχουν οικόσημα των Παλαιολόγων και των Γατελούζων. Κάτω από τo κάστρο υπάρχουν στοές μεγάλου μήκους , στις οποίες συγκεντρώνονταν τα γυναικόπαιδα σε εμπόλεμη περίοδο. Ο θρύλος θέλει τις στοές να έχουν έξοδο και μάλιστα σε μεγάλη απόσταση από τo κάστρο. Τα τείχη του διατηρούνται σε καλή κατάσταση και είναι δείγματα άριστης οχυρωματικής αρχιτεκτονικής.

«Πόλις εστί Λέσβου Μυτιλήνη μεγάλη και καλή διείληπται γαρ ευρίποις υπεισρεούσης της θαλάττης και κεκόσμηται γεφύραις ξεστού και λευκού λίθου. Νομίσεις ου πόλιν οράν, αλλά νήσον.» (Η Μυτιλήνη είναι μεγάλη και όμορφη πόλη της Λέσβου, γιατί περιβάλλεται με ευρίπους όπου εισρέει η θάλασσα και είναι στολισμένη με γέφυρες από πελεκητή άσπρη πέτρα. Θα νόμιζες πως δεν βλέπεις πόλη, αλλά νησί.)
Λέγει ο συγγραφέας του ερωτικού αρχαίου μυθιστορήματος "Δάφνης και Χλόη" Λόγγος (3ος μ.Χ. αιώνας). Στο νησάκι αυτό είχαν γίνει και τα πρώτα οχυρωματικά έργα, που ελάχιστα ίχνη άφησαν μέσα στο σημερινό Κάστρο. Όταν άλλαξε η τακτική του πολέμου και η άμυνα των πόλεων στηρίχτηκε κατ' εξοχήν στα Κάστρα, υψώθηκε και το πρώτο συστηματικό Κάστρο της Μυτιλήνης, ίσως στα χρόνια του Αυτοκράτορα του Βυζαντίου Ιουστινιανού (6ος μ.Χ. αιώνας).Στους αιώνες που ακολούθησαν, το Κάστρο ήταν η καρδιά της πόλης. Όσο άντεχε στις επιδρομές και πολιορκίες, η πόλη ζούσε. Οι εχθροί μπορούσαν να καταλάβουν τις γύρω απ' αυτό περιοχές και τις κατοικίες, που είχαν απλωθεί πια και στην απέναντι ακτή καθώς μάλιστα ο εύριπος προσχωνόταν και έκλεινε. Αν το Κάστρο έστεκε "άπαρτο" η πόλη δεν κυριευόταν.
Αυτό βέβαια ίσχυε για όλες τις πόλεις με Κάστρο, ιδιαίτερα όμως ίσχυε για το Κάστρο της Μυτιλήνης, που έτσι μεγάλο που ήταν μπορούσε να εφοδιαστεί πολύ καλά και άφθονα, ώστε να διαθρέψει για πολύν καιρό όλους τους κατοίκους της. Οι υπόγειοι θάλαμοι και στοές, οι αποθήκες, τα πηγάδια κι η υδατοδεξαμενή, τα γερά κι αλλεπάλληλα τείχη, οι πύργοι κι οι επάλξεις πρόσφεραν ασφάλεια και διαβίωση σ' ένα μεγάλο πλήθος ανθρώπων. Το Κάστρο συνδεόταν τόσο με τη ζωή της Μυτιλήνης και μεγαλόπρεπο εδέσποζε σ' αυτή, ώστε ολόκληρη η πόλη ονομαζόταν μέχρι τις αρχές του αιώνα μας "Κάστρο" κι οι κάτοικοί της "Καστρινοί".
Το Κάστρο είχε κάτω απ' τα τείχη του και μέχρι τις ακρογιαλιές γύρω του αναπεπταμένο πεδίο, ώστε να ελέγχεται κάθε κίνηση και να γίνεται έγκαιρα αντιληπτός κάθε εχθρός που θα επιχειρούσε αιφνιδιασμό. Τα "Τσαμάκια" (το πευκόδασος), που τόσο όμορφα σήμερα το ντύνει στα νότιά του, δεν υπήρχαν φυσικά. Φυτεύθηκαν το 1916 απ' τον στρατό της Εθνικής Άμυνας του Βενιζέλου, όταν τα Κάστρα έχασαν την παλιά τους στρατηγική αξία.
18 χρόνια μετά, το 1789 ο περιηγητής Friesman λέγει ότι τα 8 κανόνια που υπήρχαν στο Καστρέλι "από την αδιαφορία των Τούρκων μένουν ακόμα χαλασμένα", ενώ για το κυρίως Κάστρο διαπιστώνει ότι έχει λεπτά και χαλασμένα τείχη.
Το 1797 άλλος περιηγητής, ο Dallaway γράφει ότι το Κάστρο είναι μεγάλο με