Το κάστρο Μυλοποτάμου μαρτυρείται ήδη από τις αρχές του 13ου αιώνα αλλά δεν είναι ξεκαθαρισμένο σε ποια εποχή χρονολογείται. Κάποια ενετικά χρονικά τοποθετούν την ανέγερση του κάστρου στα χρόνια της γενουάτικης κυριαρχίας (1206-1211). Το φρούριο αποτέλεσε από νωρίς έδρα στρατιωτικού διοικητή (καστελάνου) και ισχυρής φρουράς. Το 1647 το κατέλαβαν οι Τούρκοι. Οι Ενετοί με το στρατηγό Gildasi προσπάθησαν μάταια να το ανακαταλάβουν. Το 1583 το κατέστρεψε ο Μπαρμπαρόσα. Σήμερα σώζονται μονάχα ίχνη της ισχυρής αυτής οχύρωσης. Ήταν κτισμένο πάνω στην ακτή, στο μέσο του σημερινού οικισμού του Πανόρμου. Ήταν ένα τυπικό μεσαιωνικό οχυρό με ορθογώνιους πύργους και ευθύγραμμα μεταπύργια τμήματα, με μικρό αριθμό κτισμάτων /κατοικιών στο εσωτερικό του. Σώζεται σε ερειπιώδη κατάσταση.