Επί ενετοκρατίας στο Μυλοπόταμο διαμορφώθηκε μια κατάσταση διαφορετική από την υπόλοιπη Κρήτη, λόγω της δράσης της ισχυρής αριστοκρατικής οικογένειας των Καλλεργών. Ο Αλέξιος Καλλέργης οργάνωσε επανάσταση εναντίον της Βενετίας και το 1299 υπέγραψε συνθήκη με τους Ενετούς, με την οποία άνοιγε το δρόμο για την κρητική ευγένεια, δηλαδή για την εκχώρηση τίτλων ευγενείας από την Βενετία σε Κρητικούς κι όχι μονάχα σε Ενετούς αριστοκράτες. Ταυτόχρονα πέτυχε την ίδρυση ορθόδοξης επισκοπής στο Μυλοπόταμο. Η έδρα της οικογένειας Καλλέργη βρισκόταν στο φρούριο στο «Απάνω Καστρί». Πάνω από το Καστρί, σε βραχώδη οχυρή θέση σώζονται τα αρχιτεκτονικά λείψανα του μεσαιωνικού φρουρίου, το «Απάνω Καστρί» ή «Απάνω Καστέλι». Το φρούριο, όπως αναφέρει ο Lorenzo De Monacis στο χρονικό του, το ίδρυσε η οικογένεια Καλλέργη. Αυτόν τον χώρο επέλεξε ο Αλέξιος Καλλέργης, τον 13ο αιώνα, ως τόπο κατοικίας και ορμητήριο αγώνων κατά των Ενετών και Ελλήνων ανταγωνιστών. Σε αυτό το φρούριο οφείλεται το όνομα του οικισμού.
