Είναι χτισμένο σε ένα βραχώδες ακρωτήρι, στη βόρεια πλευρά του κόλπου της Κασσιώπης και πάνω από τον γραφικό οικισμό. Είναι το ομώνυμο Κάστρο, το παλαιότερο σε ολόκληρη την Κέρκυρα, αφού χρονολογείται από τον 1ο αιώνα μ.Χ.
Το Κάστρο της Κασσιώπης (ή Κασσιόπης) στο πέρασμα των αιώνων, καταστράφηκε και ανακατασκευάστηκε, ενώ σήμερα σώζονται κάποια τμήματα του: όπως τα τείχη, οι πύργοι, η αναπαλαιωμένη κεντρική του πύλη και άλλα, που αξίζει κανείς να δει από κοντά.
Το Κάστρο κατά τη Βυζαντινή περίοδο, αποτελούσε μέρος ενός αμυντικού τριγώνου που διασφάλιζε την άμυνα του νησιού, με το Κάστρο Γαρδικίου στα νότια του νησιού και το Αγγελόκαστρο στα βορειοδυτικά. Μάλιστα, λόγω της θέσης του ήταν θεωρείτο υψηλής στρατηγικής σημασίας.
Και το Κάστρο της Κασσιώπης δεν θα μπορούσε να μην είχε τον δικό του θρύλο, που το προσδίδει και τη σχετική μαγεία και μυστήριο. Σύμφωνα, λοιπόν, με τον θρύλο το κάστρο ερημώθηκε από έναν δράκο που έβγαζε φωτιά σκοτώνοντας τους περισσότερους κατοίκους και διώχνοντας τους υπόλοιπους.