Οι Δωριείς του είχαν δώσει το όνομα Μεγίστη, οι Άραβες «Μαγιάς» και οι Οθωμανοί «Μεΐς». Το όνομα Καστελόριζο το πήρε τον 14ο αιώνα από τους Ιωαννίτες Ιππότες, οι οποίοι έχτισαν κάστρο πάνω στον επιβλητικό κοκκινωπό βράχο, κοντά στην είσοδο του λιμανιού του.
Στο μυαλό πολλών κυριαρχεί ως φόντο στο διάγγελμα του Γιώργου Παπανδρέου το 2010. Είναι όμως ένα πανέμορφο νησί, με μεγάλη ναυτική παράδοση, αρχοντιά και εξαιρετικά δείγματα δωδεκανησιακής αρχιτεκτονικής.
Η πρώτη εικόνα του θυμίζει έργο τέχνης, με τα ανακαινισμένα πανέμορφα πολύχρωμα αρχοντικά, αυθεντικά δείγματα της παραδοσιακής αρχιτεκτονικής του τόπου. Είναι στο προσκήνιο, με τον κόκκινο βράχο να αποτελεί το φόντο τους. Το μεσαιωνικό κάστρο στην κορυφή του, το Castello Rosso, χάρισε στο νησί το όνομά του.
Ο παραδοσιακός οικισμός έχει χαρακτηριστεί διατηρητέος και αναπτύσσεται γύρω από το φυσικό λιμάνι του νησιού. Αν βρεθείτε στο Καστελόριζο, μην παραλείψετε να ανηφορίσετε από το λιμάνι τα 401 σκαλιά προς τον Άγιο Γεώργιο του Βουνού, στην περιοχή του Παλαιόκαστρου.
