Σε υψόμετρο περίπου 100 μέτρων, πάνω από το Καψάλι και τον γραφικό όρμο του, βρίσκεται το σπήλαιο και το εκκλησάκι του Αγίου Ιωάννη στον Γκρεμό. Η παράδοση λέει πως στο σπήλαιο αυτό, όπου κατέφυγε, διωκόμενος από τη Ρώμη, ο Ιωάννης ο Θεολόγος, εμπνεύστηκε την Αποκάλυψη, πριν ταξιδέψει στην Πάτμο.
Η όψη της εκκλησίας είναι λιτή και ταυτόχρονα μεγαλειώδης, έτσι όπως μοιάζει να κρέμεται πάνω στον βράχο, μέσα σε σπηλιά. Για να φτάσει ο επισκέπτης στην είσοδο του ναού ανεβαίνει τα πέτρινα σκαλοπάτια με το Καψάλι στα πόδια του. Εκτιμάται πως ο αρχικός ξενώνας χτίστηκε πριν από περίπου 500 χρόνια.
Επιδρομές και εγκατάλειψη παρέδωσαν το μνημείο στην ερήμωση και τη φθορά, ωστόσο το 1725 το προσκύνημα ανακαινίστηκε από τον μοναχό Ιωαννίκιο, το όνομα του οποίου αναφέρεται σε εντοιχισμένη μαρμάρινη πλάκα στην είσοδο. Τον 17ο αιώνα πιστεύεται πως στο σημείο υπήρχαν δύο ναοί, του Ιωάννου του Θεολόγου μέσα στο σπηλαίο και του Πρόδρομου παρακάτω στον γκρεμό.
Εκτός από την επίσκεψη στην ίδια την εκκλησία, που προκαλεί δέος με την ιστορία της, ο επισκέπτης θα αποζημιωθεί και από την καταπληκτική θέα από το σημείο αυτό.
