Ο ποταμός Κόσυνθος τη χωρίζει σε δύο μέρη. Στα δυτικά είναι η Παλιά και η Νέα Πόλη, στα ανατολικά ο συνοικισμός Σαμακώβ με το άφθονο πράσινο.
Αρχοντιά και παραδοσιακή ατμόσφαιρα είναι δύο στοιχεία που γίνονται αμέσως εμφανή στην Ξάνθη, και γοητεύουν τον επισκέπτη που φτάνει ως εδώ για να τη γνωρίσει. Η ιδιαίτερη αρχιτεκτονική των σπιτιών της, με διάφορες τεχνοτροπίες να αναμειγνύουν τα χαρακτηριστικά τους, προσθέτουν μια πινελιά άλλης εποχής. Χτισμένη αμφιθεατρικά στους πρόποδες της Ροδόπης, χαρακτηρίζεται «στολίδι της Θράκης» και όχι άδικα.
Η Παλιά Πόλη θεωρείται ένα ζωντανό υπαίθριο μουσείο, μεταφέροντας τον ταξιδιώτη από το σήμερα στο χθες κι από το χθες στο τώρα. «Γεννήθηκα στις 23 του Οκτώβρη στην Ξάνθη, στην παραμυθένια Παλιά Πόλη, τη διατηρητέα» έγραφε ο Μάνος Χατζιδάκις για τη γενέτειρά του. Το σπίτι του είναι χαρακτηρισμένο ως έργο τέχνης και ως ιστορικό διατηρητέο μνημείο. Στη Νέα Πόλη κυριαρχεί η πλατεία με το Ρολόι και οι εμβληματικές καπναποθήκες, που αντανακλούν μια ολόκληρη εποχή.
Η Ξάνθη άνθησε κυρίως τον 19ο αιώνα λόγω της παραγωγής και επεξεργασίας καπνού. Μια εικόνα της πολιτιστικής και ιστορικής της παράδοσης δίνει το Λαογραφικό Μουσείο, ενώ αξίζει μια επίσκεψη και στο Μουσείο Φυσικής Ιστορίας και τον αρχαιολογικό χώρο των Αβδήρων.
Εκτός από το πλούσιο παρελθόν της, η πόλη διατηρεί τη δυναμική της και στο παρόν, με πολλές πολιτιστικές εκδηλώσεις όλο τον χρόνο, της περίφημες Γιορτές Παλιάς Πόλης και το φημισμένο Καρναβάλι της.