Παιδί – θαύμα στο πιάνο, ο Χέρμπερτ φον Κάραγιαν διεύθυνε την πρώτη του συναυλία σε ηλικία πέντε ετών. Πρωτοεμφανίσθηκε ως μαέστρος το 1927 στο Ουλμ και παρέμεινε στην ορχήστρα της γερμανικής αυτής πόλης έως το 1934.
Το 1935, όταν έγινε μέλος του Ναζιστικού Κόμματος, η καριέρα του άρχισε να παίρνει την ανιούσα. Άρχισε τις εμφανίσεις και εκτός γερμανικών συνόρων, στο Παρίσι, το Άμστερνταμ, τη Στοκχόλμη και το Βουκουρέστι. Το 1938 άρχισε τη συνεργασία του με τη Φιλαρμονική Ορχήστρα του Βερολίνου και υπέγραψε συμβόλαιο αποκλειστικής συνεργασίας με τη «Ντόιτσε Γκράμοφον». Αν και έλαβε διθυραμβικές κριτικές για τις ερμηνείες του σε έργα του Ριχάρδου Βάγκνερ, ο Χίτλερ δεν είχε την ίδια γνώμη και διέταξε να μην ξαναεμφανισθεί στο περίφημο Φεστιβάλ του Μπαϊρόιτ.
Μετά τη λήξη του Β’ Παγκοσμίου Πολέμου, ο Κάραγιαν έδωσε την πρώτη του συναυλία το 1946 στη Βιέννη με τη Φιλαρμονική της πόλης, αλλά σύντομα οι σοβιετικές αρχές κατοχής τού απαγόρευσαν να διευθύνει, λόγω του Ναζιστικού του παρελθόντος. Οι εις βάρος του ανακρίσεις δεν έδειξαν τίποτα το μεμπτό και ο Κάραγιαν αποδόθηκε λευκός στην κοινωνία.
Από το 1957 ανέλαβε και την καλλιτεχνική διεύθυνση της Κρατικής Όπερας της Βιέννης, παράλληλα με τις εμφανίσεις του με τη Φιλαρμονική Ορχήστρα της Βιέννης. Συνέχιζε να διευθύνει και να ηχογραφεί ακατάπαυστα μέχρι τον θάνατό του, σαν σήμερα στις 16 Ιουλίου 1989
