Πέρασε το μεγαλύτερο μέρος της ζωής του στη σκιά του αδερφού του και το να βρίσκεται δεύτερος στη σειρά για τον θρόνο, σύμφωνα με τον Πρίγκηπα Κάρολο, δεν ήταν πότε αρκετό για εκείνον. Ο λόγος για τον Δούκα του Γιορκ, Πρίγκιπα Άντριου, αδερφό του Πρίγκιπα της Ουαλίας και τρίτο παιδί της Βασίλισσας Ελισάβετ, της 2ης.
Στο πλαίσιο ενός ντοκιμαντέρ στο Κανάλι 5 για την ζωή των παιδιών της βασίλισσας, νέες μαρτυρίες θέλουν τον πρίγκιπα της Ουαλίας, ετών 70, να πιστεύει, πως ο νεώτερος αδερφός του και δούκας του Γιόρκ, ετών 58, τον ανταγωνίζεται και ανέκαθεν τον ζήλευε, επιθυμώντας ενδόμυχα, να γίνει σαν αυτόν. Ή για να το θέσουμε με σαφήνεια: Να… είναι αυτός. Να είναι δηλαδή ο διάδοχος του Βρετανικού θρόνου.
Ερωτηθείς για την θέση του Άντριου στην βασιλική οικογένεια και τη σχέση του με τον Κάρολο, ο Ρίτσαρντ Κέι τον περιγράφει ως την εναλλακτική λύση, αποδίδοντάς του δευτερεύοντα ρόλο στα πράγματα.
Ανακαλεί μάλιστα ένα περιστατικό στο οποίο ο Κάρλος είπε ότι «το πρόβλημα με τον αδερφό μου είναι ότι θα ήθελε να είναι εγώ».
Ο ίδιος μάλιστα περιγράφει τον πρίγκιπα Ανδρέα να βρίσκεται σε μια περίεργη θέση, δηλώνοντας «Ο Ανδρέας ήταν η εναλλακτική, για ένα καλό μέρος της ζωής του ήταν αρκετά σημαντικός… Ήταν το νούμερο δύο, ο δεύτερος γιος της βασίλισσας και αν τίποτα συνέβαινε στον Κάρολο, θα αναλάμβανε εκείνος».
Σταδιακά όμως το κύρος του υποχώρησε, αφού οι πρίγκιπες Γουίλλιαμ, Χάρι, καθώς και τα παιδιά του Γούλλιαμ ήλθαν στο προσκήνιο αφήνοντας τον πια στην έβδομη θέση για την διαδοχή του θρόνου. Θέση που επί του πρακτέου, δεν είναι και τόσο άσχημη, αφού παρέχει αρκετά προνόμια και ελευθερίες, χωρίς τις αντίστοιχες υποχρεώσεις και ευθύνες, που επιβάλει το αυστηρό βασιλικό πρωτόκολλο.
Μιλώντας όμως και για τον μικρότερο γιο της βασίλισσας, τον πρίγκιπα Έντουαρντ, η βιογράφος του Ίνγκριντ Στιούαρτ, σχολιάζει πως, λόγω της ηλικιακής διαφοράς τους, που ξεπερνάει τα 15 έτη, εκείνος δεν είχε πολύ θερμές σχέσεις με τον Κάρολο.
Ανακαλεί μάλιστα ένα περιστατικό που συνέβη ένα καλοκαίρι. «Ο πρίγκιπας Έντουαρντ είχε ανέβει επάνω και βρήκε κάποια παλιά σκωτσέζικα κιλτ από τον Δούκα του Γουίντσορ, τα οποία είν φυσικά ταρτάν, που ο Πρίγκιπας της Ουαλίας δικαιούται να φοράει και θεωρούσε ότι θα ήταν αρκετά αστείο να το φορέσει.
Έτσι και έκανε, και μάλιστα ήταν στο νούμερό του. Πήγε λοιπόν στο δείπνο φορώντας το ταρτάν του Δούκα του Ρόθεσεϊ. Καθώς πλησίαζε όμως στην αίθουσα του δείπνου, ο Κάρολος τον είδε, έγινε έξαλλος και του είπε: «Τι δουλεία έχεις εσύ να το φοράς αυτό; Είμαι ο μόνος που δικαιούται να φορά αυτό το τάρταν. Είναι ένα κιλτ, για τον πρίγκηπα της Ουαλίας Πήγαινε πάνω και βγάλε το».