Ο Αϊνστάιν γνώρισε τη Σέρβα Μιλέβα Μάριτς το 1896 στο Πολυτεχνείο της Ζυρίχης, όταν εκείνη σπούδαζε Φυσική και Μαθηματικά. Ήταν μάλιστα η δεύτερη γυναίκα που ολοκλήρωσε το συγκεκριμένο πρόγραμμα σπουδών της Eidgenossische Technische Hoschule. Με την πάροδο του χρόνου η φιλία τους αναπτύχθηκε λόγω των κοινών εργασιακών τους ενδιαφερόντων και τελικά κατέληξε σε γάμο τον Ιανουάριο του 1903.
Ο Αϊνστάιν απέκτησε δύο γιους από το γάμο του με τη Μιλέβα, τον Χανς και τον Έντουαρντ, αλλά βάσει επιστολών που είχαν ανταλλάξει προκύπτει ότι είχαν αποκτήσει κι ένα εξώγαμο κορίτσι, ένα χρόνο πριν διαβούν το κατώφλι της εκκλησίας, που δόθηκε για υιοθεσία.
Όπως γράφει το iefimerida.gr μετά από 11 χρόνια γάμου το ζευγάρι συνειδητοποίησε ότι δεν είχαν πλέον σημεία επαφής. Τότε ο Αϊνστάιν και η γυναίκα του συμφώνησαν να αντιμετωπίσουν το πρόβλημα στη βάση της λογικής. Ήθελαν να αποφύγουν ένα δυσάρεστο διαζύγιο για χάρη των παιδιών τους κι αποφάσισαν να συνεχίσουν τη συμβίωση αλλά βάσει όρων που συνέταξε ο Αϊνστάιν, όπως γράφει ο γνωστός για τις βιογραφίες του Χένρι Κίσινγκερ, του Βενιαμίν Φρανκλίνου και του Στιβ Τζομπς δημοσιογράφος Γουόλτερ Άιζακσον στο βιβλίο του «Αϊνστάιν: Η Ζωή και το Σύμπαν του».
Όροι που δείχνουν ότι ο Αϊνστάιν αντιμετώπιζε τη γυναίκα του ως μαθηματική εξίσωση και την υποβίβαζαν από σύζυγο σε οικιακή βοηθό.
Οι επαχθείς όροι του Αϊνστάιν στη γυναίκα του
Θα φροντίζεις ώστε τα ρούχα μου να είναι τακτοποιημένα
Θα μου φέρνεις κανονικά τα τρία γεύματά μου στο δωμάτιό μου
Θα διατηρείς καθαρά και τακτοποιημένα το υπνοδωμάτιο και το γραφείο μου και θα φροντίζεις να μην κάθεται κανείς σε αυτό.
Θα αποφεύγεις κάθε είδους προσωπική σχέση μαζί μου, εκτός από τις απολύτως αναγκαίες για κοινωνικούς λόγους.
Δεν θα κάθομαι στο σπίτι μαζί σου.
Δεν θα βγαίνουμε έξω μαζί ούτε θα κάνουμε ταξίδια.
Δεν θα περιμένεις καμιά οικειότητα από μένα, ούτε θα με κατακρίνεις καθ’ οιονδήποτε τρόπο.
Θα σταματάς να μου απευθύνεις το λόγο, όταν στο ζητώ.
Θα φεύγεις από την κρεβατοκάμαρα ή το γραφείο μου αμέσως και αδιαμαρτύρητα όταν στο ζητώ.
Δεν θα με υποτιμάς μπροστά στα παιδιά μας είτε με τα λόγια σου είτε με τη συμπεριφορά σου.
Ο κατάλογος των όρων είναι πολύ σκληρός, ειδικά όταν τους θέτει ένας άνδρας στη γυναίκα του. Αλλά η Μιλέβα υπέγραψε τη λίστα. Μόνον που η λογική δεν μπορεί να υπαγορεύσει τέτοια ισχυρά αισθήματα όπως η αγάπη ή η απουσία της. Κι έτσι, λίγους μήνες αργότερα η Μιλέβα άλλαξε γνώμη. Πήρε τους δυο γιους της, παράτησε τον Αϊνστάιν στο Βερολίνο και επέστρεψε στη Ζυρίχη. Πέντε χρόνια αργότερα, το 1919, κι ενώ δεν είχαν στο μεταξύ ιδωθεί ούτε μία φορά, ο Αϊνστάιν κι η Μαλέβα πήραν επίσημα διαζύγιο. Το διαζύγιο του Αϊνστάιν από τη Μιλέβα και ο γάμος με την εξαδέλφη του Έλσα
Ο γάμος του Αϊνστάιν με την εξαδέλφη του Έλσα
Ο Αϊνστάιν αντιμετώπιζε λόγω του χαρακτήρα του αρκετές δυσκολίες με τις προσωπικές του σχέσεις. Αν και είχε ερωτευτεί ήδη από το 1912 -εποχή που ήταν παντρεμένος με τη Μιλέβα- την -επίσης παντρεμένη τότε- εξαδέλφη του Έλσα Ρόζενταλ και τελικά την παντρεύτηκε το 1919, αφού πήρε το διαζύγιο από την πρώτη του γυναίκα, και αυτός ο γάμος αντιμετώπισε πολλά προβλήματα, αφού τέσσερα χρόνια αργότερα την απάτησε με την γραμματέα του και ανιψιά ενός καλού του φίλου, ονόματι Μπέτι Νιούμαν.
Η Έλσα πέθανε το 1936, λίγο μετά τη μετακόμιση του ζευγαριού στις ΗΠΑ. Λίγο διάστημα μετά το θάνατό της ο Αϊνστάιν έγραφε: «Συνήθισα πολύ καλά στη ζωή εδώ. Ζω σαν αρκούδα στη φωλιά μου -αίσθηση που επέτεινε ο θάνατος της γυναίκας και συντρόφου μου, που ήταν καλύτερη από μένα στις σχέσεις με άλλους ανθρώπους».