pięciokrotnie żonaty: 1. Ethel Du Pont (30.06.1937 - 02.05.1949, rozwód), 2 dzieci; 2. Suzanne Perrin (31.08.1949 - 1970, rozwód), 2 dzieci; 3. Felicia Schiff Warburg Sarnoff (01.07.1970 - 1976, rozwód); 4. Patricia Luisa Oakes (06.05.1977 - 1981, rozwód), 1 dziecko; 5. Linda McKay Stevenson Weicker (od 03.03.1984)