- Serviu 4 anos como fuzileiro naval, antes de se tornar ator.
- Foi casado 5 vezes, sempre com atrizes: Carolyn Hughes (1951-54), Patricia Reed (1954-60), Coleen Dawhurst (1960-65 e 1967-72) e Trish Van Devere (1972).
- Pai do também ator Campbell Scott.
- Recusou a indicação ao Oscar recebida por "Patton", por não se sentir competindo com os demais atores. Pelo mesmo motivo não aceitou a estatueta ganha por este papel.