Jimmy Dean első felesége Mary Sue Wittauer, második felesége Donna Meade volt. Első házassága 40 év után válással ért véget, a második pedig 19 évig tartott, egészen 81 éves korában bekövetkezett haláláig, pár hónappal a 82. születésnapja előtt.
Deannek és Wittauernek három közös gyermeke volt, de egyik sem született második feleségétől, Donnától. Kevesebb mint egy évvel a Wittauertől való válása után Dean feleségül vette Meade-et, aki énekes és dalszerző is volt. Ők ketten Varina Virginiában éltek egy 200 hektáros birtokon, amelyet egy tűzben leégett újjáépítettek.
