Woodyju ovo nije prvi brak, s 20 godina se vjenčao s Harlene Rosen, studenticom filozofije, a njihov brak trajao šest godina. Kasnije je oženio glumicu Louise Lasser te s njom snimio nekoliko filmova, a rastali su se nakon tri godine. S glumicom Diane Keaton ljubavnu vezu je počeo 1970. godine, ali par se nikada ije vjenčao. Deset godina kasnije je završio u vezi Mijom Farrow s kojom je posvojio dvoje djece, a dobili su i zajedničkog sina.
Rastali su se nakon 12 godina, 1992. godine kada je Mia pronašla fotografije na kojim je bila gola Mijina posvojena kći, tada 22-godišnja Soon-Yi Previn te ga je čak optužila za zlostavljanje djece, ali slučaj nikad nije završio na sudu, a Soon-Yi je negirala da je Woody ikad bio njen očuh. Pet godina kasnije se par vjenčao, a danas imaju posvojenu kći Manzie. Woody je od supruge stariji 34 godine.