フランシーヌ・ヒューズ ジェームズ・アール・レイは1952年に最初の妻フランシーン・ヒューズと結婚し、ジョニー・レイとボビー・アール・レイという2人の息子をもうけました。夫婦は1960年に離婚した。 ルイーズ・ジョーンズ ジェームズ・アール・レイは1965年に2番目の妻ルイーズ・ジョーンズと結婚し、二人の間にはパトリシア・アン・レイという娘が1人いた。夫婦は1968年に離婚した。 アンナ サンドゥ ジェームズ・アール・レイは、夫婦ともにテネシー州刑務所に収監されていた1978年に3番目の妻アンナ・サンドゥと結婚した。彼らは1992年に離婚した。