フランシス・スコット・キーは自分の奴隷を作りました。キーの義父、ジョン・ロス・キーは1800年に4人の奴隷を所有しており、キーは遺言書に6人の奴隷を記載していた。キーはメリーランド州にもプランテーションを所有しており、そこで奴隷労働を行っていたと考えられる。 キーの奴隷所有は愛国的なアメリカの英雄としてのイメージと相容れないとして議論の対象となっている。キーが奴隷制とのつながりを理由に名誉を授けられるべきではないと主張する人もいるが、彼の国への貢献が彼の人生のこの側面によって影を落とすべきではないと考える人もいる。