歴史的に、南軍旗は、特に 1950 年代と 1960 年代の公民権運動において、アフリカ系アメリカ人を威嚇し、恐怖を与えるために使用されてきました。白人至上主義団体やクー・クラックス・クラン(KKK)が主催する集会や抗議活動で使用されてきた。これらの団体は南軍旗を人種差別と抑圧の強力な象徴にしており、その存在はいかなる状況においてもアフリカ系アメリカ人とその安全に対する脅威であるとみなされることが多い。
こうした理由から、多くのアフリカ系アメリカ人は、南軍旗を掲げることは失礼で、不和を招き、有害であると信じている。彼らはそれを平等と人種的正義を求める継続的な闘争の象徴と見なしており、その存在は彼らが直面し続けている人種差別と差別を思い出させるものとして機能します。アフリカ系アメリカ人の中には、より包括的で歓迎的な社会を築くために、政府の建物や公園などの公共の場から南軍旗を撤去することを主張する人もいる。