彼の極端な意見 :人種に関するブラウンの見解も物議を醸しました。彼は、米国で人種平等を確立する唯一の方法は暴力革命を通じてであると信じていました。彼はまた、ネイティブアメリカンの権利の強力な擁護者でもあり、彼らに土地を返還すべきだと信じていました。
奴隷制度廃止論者グループとのつながり :ブラウンはさまざまな奴隷制度廃止論者団体との関係があったため、批判の対象となった。奴隷制度廃止論者グループは、その取り組みが破壊的で危険であると考え、米国の多くの人々から強く反対されました。ブラウンとこれらのグループとのつながりにより、ブラウンはさらに物議を醸す人物となった。
南北戦争に対する彼の影響 :ハーパーズフェリーでのブラウンの襲撃は、多くの歴史家によって南北戦争のきっかけになったと考えられています。この襲撃は南北間の緊張を高め、両国を戦争に近づける一因となった。そのためブラウンは南北戦争の勃発に関与したとして物議を醸す人物とみなされている。