カーロフはロンドンのキャンバーウェルで、イギリス系インド人の外交官である父親とフランスとドイツの混血の母親の間に生まれました。彼は 1910 年代初頭にイギリスで俳優としてのキャリアをスタートし、舞台作品やサイレント映画に出演しました。 1919 年に彼はハリウッドに移りましたが、最初は成功を見つけるのに苦労しました。
彼は、『オールド・ダーク・ハウス』（1932年）、『フー・マンチューのマスク』（1932年）、『ブラック・ルーム』（1935年）、『フランケンシュタインの花嫁』（1935年）など、1930年代のユニバーサル・スタジオのホラー映画の多くに出演した。 1939年、彼はフランケンシュタインシリーズの3作目である『フランケンシュタインの息子』でフランケンシュタイン博士の役を演じた。
1940 年代、カーロフはホラー映画に出演し続けましたが、コメディ、西部劇、ドラマなど、他のジャンルにも手を広げ始めました。彼は『フランケンシュタインの家』（1944年）、『アボットとコステロとフランケンシュタインの出会い』（1948年）、『スネーク・ピット』（1948年）などの映画に出演しました。
1950年代、カーロフのキャリアは衰え始めたが、1969年に亡くなるまで映画やテレビ番組に出演し続けた。
カーロフは2度結婚しており、最初は1915年から1920年までグレース・ラドクリフと、次に1924年から亡くなるまでドロシー・スタインと結婚した。ラドクリフとの間にはサラという娘が一人いた。
カーロフは背が高く、身長は6フィート4インチ（1.93メートル）でした。彼は深く響く声を持っており、それがホラー俳優としての成功に貢献しました。
彼は同僚からもファンからも尊敬される尊敬される俳優でした。彼は史上最も偉大なホラー映画俳優の一人とみなされています。
1999 年、カーロフはアメリカ映画協会の 50 人の最も偉大なアメリカ映画界の伝説のリストで 20 位にランクされました。