ローマ帝国はいくつかの属州に分割され、各属州は皇帝が任命した総督によって統治されました。ユダヤは当初総督によって統治されていましたが、後に検察官の統治下に置かれるようになりました。ローマの行政は秩序の維持と徴税の責任を負っていましたが、属州には独自の法律と地方裁判所があり、ある程度の自治権もありました。
ローマ時代はパレスチナにとって大きな変化の時代でした。ユダヤ人はローマ支配を支持する者とそれに反対する者に分かれていた。ローマの支配に対するユダヤ人の反乱がいくつかあり、最も有名なのは西暦66年から73年にかけての大反乱で、その結果エルサレムの第二神殿が破壊されました。
これらの課題にもかかわらず、ローマ時代にはユダヤ人の文化と宗教も繁栄しました。ユダヤ教の法と伝統の中心的な文書であるタルムードはこの時期に編纂されました。キリスト教もローマ時代に誕生し、ナザレのイエスがパレスチナで生まれ十字架につけられました。
ローマ帝国はやがて東ローマ帝国（ビザンチン帝国）と西ローマ帝国に分裂しました。パレスチナは、7世紀にアラブのラシドゥン・カリフによって征服されるまで、ビザンチン帝国の支配下にありました。