罗马帝国和拜占庭帝国的统治之下。4世纪，罗马帝国皇帝君士坦丁一世控制该市期间，耶路撒冷变成了一个基督教中心，建造了圣墓教堂。当时，虽然仍然禁止犹太人居住耶路撒冷，但他们已经开始在每年的埃波月九日来到西墙前哭泣。在罗马帝国分裂后的拜占庭帝国统治下，这座城市在基督教势力中得到了很好的保护。当时在宗教方面相对宽容，从5世纪开始，犹太人重新被允许住在耶路撒冷。
638年，阿拉伯帝国的第一个征服目标就是耶路撒冷。虽然《古兰经》中从未提到过耶路撒冷，但***传统认为，先知穆罕默德是在耶路撒冷升天接受《古兰经》的。于是，在691年，阿拉伯哈里发阿布杜勒马里克在登霄石，即圣殿山圣殿的原址上建造了圆顶清真寺（萨赫拉清真寺）。传说在这个地方亚伯拉罕准备以他的儿子作奉献祭，犹太人认为他奉献的是小儿子以撒(isaak，又译易司哈格)，***认为他奉献的是大儿子伊希梅尔(isimael，又译以实玛利或依市玛耳)。三个世纪后他们又在这里建造了阿克萨清真寺。在***统治初期，在宗教上比较宽容，住在耶路撒冷的基督徒和犹太人在缴纳人头税后，可以获得自治权。但11世纪初，埃及的哈里发下令摧毁耶路撒冷所有的基督教堂和犹太会堂。
1099年，第一次十字军包围了耶路撒冷，一个多月后的7月15日，耶路撒冷被十字军攻占。十字军进城后，屠杀了城内大多数***和犹太人。
此后到1291年，十字军建立了耶路撒冷王国，***不准入城。1173年，一个来到耶路撒冷的人写说，耶路撒冷是一座小城市，充满了东正教教徒、亚美尼亚人、希腊人和格鲁吉亚人，只有200名犹太人住在城市的一角。1187年，埃及***君主萨拉丁又重新占领了耶路撒冷。1219年，大马士革的苏丹下令将城墙销毁，1228年-1229年，神圣罗马帝国皇帝腓特烈二世组织了第六次十字军东征，通过与埃及签定条约，得到耶路撒冷。1239年，他开始重建城墙，但不久它们又被拆毁。1243年，基督徒再次占领耶路撒冷，又重建城墙。1244年，被蒙古亡国的花剌子模在逃亡途中占领耶路撒冷，教皇英诺森四世发动第七次十字军，但无法夺回耶路撒冷。1247年，花剌子模被埃及人驱逐，1260年，埃及奴隶骑兵马木鲁克夺取该城，耶路撒冷的犹太人不得不逃到周围的村庄避难。1482年，一个来此访问的多明我会教士说耶路撒冷是一个“几个不同的民族生活在此的城市，它是所有罪恶的集合”。作为罪恶他列举了撒拉逊人、希腊人、叙利亚人、东正教徒、景教徒、亚美尼亚人、格鲁吉亚人、玛洛尼教徒、贝督因人、刺客、回教徒和“最可憎的”犹太人。只有罗马天主教徒“在他们心中盼望基督王子的到来，来将所有的国家纳入罗马教会的统治下。”
1517年，奥斯曼帝国占领耶路撒冷，他们控制该市，直到20世纪。这时，耶路撒冷重新开始繁荣，城墙和老城也被重建，城内任何宗教都可以存在，但奥斯曼帝国后来的无能统治机构使耶路撒冷的经济陷入了缓慢的衰退。自从前10世纪，所罗门圣殿在耶路撒冷建成，耶路撒冷一直是犹太教信仰的中心和最神圣的城市。耶路撒冷对于犹太教的象征价值始终未变。被毁前的耶路撒冷圣殿内的至圣所藏有约柜，是犹太教最神圣的所在，只有大祭司一人才有资格一年一次进入至圣所。而以色列全体男丁必须一年三次来到耶路撒冷，过宗教节日。今天，全世界的犹太会堂祈祷时仍要面朝耶路撒冷，建筑如果可能也设计成朝向耶路撒冷，朝向至圣所所在的地方。今天，西墙，作为第二圣殿的残迹，是犹太教除圣殿山以外最神圣的地点。
基督教尊敬耶路撒冷，不仅是因为它在旧约中扮演的角色，也是因为它在耶稣一生中的意义。根据圣经记载，耶稣在出生后不久就被带到耶路撒冷，后来他又洁净第二圣殿。耶稣最后晚餐的地址位于锡安山，紧靠大卫墓。耶路撒冷另一个重要的基督教遗迹是各各他，就是耶稣被钉十字架的地方。约翰福音只是说这地方位于耶路撒冷城外，但最近的考古证据显示各各他位于距离耶路撒冷旧城城墙不远处，就在今天城市范围之内。该地被圣墓教堂占用，过去2000年间，各各他一直是基督教的一个首选的朝圣地点，老城街头也常有朝圣者重走耶稣上十字架前所走的“苦路”（14站）。
耶路撒冷通常也被认为是***教的第三圣地。在麦加之前，耶路撒冷就是***祷告的方向。在620年穆罕默德的夜行登霄（***相信穆罕默德在一个夜里奇迹般的从麦加来到耶路撒冷圣殿山，升到天堂，会见早先的先知们）之后，耶路撒冷长期被***控制。《古兰经》17章1节记载穆罕默德夜行前往耶路撒冷的事迹今日耶路撒冷圣殿山上2座清真寺都为纪念这一事件在古兰经中提到的是阿克萨清真寺，而***相信穆罕默德夜行登霄的登霄石就在圆顶清真寺。
耶路撒冷城位于巴基斯坦中部的犹地亚山，东近死海，西临地中海沿岸平原，面积109平方