Հայաստանում քրիստոնեության պետականորեն ընդունումից հետո հայերն սկսել են ուխտագնացություններ դեպի Երուսաղեմ: Այնտեղ մինչև 6-րդ դարը հայ նախարարական տների, եպիսկոպոսական աթոռների միջոցներով ուխտավորներին կացարաններով ապահովելու նպատակով կառուցվել է շուրջ 70 եկեղեցի, որոնցից շատերը հայտնի են եղել հենց այդ տոհմերի անուններով՝ Արծրունյաց, Մամիկոնյանց, Խոռխոռունյաց, Ամատունյաց և այլն: Վանքերի ու եկեղեցիների մեծ մասը, հատկապես Երուսաղեմի սահմաններից դուրս գտնվող, ավերվել է մուսուլմանական նվաճումների հետևանքով:
Մինչև 7-րդ դարի կեսերը Երուսաղեմի հայոց եկեղեցիները ենթարկվել են 381 թ. ստեղծված նույնանուն պատրիարքությանը: Սակայն երբ Երուսաղեմի պատրիարքությունը քաղկեդոնականություն ընդունեց, քաղաքի հայոց եկեղեցիները դուրս եկան պատրիարքության ենթակայությունից` հիմք դնելով առանձին պատրիարքության:
Հայոց Եկեղեցու նվիրապետական համակարգում Երուսաղեմի հայոց պատրիարքությունն ունի արքեպիսկոպոսության աստիճան:«Պատրիարք» կոչումը տրվել է տեղի քաղաքական իշխանությունների կողմից` Երուսաղեմի մյուս Եկեղեցիների առաջնորդների շարքում հայոց հովվապետի ինքնուրույնությունը հաստատելու նպատակով:
Երուսաղեմի հայոց առաջին պատրիարքը, որի անունը հայտնի է, Աբրահամն է: Ըստ արաբագիր պատմիչ Զեքի ալ-Դինի` Աբրահամը 626 թ. Մուհամմադ մարգարեից հաստատագիր է ստացել Երուսաղեմի հայկական եկեղեցիների վերաբերյալ: Քաղաքի սուրբ տեղաց նկատմամբ Հայոց պատրիարքության իրավունքները վերահաստատելու նպատակով այս հաստատագիրը ներկայացվել է 1187 թ. Երուսաղեմը նվաճած Եգիպտոսի Այյուբյան սուլթան Սալահ ալ-Դինին: Նա այս վավերագրի հիման վրա վերահաստատել է հայոց պատրիարքության իշխանությունը քաղաքի` հայապատկան եկեղեցիների վրա:
Մինչև 14-րդ դարի սկիզբը Երուսաղեմի հայոց պատրիարքությունը գտնվել է Կիլիկիայի հայկական թագավորության և Ամենայն հայոց կաթողիկոսության ազդեցության ներքո: Սակայն հակադարձելով Սսի 1307 թ. եկեղեցական ժողովի որոշումներն ընդունելու վերաբերյալ Կոստանդին Գ Կեսարացի (1307–1323) կաթողիկոսի պարտադրանքին` Երուսաղեմի Սարգիս պատրիարքը (1281–1313) Եգիպտոսի մամլուքյան սուլթանի հրովարտակով պատրիարքությունը դուրս է բերել Ամենայն հայոց կաթողիկոսության ենթակայությունից: Օսմանյան կայսրության իշխանության շրջանում ընդլայնվել է պատրիարքության թեմերի աշխարհագրությունը` հասնելով Սիրիա, Լիբանան, Կիպրոս։
1863 թ. Կ. Պոլսի Ազգային Սահմանադրությամբ Երուսաղեմի պատրիարքն ընտրվում էր Կոստանդնուպոլսի հայոց Ազգային ժողովի կողմից, սակայն պատրիարքության պահանջով սահմանվել է առաջնորդի ընտրության «ներսէն» կարգը, որի համաձայն՝ թեկնածուն պետք է լիներ տեղի միաբանության անդամ:
Երուսաղեմի քրիստոնեական որոշ սրբավայրերի պատկանելության իրավունքը հայոց պատրիարքությունը կիսում է մյուս Եկեղեցիների հետ: Այդ սրբատեղիներից են Սուրբ Հարության տաճարը, Բեթղեհեմի Սուրբ Ծննդյան տաճարը, Ձիթենյաց լեռան Համբարձման տաճարը, Գեթսեմանիի Սուրբ Աստվածածնի գերեզմանի եկեղեցին:
Հայոց Եկեղեցուն պատկանող սրբավայրերն են՝ Սրբոց Հակոբյանց վանքն իր կալվածքներով, Ձիթենյաց լեռան ստորոտին գտնվող Սուրբ Մարիամ Աստվածածին եկեղեցին, Գողգոթայի բարձունքը:
Սրբոց Հակոբյանց վանքը հայոց պատրիարքության կենտրոնն է՝ պատրիարքի նստոցը: Այն կառուցվել է Հիսուս Քրիստոսի 12 առաքյալներից Հակոբոս Տյառնեղբոր (Կրտսեր) տան տեղում եւ կոչվել է ի պատիվ նրա եւ առաքյալներից Ս. Հակոբ (Ավագ) Գլխադրի: Վանքում ամփոփված են երկու սրբերի մասունքները: Ս. Թորոս եկեղեցին, որտեղ պահվում են հայոց պատրիարքության ձեռագիր մատյանները, Սրբոց Հրեշտակապետաց եկեղեցին, որը գտնվում է Սրբոց Հակոբյանց միաբանության տարածքում, ինչպես նաև Ս. Փրկիչ եկեղեցին ևս ամբողջությամբ պատկանում են հայոց պատրիարքությանը:
Երուսաղեմի քրիստոնեական սրբավայրերի պատկանելության շուրջ վեճերը հայ, հույն և լատին պատրիարքությունների միջև շարունակվել են նաև հետագա դարերում: 1917 թ., երբ քաղաքն անցել է Մեծ Բրիտանիայի ենթակայության տակ, երեք համայնքները, որպես Սուրբ Հարության տաճարի և Բեթղեհեմի Սուրբ Ծննդյան տաճարի իրավատերեր, համաձայնագիր են ստորագրել, որով սահմանվել են յուրաքանչյուրի իրավունքները, բաժինները, պաշտամունքի վայրերը, պաշտամունքի օրերն ու ժամերը: 1929 թ. հաստատված «Սրբատեղիների իրավական վիճակը» վերտառությամբ փաստաթղթով սահմանվել են քրիստոնեական համայնքների իրավունքները: Այն գործում է մինչ օրս: Կոստանդնուպոլսի հայոց Ազգային Սահմանադրության գործածության դադարեցումից հետո փոխվել է նաև Երուսաղեմի հայոց պատրիարքի ընտրության կարգը, որը գործում է նաև այսօր: Ըստ այդմ՝ պատրիարք է ընտրում Սուրբ Հակոբյանց միաբանության ընդհանուր ժողովը: Ընտրությունը ճանաչում են այն պետությունները, որոնց տարածքում գտնվում են հայոց պատրիարքության եկեղեցիները: Ամենայն հայոց կաթողիկոսն օրհնության գիր է ուղարկում նորընտիր պատրիարքին: Պատրիարքության իրավասության տակ են Իսրայելի հայկական եկեղեցիները և Հորդանանի հոգևոր հովվությունը: Երուսաղեմի հայոց պատրիարքությունը 2013 թվականից առաջնորդում է Ամենապատիվ Նուրհան արքեպիսկոպես Մանուկյանը: