מחוץ לחומות, התמונה הייתה שונה לגמרי. הוקמו רבעים חדשים, הותקנה רכבת חשמלית, נסללו רחובות, ניטעו עצים, נשתלו מדשאות שהחיו את השכונות הצפופות, נוסדו מוסדות לימוד, נבנו בנייני מסחר ובתי מגורים מפוארים, ונפתחו מקומות בילוי", כך תיאר הרצל את ירושלים בספרו "אלטנוילנד" משנת 1902. כשהרצל הגיע לארץ, הוא נחשף להזנחה, לצפיפות ולמורכבות של העיר. בעיניו הוא ראה את ירושלים שבתוך החומות משתלבת עם ירושלים שונה, מתחדשת, חברתית ומודרנית.
עשרות שנים לאחר מכן, ימים בלבד לאחר הכרזת העצמאות, נפל הרובע היהודי לידי הירדנים. ירושלים וסמטאותיה התרוקנו מיהודים ותחושה של שמחה מחד והחמצה מאידך התפשטה בתודעה הישראלית. מחולקת, חצויה ומטוהרת מיהודים, נותרת ירושלים תחת כיבוש ירדני במשך 19 שנה. שער ציון, בכניסה לעיר העתיקה, נחסם במנעולי ברזל, וכניסת יהודים לרחובותיה נאסרה על ידי צבא הכיבוש הירדני.
הנה קמה לה מדינת היהודים, הנה עם ישראל שב לארצו ולמולדתו, אבל לאתרי מורשתו וכור מחצבתו לא שב. שמחת העצמאות המדינית הייתה מהולה בתחושה של גלות דתית וערכית. משך כל שנות קיומה הייתה ירושלים לסמל דתי ורוחני, אך איסורי חופש פולחן ניכרו בה תחת כל שלטון. עם שחרורה ואיחודה של העיר, ומתוך כבוד לשאר הדתות המקדשות אותה, הוענק לראשונה זה שנים חופש פולחן לכלל הדתות. המוסלמים קיבלו חופש פולחן מלא בהר הבית, כמו גם הנוצרים, הארמנים ושאר הדתות והאמונות המאפיינות אותה.