גרי נולד בטורונטו ב-28 בפברואר 1929 בשם פרנק (אפרים) אוון גולדברג, להורים ממוצא יהודי-פולני: ארווינג גולדברג, יליד ברוקלין, וסיידי תלמה לבית קפלן, ילידת לודז'. סבו העניק לו את השם העברי אפרים, בו השתמש רק בבר המצווה שלו. בשנת 1947 עבר עם משפחתו ללוס אנג'לס, וב-1954 שינה את שם משפחתו מגולדברג לגרי בעצת אשתו הראשונה, שחששה כי אנטישמיות תעכב את הקריירה שלו.
במהלך הקריירה הענפה שלו, זכה גרי בכל פרס מרכזי בתחום האדריכלות, כולל הכבוד הגדול ביותר בתחום, פרס פריצקר, מדליית הזהב של המכון המלכותי לאדריכלים בריטים ואות מסדר קנדה. בין יצירות המופת הרבות שלו ניתן למנות את מוזיאון גוגנהיים בבילבאו שבספרד, אולם הקונצרטים על שם וולט דיסני בלוס אנג'לס ובניין דז'ה בנק בברלין. הוא אף תכנן את הרחבת מטה פייסבוק בצפון קליפורניה לבקשתו של המנכ"ל מארק צוקרברג, ואת מגדל המגורים "New York By Gehry" במנהטן, שהיה אחד מבנייני המגורים הגבוהים בעולם.
דרכו המקצועית לא הייתה סלולה מראש. לאחר שסיים את לימודיו באוניברסיטת דרום קליפורניה ושירת בצבא, התקשה גרי להתפרנס, תכנן מרכזי קניות ואף עבד כנהג משאית לתקופה מסוימת. המפנה אירע כאשר שיפץ את ביתו הצנוע בסנטה מוניקה משנות ה-20 והפך אותו למבנה חדשני תוך שימוש בגדרות רשת ומתכת גלית. יזם נדל"ן שראה את הבית עודד את גרי לזנוח את העיצובים השגרתיים וללכת אחר חזונו האמנותי. גרי אימץ גישה זו ועבד לתוך שנות ה-90 לחייו, כשהוא מקפיד לפקח אישית על כל פרויקט במשרדו.
עיצוביו הנועזים משכו שבחים לצד ביקורת. היו שכינו את אולם דיסני כ"אוסף של קופסאות קרטון שהושארו בגשם", ומשפחתו של הנשיא אייזנהאואר התנגדה להצעתו לאנדרטה לזכרו, שכללה שטיחי מתכת גליים, אך האדריכל סירב לשנות את העיצוב באופן משמעותי. גרי התייחס לביקורת לעיתים בהומור, ואף הופיע בפרק של "משפחת סימפסון" שבו הוא מתכנן בניין על ידי כיווץ מכתב וזריקתו על הרצפה, מיתוס שהכחיש במציאות. למרות הצלחתו האדירה, גרי נותר ביישן וחסר ביטחון לגבי הישגיו, ואמר בראיון ל-AP כי הוא "נדהם לחלוטין" שהגיע למעמדו. מורשתו צפויה להימשך עם השלמת מוזיאון גוגנהיים באבו דאבי, הצפויה ב-2026. גרי הותיר אחריו אישה, ברטה, ושלושה ילדים. בתו לסלי נפטרה ב-2008.
התרעות פיקוד העורף