המבקר לשעבר נולד ב-24 במאי 1931 בירושלים. בין השנים 1955-1952 למבד משפטים באוניברסיטה העברית ולאחר מכן התמחה בלשכת נשיא בית המשפט המחוזי בירושלים. את רישיון עריכת הדין קיבל בשנת 1957 ובשנת 1964 התמנה לראשונה לתפקיד שופט.
תחילה שפט גולדברג בבית המשפט לתחבורה בשנים 1965-1964, ולאחר מכן כיהן כשופט בית משפט השלום בירושלים עד לשנת 1974. בשנה זו מונה לשופט בית המשפט המחוזי ושמונה שנים לאחר מכן, בשנת 1982 מונה לסגן נשיא בית המשפט.
בשנת 1983 הוא החל לכהן בפועל כשופט בבית המשפט העליון של ישראל, כאשר את מינוי הקבע הוא קיבל רק באפריל 1984. בשנת 1994 התמנה לחבר בוועדת שמגר, שחקרה את אירוע הטבח במערת המכפלה בפורים באותה השנה.
במאי 1998 נבחר על ידי הכנסת לכהן כמבקר המדינה ונציב תלונות הציבור. גולדברג כיהן בתפקיד מ-5 ביולי 1998 ועד ל-4 ביולי 2005 והיה האדם השישי להחזיק בתפקיד. במאי 2006 קיבל את אות אביר איכות השלטון מטעם התנועה לאיכות השלטון. ב-2008 התמנה לתפקיד נציב תלונות הציבור על שופטים. בתפקיד זה כיהן עד לשנת 2013.
בשנת 2018 מונה ליו"ר הוועדה המייעצת למינוי בכירים בשירות המדינה. הוועדה בראשותו אישרה את מינויים של אביב כוכבי לרמטכ"ל ואמיר ירון לנגיד בנק ישראל.
התרעות פיקוד העורף