הופעה זו, שהייתה שנויה במחלוקת, שחזרה בסרט הביוגרפי משנת 2024 על חייו של דילן "A Complete Unknown", ובה שיחק השחקן ג'סטין לוין את דמותו של גולדברג. דילן ספג בוז מהקהל על המעבר לנגינה חשמלית, ההופעה נחשבת כיום נקודת מפנה מכוננת במוזיקה האמריקאית.
מעבר לעבודתו עם דילן, היה גולדברג גם מפיק תקליטים מוכשר. הוא עבד עם אמנים כמו פרסי סלג', צ'רלי מאסלווייט, ג'יימס קוטון והרכב הטקסטונס. כמו כן, הפיק גולדברג את גרסתו של דילן לשיר "People Get Ready", שנכתב במקור על ידי קרטיס מייפילד להרכב האימפרשנס.
הקריירה המוזיקלית של גולדברג סימנה תקופה מכוננת בתולדות הבלוז והרוק האמריקאי. הוא נחשב לאחד המוזיקאים המשפיעים שעיצבו את הסאונד המוזיקלי של שנות השישים.
גולדברג אובחן עם לימפומה שאינה הודג'קינית, סוג של סרטן הדם, לפני כעשור. הוא הלך לעולמו מוקף משפחתו, תוך השארת מורשת מוזיקלית עשירה ומשמעותית שתמשיך להשפיע על דורות של מוזיקאים.