בסוף שנות ה-50, לאחר שהשתחרר מהצבא, שמר הציעה לו לשיר את "עיר לבנה" (או "העיר הלבנה", כפי שהוא מופיע בביצועים מאוחרים), שיר שכתבה עבור סרט תיעודי של אדם גרינברג לכבוד יובל ה-50 של תל אביב. הסרט נשכח, אבל השיר הפך במהרה לאחד משיריה האהובים ביותר של שמר, וזכה בשנים הבאות לכמה וכמה חידושים, בהם גם של אריק איינשטיין (שהיום מזוהה עם השיר).
בשנות ה-60 הוא השתתף בהצגות כמו "איש למנשה" ו"איש חסיד היה" (שם שר את "מכתב לרבי" ו"זמר ליין"). ב-1971 הקליט את האלבום "לוליק שר גורקה", כולו משירי המשורר פרדריק גרסיה לורקה. האלבום הבא, ב-1980, נקרא "רומנסרות ספרדיות", וכלל שירים מלדינו - סוגה שלוי היה מזוהה איתה במיוחד.
לוי, שעבד גם כמוכס, עבר בשנת 2003 תאונת דרכים קשה שהשביתה אותו מהופעות למשך כמעט עשור. ב-2015 זכה בפרס מעפל חיים מטעם אמ"י וב-2017 בפרס אריק איינשטיין לאמנים ותיקים.
התרעות פיקוד העורף