כשנה לאחר עלייתו לארץ התגייס שמיר ללהקת הנח"ל. התכנית הראשונה בה השתתף הייתה 'בהאחזות הנח"ל בסיני' והוא היה אחד הסולנים הראשיים של הלהקה בתכניתה 'הפלמחניק' ובלט בין היתר בשירים 'בלדה ליצחק שדה', 'נאום תשובה לרב חובל איטלקי' ו'מי היה החולם'.
איתו בלהקה היו בין היתר דני סנדרסון, גידי גוב, אלון אולארצ׳יק ומאיר פניגשטיין שהיוו יחד איתו את הבסיס ללהקת כוורת.
בכוורת בלט כאחד הסולנים הראשיים וגם הלחין שירים כמו 'העולם שמח', 'לא ידענו מה לעשות' ו'ככה היא באמצע' (עם יצחק קלפטר). השיר המפורסם ביותר שהלחין ושר בכוורת היה 'שעור מולדת', שיר שהלחין עוד לפני עלייתו לארץ ועלי מוהר כתב עבורו את המילים. שיתוף הפעולה של שמיר עם מוהר הוליד שלל שירים. אחד מהם היה שיר הנושא של אלבומו הראשון כסולן ׳רוקד לקול הבנות׳ מלהיטיו הגדולים ביותר של שמיר.
שמיר הרבה לשתף פעולה עם אמנים. ב־1977 הוציא ביחד עם מי שהייתה אז אשתו, אסתר שמיר, את האלבום 'אפרים ואסתר שמיר' שהוליד בין היתר את הלהיטים שהלחין שמיר - 'ערב של יום בהיר' ו'עברתי רק כדי לראות'. ב־1980 הקים שמיר את להקת חמסין, אך אלבומה (שזכה לביקורות חיוביות) והופעותיה לא זכו להצלחה מסחרית. במסגרת 'ארץ שמש' שיצא כאלבום בשנת 1982, הלחין מספר שירים מהם זכור במיוחד 'הידעת את הדרך'.
ארבעה אלבומי סולו ואלבום הופעה אחד הוציא שמיר עד היום. אלבומו השני 'סוף סוף גשם' יצא כתשע שנים לאחר אלבום הבכורה שלו ובלט בו מלבד שיר הנושא, השיר 'עלינו ועל אוהלינו'. בשנת 2003 הוציא את האלבום 'ים הבטון', והאלבום האחרון שהוציא 'אפרים שמיר וגנבי הזמן' כלל עיבודים חדשים ומעודכנים לשיריו המוכרים.
במסגרת פרויקט 'אמנים עורכים שבת עברית', הבלעדי לדיגיטל של 103fm, ערך עבורנו שמיר קרוב לשעה וחצי של שלל קלאסיקות עבריות מרגשות וקאנוניות - מ'ירושלים של זהב', דרך 'שיר הרעות', 'גבעת התחמושת', 'שיר ללא שם' וכלה ב'הללויה' של חלב ודבש. האזנה נעימה!
התרעות פיקוד העורף