כהן, שנחשב לאחד מחלוצי הסטנד-אפ בישראל, נולד במקנס שבמרוקו וגדל במגדל העמק. בשנת 1984 סיים את לימודיו במחזור כ"ב של בית הספר למשחק בית צבי לצד אודיה קורן, עידית טפרסון וענת וקסמן.
על הבמה, שיחק כהן בין היתר באופרה "הספר מסביליה", גילם את סאלח שבתי בהצגה "סאלח שבתי" של תיאטרון השעה הישראלי, ואת מושון קסטל בהצגה "בוסתן ספרדי" מאת יצחק נבון. בטלוויזיה התפרסם כהן בין השאר בתפקיד עמוס פארוקי בסדרה "הבורר", כרב כהן בסדרת "שנות ה-80", וב-2019 השתתף בסדרה "הנערים" של רשת HBO.
בקולנוע הופיע במגוון תפקידים לאורך השנים: גילם את בבר ב"אבא גנוב" לצד יהודה ברקן, השתתף ב"מחץ הדלתא 3" וב"זמן אמת" (1991), "כבלים" (1992), "מבול" (2011), "הקפות" (2015), "פיגומים" (2017), "הבלתי רשמיים" (2018), ו"ילדים של אף אחד" (2022). לצד הקריירה המגוונת שלו, כהן היה מוכר גם כקולו של "תקע" בתשדירי "שקע ותקע" של חברת החשמל.
על עבודתו המקצועית זכה כהן במספר פרסים חשובים: פרס השחקן המצטיין בפסטיבל עכו לתיאטרון ישראלי אחר (1988), פרס קלצ'קין כעובד מצטיין של תיאטרון הבימה, ופרס מיוחד לרגל עשור ויותר מ-1000 הצגות של המחזמר "בוסתן ספרדי" (2008).
מנכ"ל תיאטרון הבימה והקאמרי לשעבר, נועם סמל, ספד לו: "יעקב כהן שיחק בתיאטרון הקאמרי בניהולי מגוון רחב של תפקידים ראשיים ביניהם בשייקספיר - קומדיה של טעויות ובמחזות ישראליים רבים ביניהם היה חפץ במחזה חפץ מאת חנוך לוין. גולת הכותרת של עולמו התיאטרוני היה תפקיד שיילוק בהבימה בהצגה השייקספירית - הסוחר מוונציה בהבימה אותה שיחק גם בלונדון בגלוב תיאטר. היה איש אשכולות ואהוב הקהל והשחקנים והעובדים וההנהלה. היה מאנטש אמיתי".
מהתיאטרון הלאומי הבימה נמסר: "יעקב, שחקן מוביל בלהקת התיאטרון במשך כ-25 שנה, נשא על כתפיו אינספור הצגות מצליחות של תיאטרון הבימה וגילם שורה ארוכה של דמויות בלתי נשכחות, בין השאר בהצגות: הסוחר מונציה, בוסתן ספרדי, קופסא שחורה, הקמצן, הצמה של אבא, החולה המדומה, הזוג המוזר ועוד. יעקב היה אחד מעמודי התווך של התיאטרון הלאומי הבימה והוא יחסר לנו מאד. תנחומינו למשפחתו - רעייתו טירנית וילדיו איתמר ואביתר".
התרעות פיקוד העורף