מיטשל נולדה בשנת 1943 בפורט מקלאוד שבמחוז אלברטה בקנדה, ובהמשך התיישבה משפחתה בססקטון שבמחוז ססקצ'ואן. את דרכה המוזיקלית החלה בהופעות במועדוני פולק מקומיים, ובהמשך הופיעה גם בקלגרי ובטורונטו. בטורונטו הכירה את זמר הפולק האמריקאי צ'אק מיטשל, והשניים נישאו בשנת 1965. בעקבות הנישואים עברה לארצות הברית.
נישואיהם הסתיימו כעבור שנתיים בלבד, אך עד אז כבר ביססה מיטשל את מעמדה כאחת היוצרות המקוריות והבולטות בסצנת הפולק האמריקאית. בשנת 1968 הוציאה את אלבום הבכורה שלה, וזמן קצר לאחר מכן השתמשה בהכנסותיו כדי לעבור לשכונת לורל קניון בלוס אנג'לס. שם הקליטה את "Ladies of the Canyon", אלבומה הראשון שזכה למעמד של אלבום זהב. מאז המשיכה להתגורר בקליפורניה, וכיום ביתה נמצא בסנטה ברברה.
הקאמבק לבמה - והסרט שבו תגלם אותה מריל סטריפ
אלבום האולפן האחרון של מיטשל, "Shine", יצא בשנת 2007. בשנים שלאחר מכן היא התרחקה מאור הזרקורים, בין היתר בעקבות מפרצת מוחית שממנה סבלה בשנת 2015 ושחייבה תקופת שיקום ממושכת.
בשנת 2022 שבה להופיע בפני קהל, כאשר עלתה לבמה בהופעת פתע בפסטיבל הפולק של ניופורט. מאז השתתפה בכמה מופעים חגיגיים בהשתתפות מוזיקאים אורחים, שנערכו תחת השם "Joni Jam".