רדפורד נולד בסנטה מוניקה ב-1936 ותיאר את עצמו כנער בעייתי שהסתובב עם כנופיות ובילה לילות בכלא. אמו נפטרה כשהיה בן 18 ממחלת דם הקשורה ללידת תאומות שמתו זמן קצר לאחר הלידה, מה שהפך אותו לבן יחיד.
לאחר שנשר מאוניברסיטת קולורדו, נדד באירופה למעלה משנה, למד אמנות בפריז וגם מכר סקיצות ברחוב כדי להתפרנס. כשחזר לארצות הברית פגש סטודנטית מורמונית, לולה ואן וגנן, שהפכה לאשתו הראשונה.
התרעות פיקוד העורף