ההצלחה הגדולה הגיעה בשנות ה-60, אחרי שאלבום הבכורה שלהם מ-1964 התקבל באדישות יחסית. גרסה מחודשת ומחושמלת של "The Sound of Silence" הפכה ללהיט ענק, וסיימון וגרפונקל מצאו את עצמם בלב המהפכה המוזיקלית של העשור. בהמשך הגיעו "Mrs. Robinson", "Scarborough Fair", "The Boxer" וכמובן "Bridge Over Troubled Water", שהפך לאחד השירים המזוהים ביותר עם קולו של גרפונקל.
מאחורי ההרמוניות המושלמות הסתתרה מערכת יחסים מורכבת. סיימון היה הכותב והמלחין המרכזי, בעוד גרפונקל הביא לצמד קול טנור יוצא דופן ויכולת ביצוע שהפכה את השירים לבלתי נשכחים. עם השנים התפתחו ביניהם מתחים, בין היתר בעקבות החלטתו של גרפונקל לפתח קריירת משחק. ב-1970, בשיא הצלחתם, התפרק הצמד. בהמשך הם חזרו להופיע יחד בכמה הזדמנויות, אך היחסים האישיים ביניהם המשיכו לדעת עליות ומורדות.
אחד מרגעי השיא של האיחוד התרחש ב-1981, כשהשניים הופיעו בסנטרל פארק בניו יורק מול קהל שמספרו הוערך ביותר מחצי מיליון בני אדם. שנתיים לאחר מכן, בספטמבר 1983, הם הגיעו לישראל לשתי הופעות באצטדיון רמת גן. כ-90 אלף צופים הגיעו לשתי ההופעות יחד, וההכנסות הועברו למטרות צדקה למען ילדים עם צרכים מיוחדים בישראל.
גם ארבעה עשורים לאחר מכן, גרפונקל עדיין זוכר היטב את הביקור ההוא. בריאיון שהעניק לחדשות 12 במאי 2025 סיפר כי הקהל הישראלי היה מהטובים שפגש בעולם. מבחינתו, החום שקיבלו סיימון וגרפונקל ברמת גן היה יוצא דופן אפילו בהשוואה להופעותיהם במדינות אחרות.
אבל לא כל הזיכרונות מאותו ביקור היו נעימים. גרפונקל סיפר כי בזמן שסעד עם הוריו במלון המלך דוד בירושלים, צלמים ועיתונאים ניסו לתעד אותו ללא הרף. לדבריו, כאשר ניסה להתחמק מהם והלך לשירותים, הם נכנסו אחריו והמשיכו לצלם.
גרפונקל חזר לישראל גם בהמשך הקריירה, וב-10 ביוני 2015 הופיע באצטדיון בלומפילד בתל אביב. לקראת ההופעה סיפר כי הוא מתרגש לשוב למדינה שבה הרגיש תמיד קרוב לקהל. במסיבת עיתונאים שערך עם הגעתו התייחס גם לזהותו היהודית, ואמר שהוא מרגיש כאן בקרב בני משפחתו.
ההופעה בבלומפילד הגיעה לאחר תקופה קשה במיוחד מבחינתו. בשנת 2010 החל לסבול מבעיה במיתרי הקול, שאילצה אותו לבטל הופעות והעמידה בספק את המשך הקריירה שלו. עבור אדם שהתפרסם בזכות קולו הגבוה והצלול, מדובר היה במשבר עמוק. בריאיון ל"ידיעות אחרונות" ב-2015 סיפר כיצד ניסה לשקם את יכולת השירה שלו, לאחר שבמשך תקופה לא הצליח להגיע לצלילים שהיו חלק בלתי נפרד מזהותו.
הביקורות על הופעתו היו מעורבות. לצד ההתרגשות מהמפגש עם אגדה מוזיקלית, מבקרים ציינו את השינויים שחלו בקולו וביכולותיו על הבמה. ובכל זאת, הנוכחות שלו בישראל דווקא באותה תקופה הפכה את ההופעה לרגע חריג. גרפונקל הגיע למרות החששות הביטחוניים שעליהם דיבר עוד לפני הביקור, ובחר לפגוש שוב את הקהל הישראלי, יותר מארבעים שנה אחרי ההופעות המשותפות עם סיימון ברמת גן.
במקביל לקשר שלו עם ישראל, התרחש בשנים האחרונות מפנה מעניין גם ביחסיו עם סיימון. לאחר שנים של ריחוק, השניים נפגשו ב-2024 לארוחה בניו יורק. גרפונקל סיפר בהמשך כי סיימון שיתף אותו בפגיעה שחש בעקבות דברים שנאמרו עליו בעבר, וכי השיחה הסתיימה בהתנצלות, בדמעות ובחיבוק.
בריאיון לחדשות 12 במאי 2025 אף סיפר גרפונקל כי קיימים דיבורים על הופעת איחוד אפשרית. הידיעה עוררה התרגשות בקרב מעריצי הצמד, אך מאז הציפיות התמתנו. בריאיון למגזין "פיפל" ביוני 2026 אמר גרפונקל כי הוא שמח על הפיוס, אך אינו יודע אם הוא יוביל למשהו נוסף. גם בריאיון ל"גרדיאן" בספטמבר נמנע מלהתחייב להופעה משותפת נוספת.
בגיל 85, גרפונקל ממשיך להופיע. אחרי תקופה ממושכת שבה צמצם את פעילותו על הבמה, הוא יצא השנה לסיבוב ההופעות "What a Wonderful World", הכולל הופעות בארה"ב ובאירופה. ב-2024 גם הוציא עם בנו את האלבום "Father and Son", שבו השניים מבצעים יחד שירים אהובים. לפי לוח ההופעות הרשמי שלו, כבר מחר הוא צפוי להופיע בניו ג'רזי.
הוא גם הספיק לפתח קריירת משחק, להופיע בסרטים כמו "מלכוד 22" ו"ידע הבשרים", לפרסם ספרים ולחצות ברגל מרחקים עצומים בארה"ב ובאירופה. ובכל זאת, גם אחרי עשרות שנים, השם ארט גרפונקל עדיין מחזיר את רוב האנשים לאותן הרמוניות עם פול סיימון.
התרעות פיקוד העורף