לימים, לאחר שאימו נהרגה מירי צה"ל ואחיו נהרג זמן קצר יותר גם הוא מירי במהלך מבצע חומת מגן, החל לעסוק בטרור. הוא הצטרף לקבוצות המחבלים של הפת"ח ולחם נגד הצבא הישראלי במהלך חומת מגן. הוא החליט להצטרף, בעקבות השתתפותו בקרב, לגדודי אל-אקצא, שהן הזרוע המיוחדת של ארגון הטרור הפלסטיני. מאז הצטרפותו אחראי זביידי לשורה ארוכה של פיגועי טרור, ביניהם רבים באזור שטחי השומרון כמו אירועי ירי לעבר מכוניות ישראליות, ולבסוף גם לפיגוע התאבדות בסניף הליכוד בבית שאן, בו נרצחו שישה בני אדם.
זביידי התנגד לניסיונות התפייסות עם ישראל, ובמספר הזדמנויות בחר לגנות את ה"הודנה": "אני מבין מה העיניים של ערפאת (אותו הוא מכנה "אבו-עמאר") מבקשות - להילחם ולא לעצור".
שנים ארוכות ניסו מנגנוני הביטחון הישראליים לשים את ידיהן על זביידי, שהודיע כי נתמך כלכלית וחימושית על ידי ארגון הטרור הלבנוני חיזבאללה. ביוני 2006 יחידת מסתערבים ניסתה לפגוע בזביידי בעת פשיטה על סוכת אבלים בג'נין. לאחר שנה, זביידי נפצע שוב מכוחות צה"ל, אבל הפעם ללא כוונה ממשית לחסלו.
ביתר הזמן בו לא ביצע פעולות טרור, זביידי עבד על המוניטין הפוליטי שלו, סחף אחריו אנשים מאזור ג'נין, עיר מולדתו, ונחשב בעיני רבים ברחוב הפלסטיני כדמות להערצה. בצעירותו אף השתתף בסדנת תאטרון במימון של פעילי שמאל ישראליים. בעקבות חוויה זו, הקים במחנה הפליטים בג'נין תיאטרון בשם "תיאטרון החירות" על שמו. ב-2012 נעצר על ידי כוחות הרשות הפלסטינית בחשד לניסיון לרצוח את מושל ג'נין קדורא מוסא, אך שוחרר בערבות לאחר חמישה חודשים.
בשנת 2004 נקשר שמו של זביידי בכותרות בישראל, לאחר שפעילת השמאל שהתאסלמה, טלי פחימה, שהייתה איתו במערכת יחסים רומנטית. פחימה אף הבטיחה בראיונות ובהתבטאויות פומביות שונות כי תשמש לו "מגן אנושי", ואף נעצרה על ידי השב"כ על כך שניסתה לתרגם מסמך בדרגת סיווג סודי ביותר לזביידי, על מנת להציל אותו מניסיון התנקשות.
רק בשנת 2019 הצליחו כוחות הביטחון לעצור את המחבל, וב-27 בפברואר באותה שנה, כוח שב"כ וימ"מ הסתער על בית בג'נין ועצר את זביידי ואת עורך הדין טארק ברגות ממזרח ירושלים. הפרקליטות הצבאית הגישה כתב אישום נגד השניים בשל מעורבותם בביצוע מספר פיגועי ירי באיזור ההתנחלות בית אל. עד כה, פסק דינו של זביידי לא ניתן, והוא היה במעמד של אסיר ביטחוני.
התרעות פיקוד העורף