בתחילת דרכו, לימד בבית ספר תיכון בשגב שלום, ולימים נבחר לראשות המועצה המקומית, וכיהן בתפקיד זה עד שנת 2008. בשנת 2002 נבחר אלחרומי למזכ"ל התנועה האסלאמית, ובתפקיד זה כיהן עד שנבחר בשנת 2014 לסגן יו"ר התנועה, אותו מילא עד היום. בשנת 2017 נכנס לכנסת העשרים במסגרת הסכם הרוטציה ברשימה ובבחירות האחרונות, הוצב במקום ה-15 ברשימה המשותפת.
אלרחומי היה חבר הקואליציה היחיד בממשלה זו, שנמנע בהצבעה על כינון הממשלה ובחר שלא לתמוך בה. זאת, בשל עמדותיו הברורות שלא עמדו בקנה אחד עם אלו של ממשלת בנט-לפיד.
התרעות פיקוד העורף