זה לא היה המחיר היחיד ששילם נזרי, אחד המשפטנים המבריקים במערכת ומי שסומן כמועמד הטבעי לתפקיד היועץ המשפטי לממשלה אחרי אביחי מנדלבליט. ועדת האיתור קיבלה המלצות מפליגות בשבחו מעשרות אישי ציבור בכירים. היה נדמה שהמינוי רשום על שמו עד שהודח במפתיע מרשימת המועמדים והוועדה בחרה בגלי בהרב מיארה ליועצת המשפטית. רבים טענו שנזרי שילם מחיר פוליטי בשל דעותיו השמרניות. חבר הוועדה דן מרידור אף אמר זאת בפירוש. "הופתעתי מהתרגיל שנעשה בוועדה", אומר נזרי בגילוי לב, "קיבלתי מאות תגובות מבפנים ומבחוץ, אבל מיד למחרת הוצאתי מייל לפרקליטים ולכל אנשי המשרד שמבהיר שזכותו של שר משפטים לתמוך בכל מועמד, שאף אחד לא נולד להיות יועץ משפטי, ושאיש לא הבטיח לי את התפקיד. היה לי חשוב להרגיע את המערכת".
גם אם נזרי עזב לעת עתה את מערכת המשפט, המערכת לא ממהרת לעזוב אותו. ההתקפות על הפרקליטות והשופטים זעזעו אותו עוד כשכיהן בתפקיד המשנה ליועץ המשפטי לממשלה לענייני ניהול ותפקידים מיוחדים ולענייני משפט פלילי וציבורי־חוקתי, והן מלוות אותו גם היום. אחד הביטויים לכך היה בנאום מכונן שנשא בטקס הפרידה, כשהבהיר לשרי המשפטים בעבר ובהווה ולצמרת הפרקליטות שגם להם יש חלק בפגיעה באמון הציבור, ושלצד ההסתייגות מההתקפות, גם על ראשי המערכת מוטלת החובה לבדוק את עצמם ולהודות בטעויות.
"ראיתי פרסום של סקר על מדד השנאה כלפי מערכת המשפט וזה היה מחריד, כי לא היה מדובר על בעד או נגד אלא על שנאה אמיתית", הוא אומר. "וחשבתי אז שאם יש כאלה אמוציות חריפות כלפי מערכת החוק, זה דורש חשבון נפש גם מאיתנו ולא רק מהפוליטיקאים שיוצאים נגדנו. אם אין אמון במערכת המשפט אז אין שלטון חוק, ואם אין שלטון חוק אין מדינה דמוקרטית. הנושא הזה בער בי גם כשהייתי בתוך המערכת. לפני כארבע שנים השתתפתי בכנס העמותה למשפט ציבורי בחיפה ועו"ד דינה זילבר דיברה בכאב אמיתי נגד ההתקפות על הפרקליטות. כולם מחאו לה כפיים. אבל אני אמרתי שאנחנו לא צריכים את האמון של הקהל שיושב באולם אלא את אמון הציבור ברחוב, ושם יש לנו בעיה, כי נכון שרודפים אחרינו, אבל לא צריך לתת סיבות לרודפים".
"גוף חיצוני ששופט עצמאי עומד בראשו ימצא ברוב התלונות שפעלנו נכון, אבל אז מישהו חיצוני יגיד את זה ולא אנחנו על עצמנו, שזה קרדיט נמוך יותר, ואת מעט התקלות נתקן. זה הרי גם האינטרס שלנו. נגעים של צרעת מראים לכהן הגדול, אבל כהן לא יכול לאבחן צרעת של עצמו כי אין אדם רואה נגעי עצמו ואף אחד לא מסוגל לשפוט את עצמו באובייקטיביות. בדיוק בגלל זה אומרים שלא כדאי שרופאים יטפלו בעצמם במשפחה שלהם ושעורך דין שמייצג את עצמו, לקוחו הוא כסיל. הבעיה שלנו היא שיש פער בין אמון הציבור במערכת לבין אמון המערכת בעצמה. הציבור רואה אותנו בצורה שלילית יותר ממה שאנחנו באמת, ואנחנו רואים את עצמנו בצורה יותר חיובית ממה שאנחנו בפועל".
בכל 22 שנותיו במשרד המשפטים בלט נזרי בהתנהלותו המקצועית והממלכתית, אבל גם כבעל דעה שנאבק על עמדתו. מצד אחד נתפס כשמרן אך איש שלטון החוק שליווה משפטית את הפעלת ה"אמצעים המיוחדים" כלפי חשודי תיק דומא ודרש מהממשלה לאמץ את ה"ייעוץ המחייב" ולקיים את החלטות היועמ"ש. אך מהצד השני, מעולם לא השתייך למה שנהוג לכנות "החונטה המשפטית".
הוא היה פתוח לביקורת על הפרקליטות ועל הייעוץ המשפטי, נאבק על הקמת גוף הביקורת החיצוני וידע לזהות פגמים, להצביע עליהם באומץ ובתמורה גם לספוג את האש. כך גם התנהל בתיקי נתניהו. כבר בשלבים הראשונים ניכר היה כי המשנה ליועץ המשפטי אינו משוכנע שתיק 2000 שייך לזירה הפלילית. הוא צוטט אז כמי שאמר בדיונים הפנימיים שבתיק הזה "יש ראיית זהב (הקלטת מוזס ונתניהו) אך אין לנו עבירה".
"היו דיונים נוקבים בשאלה הזאת, ומטבע הדברים יש גם אמוציות. אני דווקא לא אמוציונלי באופיי, אבל עומד על דעתי כשצריך. בדיונים כאלה לפעמים הטונים עולים ויש ויכוחים נלהבים. בסופו של דבר הפרקליטות ניהלה את התיק בהתאם להחלטת היועץ שהתקבלה, ובית המשפט יחליט".
"זו המורכבות של הנושא בתיקים פליליים, שלא לדבר על העולם האזרחי שאדם שמגיש תביעה ומקבל סעד אחרי שש או עשר שנים, לפעמים מוותר מראש. לכן הובלנו רפורמה בכל סדרי הדין, נתנו יותר כלים לשופטים להגביל עמודים ולצמצם תקנות כדי לקבל החלטות מהירות ולמנוע את עינוי הדין, ויצאה הנחיית יועץ משפטי שהגדירה לפרקליטים והתובעים זמן להגיע להחלטה בתיקים. בתחילה קמה צעקה גדולה והפרקליטים התנגדו, אבל בפועל זה הפך להיות כלי ניהולי מדיד ויעיל שמשפר ומזרז את משך הטיפול בתיקים".
בכל תחנות חייו נחשב נזרי לחוד החנית. באקדמיה היה מצטיין דיקן פעמיים, בלימודי ההמשך זכה למלגת הצטיינות מטעם קרן הנשיא לתלמידים מצטיינים ולמלגת הצטיינות מטעם המכון הגבוה לתורה. גם הקריירה במשרד המשפטים הבטיחה מסלול הצטיינות מהיר. הוא נחשב כמי ששומר על יושר מקצועי, וכך נהג גם כשליווה כאדם דתי את תוכנית ההתנתקות.
"צריך להגן על החלטות הממשלה בלי קשר לשאלה האם אני בעד ההתיישבות או נגדה", הוא מבאר. "קצת אחרי ההתנתקות הזמינו אותי ואת עמית סגל לכינוס לנוער בוגר ההתנתקות. הסברתי שם מה עשינו ברמה המשפטית כדי לאפשר את המחאה לצד ההתנתקות. ואז קמה נערה אחת ונכנסה בי ב־200 קמ"ש, היא אמרה, מה זה שווה שאפשרתם מחאה ומה שווה הכיפה על הראש שלך אם לא ייצגת אותי ומנעת את ההתנתקות? שתיתי כוס מים, ואמרתי לה, אני לא שופט אדם בשעת צערו ואני מבין לגמרי את הכעס, אבל לא זכור לי שבבחירות האחרונות היה בקלפי פתק עם השם שלי שאמור לייצג אותך. יש לי כיפה על הראש, היא חלק מהזהות שלי, אבל היא לא פועלת כזיהוי פוליטי. הציפייה שהכיפה היא זו שתנהל את הדרג הפוליטי היא מחשבה עקומה".
נזרי הספיק לעבוד תחת שבעה שרי משפטים מכל קצוות הקשת הפוליטית. הוא היה חלק מהצוות שחקר והכריע בעניין האי היווני של אריאל שרון, בתיקי אהוד אולמרט, משה קצב, חיים רמון והרב הראשי לשעבר יונה מצגר. בזמנו הוביל קו שלא כל מה שפסול חייב להיות פלילי וסבר שבמקרים מתונים ניתן לטפל בחלופות כגון "הסדר מותנה" ובתי משפט קהילתיים ושהכלי הפלילי נועד למקרים חמורים. הוא עבד תחת ארבעת היועצים האחרונים, אליקים רובינשטיין, מני מזוז, יהודה וינשטיין ומנדלבליט. "הייתה לי מערכת יחסים טובה עם כולם", הוא אומר בפשטות.
בבית משפחת נזרי החיים נינוחים ושלווים מאז הפרישה. אשתו טלי יצאה לשנת שבתון מעבודתה בהוראה כדי לסנכרן את הזמן הזוגי הפנוי וגם הילדים נהנים מאבא, שמקבל את פניהם לארוחת צהריים. "לראשונה אחרי הרבה שנים אני יודע איך נראה הבית גם באמצע היום", הוא מחייך. "לפני תחילת שנת הלימודים הלכתי עם הבן שלי לקנות ציוד לבית הספר. אחר כך נכנסנו לסופר והוא אמר, אבא, לדעתי מעולם לא היית בסופר הזה, וזו גם הפעם הראשונה שאתה אשכרה קונה לי ציוד ללימודים. אמרתי לו, נכון, אני מתרגל אבהות ומשפחה באופן שלם יותר. ובין לבין אני מרצה בכל מיני פורומים, קצת נח, וגם נפגש עם גורמים שונים לגבי המשך הדרך".