אף שיום-טוב חבר נולד בשכונת בחסיתא, שאינה אלא זקנה ובלויה בהשוואה לג'אמיליה, גאווה גדולה הייתה לו על חלבּ עירו. הרבה הרגלים הביא איתו משם כשעלה לירושלים, מהם יפים שאפשר להשתבח בהם בפרהסיה ומהם מגונים בעיני הבריות שבכאן ומצווה להצניעם. משל למה הדבר דומה, למי שדדיה תאווה וברכיה זוועה שאם שכל לה בקודקודה תהא מבליטה את אלה ומסתירה את אלה; מבליטה בצנעה ומסתירה בצנעה.
מאז שעמד על דעתו זכר שאת שמו יום-טוב היו מבטאים בבי"ת דגושה. משעה שבא לירושלים נחלקו הירושלמים הללו - חלבּים שביניהם שמחו בו ובשמו, כביכול נושא הוא עמו מחנה של עיר הקמרונים והצריחים הרחוקה; ואשכנזים ששאלו אותו: מה שמך? והוא ענה יום־טובּ, צחקו ושאלו שנית, מה השם? עד שהבינו שהוא אינו מתבדח איתם.
שלושה דברים מתישים כוחו של אדם - עבודה קשה ואישה קשה וחטאים קלים; כך היה יום-טוב אומר, נסמך בלשונו על חז"ל, מסתמך על ניסיון חייו. מיום שנולד ראה סביבו עבודה קשה המפרנסת את בעליה בדוחק. אביו סלים, אללה ירחמו, לא מאותם מבלי עולם היה, שיושבים על שרפרפי קש ובוהים נכחם, פעמים מסבחת ענבר בידם, פעמים נרגילה בפיהם, פעמים הרהורים מתמשכים בלבם. "בזיעת אפך תאכל לחם" - על סלים ועל בניו נאמר. ויום-טוב הצעיר בבנים אינו יוצא מכלל זה. את הזיעה היו רוחצים באמבט של פח ובמים שפרימוס רועש וגועש מרתיחם. וכשהיו יושבים לשולחן היו אוכלים לחם, הרבה לחם.