כשנתיים לאחר מכן הציעו לו לעבור למחלקת ה"ישיבה קטנה", שנקראה בימים ההם 'חריפתא'. לאחר שהרבי הורה לבדוק שאין בזה משום הסגת גבול, קיבל הרב אשכנזי את ברכתו.
במהלך ה"[[יחידות" ]] של זוגתו, בה דיבר הרבי אודות התפקיד בישיבה, חייך הרבי ואמר: "אייער מרן האט דאך סמיכה לרבנות"... (= לבעלך יש הרי סמיכה לרבנות)... כששמע הרב אשכנזי על כך, הפטיר שהוא חושש שיבוא יום שבו יצטרך לשמש ברבנותב[[רב|רבנות]].
הרב חיים אשכנזי שימש כמשגיח בישיבה כעשרים שנה, והעמיד אלפי תלמידים לתורה ולהנהגה חסידית. בשנים האחרונות עבר לשמש כמשפיע בישיבת 'תומכי תמימים' באור יהודה.