שינויים

לאחר ייסוד התלמוד תורה והכולל החליט לבנות גם ישיבת [[תומכי תמימים בני ברק|תומכי תמימים]] בעיר. כששאל על כך את הרבי, השיב לו: "הרווח כולו יהיה שלי". הרעיון התעכב מספר שנים וב[[חודש אלול]] [[תשנ"ד]] פתח [[ישיבה קטנה]] ולאחר שנתיים אף [[ישיבה גדולה]]. בעקבות פתיחת הישיבה עזב את ניהול התלמוד תורה (אותו מנהל כיום הרב ירחמיאל בלינוב) והשקיע בעיקר בפיתוח הישיבות שייסד. כראש הישיבה הביא את הרב [[חנניה יוסף אייזנבך]]. בשלב מסויים הופרטו הישיבה ה'קטנה' וה'גדולה' והרב רוזנברג יחד עם שני בניו - לוי ושמואל, שהצטרפו לניהול - התמסרו לניהול הישיבה קטנה. באותה תקופה בנה הרב רוזנברג מבנה בן שש קומות, בשכונת 'פרדס כץ' בבני ברק, עבור ה'ישיבה קטנה'.

בשנת תשס"ב הקים הרב רוזנברג בחסות הישיבה ארגון חסד בשם "לב טוב" לחלוקת חבילות מזון לקראת חגי [[ניסן]]-[[תשרי]] עבור משפחות נזקקות. במהלך השנים חולקו למעלה מרבבת סלים לנזקקים.