בצעירותו למד בישיבותיה של ירושלים, ובהיותו צעיר כבר נתפרסם כתלמיד חכם מובהק ובעל כשרונות מופלאים. בין השאר למד בישיבת "אהל משה", והיה לאחד מהתלמידים המצויינים שם.
לאחר שכ"ק [[אדמו"ר הרש"ב]] ייסד את ישיבת [[תורת אמת חברון]] לפני [[מלחמת העולם הראשונה]], עבר הרב אורנשטין ללמוד בה. למרות שלא למד קודם לכן את תורת החסידות, הצליח בזמן קצר לעלות במעלות החכמה של הלמודים העמוקים בתורת [[חסידות חב"ד]]. הוא המשיך בלימודיו ב"תורת אמת" עד פרוץ מלחמת העולם הראשונה, אז נסגרה הישיבה.
===מלחמת העולם הראשונה===