הרב יואל כהן נולד בשנת תרצ"ב ברוסיה, לאביו הרב רפאל נחמן כהן.
בשנת תרצ"ו עלה ארצה עם משפחתו והתגורר ברמת גן. בשנות צעירותו התגורר בקהילה החסידית שהתפתחה בארץ הקודש באזור תל אביב רמת-גן.
למד בישיבת אחי תמימים תל אביב אצל המשפיע ר' חיים שאול ברוק, ובגיל 18, בשנת תש"י, הלך ללמוד אצל אדמו"ר הריי"צ נ"ע. בבואו לארה"ב נודע לו מהסתלקותו. אמנם הוא החליט להישאר והתקשר בכל עוז לכ"ק אדמו"ר שליט"א.
הוא החל לחזור את התוועדויותיו של כ"ק אדמו"ר שליט"א. נודע בשילוב בין זיכרון מדהים, יכולת העמקה בלתי רגילה וחוש הסברה מפותח.
בין השאר ידועה האפיזודה מחג השבועות תשי"ב לפנות בוקר, שר' יואל היה במקווה, וכ"ק אדמו"ר שליט"א לא התחיל באמירת מאמר עד שהגיע.