הרב הלוי נולד וגדל בירושלים, בשכונת אוהל משה. אביו, משה, עלה עם משפחתו מהעיר בורסה שבטורקיה לארץ ישראל כשהיה בגיל 16. אימו, ויקטוריה לבית קראקו, הייתה גם היא בת למשפחה שעלתה מטורקיה.

במלחמת העצמאות שירת בגדוד "טוביה", שהיה גדוד של בחורי ישיבות. לאחר המלחמה נישא למרים לבית ועקנין. מיד לאחר נישואיו נבחר להיות רב השכונות מי נפתוח (הכפר ליפתה) ורוממה בירושלים ובמקביל שימש כמזכירו האישי של הרב עוזיאל. בשנת תשי"א נבחר להיות רב העדה הספרדית בעיר ראשון לציון. הכרך הראשון של הספר "מקור חיים השלם", אשר הרב הלוי החשיבו לגולת הכותרת של יצירתו, יצא לאור בתשכ"ז. ייחודו של הספר היה בסגנונו, בשילוב דברי הלכה ואגדה, וקיבוץ הלכותיהם ומנהגיהם של העדות. בשנת תשכ"ד  נבחר לצעיר חברי מועצת הרבנות הראשית החמישית. הוא כיהן במועצת הרבנות עד יום מותו.

  פתיחות הלכתית נוספת אצל הרב הלוי ניתן לראות בתפיסת הפסיקה ההלכתית כתלויית הקשר וכמתחדשת. לדידו, נצחיות התורה מובטחת דווקא כאשר ההלכה נענית לנסיבות הקונקרטיות של הווה: "רק משום שניתנה הרשות לחכמי ישראל לדורותיהם לחדש חידושי הלכה על פי שינויי הזמנים והמקרים, ורק בזכות זה נתאפשר קיומה של תורה בישראל, ויכולים היו 'ללכת' בדרך התורה והמצווה".

נפטר בי"ב באדר תשנ"ח .