חזני נולד בבנדין, פולין. הוא למד בישיבת "תורת חיים" בוורשה, והוסמך לרבנות. כמו כן, למד חזני לימודים כלליים, ונבחן בבחינות הבגרות בצורה אקסטרנית. חזני עלה ארצה בשנת 1932.

לאחר עלייתו לארץ עבד כפועל חקלאי, והיה מראשוני כפר יעבץ. לאחר מכן התגורר חזני בכפר הרא"ה ובכפר אברהם.

כמו כן היה חזני ממייסדי "השומר הדתי" ומפעילי "החלוץ המזרחי", ופעיל בארגון "ההגנה".

חזני אף עבד במרכז החקלאי של הפועל-המזרחי, ולימים כיהן כיושב-ראש המרכז. בתפקידו זה פעל רבות להתרחבות ההתיישבות הדתית, והיה אב ופטרון להתיישבות הדתית בארץ ישראל. חזני אף כיהן כחבר הנהלת מוסד הרב קוק בירושלים.

חזני נבחר לראשונה לכנסת כחבר הכנסת השנייה בשנת 1951, וכיהן בה ברציפות עד ליום פטירתו, באמצע ימיה של הכנסת השמינית, בשנת 1975. חזני כיהן כחבר כנסת מטעם סיעת הפועל המזרחי, והחל משנת 1955, עם איחוד המזרחי והפועל המזרחי – כחבר כנסת מטעם סיעת המפד"ל. חזני כיהן כחבר הוועד הפועל של ”הפועל המזרחי” וחבר הנהלת המפד”ל.

הוא כיהן בכנסת השנייה והשלישית כחבר בוועדת הפנים, והחל בכנסת השלישית ועד הכנסת השביעית כיהן ברציפות כחבר בועדת הכספים, והיה מעמודי התווך של ועדת הכספים, (ולאחר מכן - של ועדת השרים לענייני כלכלה), וממעצבי המדיניות הכלכלית והפיננסית של מדינת ישראל.

לאחר הבחירות לכנסת השביעית וכינון ממשלתה השנייה של גולדה מאיר, נבחר חזני ב-22 בדצמבר 1969 לכהן כסגן שר החינוך והתרבות. כסגן שר החינוך יישר הדורים עם השר הממונה, ושיפר בהרבה את הגישה והאהדה למוסדות החינוך הדתי.

בכהונתו כשר הסעד נודעה ברבים דאגתו וחרדתו לחלשים ולחסרי האונים שבחברה הישראלית, נזקקי הסעד, ללא הבדל בין יהודים לשאינם יהודים. כשר הסעד הנהיג גישה של סעד ממלכתי לנזקקים, בזכות ולא בחסד, והעלה, באמצעות מאבקים רבים על תקציבו, את משרד הסעד לדרגה של אחד מן המרכזיים שבמשרדי הממשלה.

חזני כיהן בתפקיד זה משך שלוש שנים וחצי, בשתי ממשלותיה של גולדה מאיר, עד לפרישתו מממשלת גולדה מאיר ב-4 באפריל 1974. במשך כשבעה חודשים שב חזני לכהן כחבר כנסת מן המנין, ועם הצטרפותה המאוחרת של המפד"ל לממשלתו של יצחק רבין, ב-29 באוקטובר 1974, שב חזני לכהן כשר הסעד, עד ליום פטירתו.

חזני הלך לעולמו תוך כדי סיור עבודה בצפון, ביום כ"ג בתמוז ה'תשל"ה, 2 ביולי 1975, מספר ימים לאחר יום הולדתו ה-62.

על שמו של השר מיכאל חזני נקרא היישוב נצר חזני בגוש קטיף, שהוקם כהאחזות נח"ל בשנת 1973, ולקראת אזרוחה של ההאחזות, והעלייה לקרקע, הוסב שמה בחודש שבט ה'תשל"ז (פברואר 1977), בהסכמת ראש הממשלה דאז, יצחק רבין לנצר חזני. היישוב נצר חזני פונה מיושביו במסגרת תוכנית ההתנתקות בתאריך י"ג במנחם-אב ה'תשס"ה, 18 באוגוסט 2005.

כמו כן, נקרא על שמו של השר חזני בית הספר המרכזי לעובדים בשירותים החברתיים שעל יד משרד הרווחה, הממוקם בקרית הממשלה בירושלים.