אורלב למד באוניברסיטה העברית בפקולטה למדעי החברה והרוח. הוא בוגר המכון התורני הפדגוגי, מכללת מורשת יעקב אשר ברחובות ורואה את מקצועו כמחנך. כיהן כמנכ"ל משרד הדתות וכמנכ"ל משרד החינוך והתרבות.

  במפד"ל כיהן אורלב כמזכ"ל המפלגה וכחבר כנסת מטעמה, החל מהכנסת ה-15 (1999), בין היתר כיו"ר ועדת חינוך, התרבות והספורט. כמו כן, נטל חלק בעבודתן של הוועדות לענייני ביקורת המדינה, פניות הציבור, הכנסת, בוועדה המיוחדת לנושא הנשירה מבתי הספר ובוועדות החקירה הפרלמנטריות בנושא משק המים ובנושא האלימות בספורט. אורלב נודע בין היתר בפעילותו למען זכויות בעלי החיים; במרץ 2000 הוא יזם תיקון לחוק צער בעלי חיים, לפיו ביצוע חיתוך ברקמה חיה של בעל-חיים למטרות נוי - יאסר. אורלב הוכתר למחוקק המצטיין של הכנסת ה-15.

  אחרי בחירות 2003 נכנסה המפד"ל לממשלת שרון השנייה. אורלב קיבל את תיק הרווחה ואילו אפי איתם קיבל את תיק השיכון והבינוי. בשלהי שנת 2004, עת הייתה המפד"ל חברה בממשלה ותכנית ההתנתקות של אריאל שרון החלה לצבור תאוצה, הואשם אורלב על ידי מתנגדי התוכנית כי הוא "שותף לדבר עקירה". תקופה זו עמדה בסימן מאבק פנימי במפד"ל בין אורלב לבין אפי איתם, יו"ר המפד"ל דאז, שייצג את הזרם החרד"לי. איתם הוביל קו נוקשה של פרישה מהממשלה בגלל ההתנתקות ואילו אורלב תמך בהשארות בממשלה ואף הצליח להעביר החלטה ברוח זו במרכז המפלגה. בנובמבר 2004 עזב אורלב את תפקידו כשר הרווחה כאשר פרשה מפלגתו מן הממשלה עקב אישור תוכנית ההתנתקות בכנסת, וגל הביקורת עליו מצד מתנגדי ההתנתקות - שכך.

  כיום בכנסת ה-17 מכהן אורלב כיושב ראש הוועדה לענייני ביקורת המדינה וכחבר ועדת החינוך, התרבות והספורט. בתחילת כהונתה של הכנסת ה-17, כיהן אורלב גם כיו"ר וועדת המדע והטכנולוגיה.