1940 yılında doğdu. Kabil Üniversite'nde İslam hukuku profesörü görevini yürüttü. Mısır'ın ünlü El Azhar İslam Üniversitesi'nde eğitim gördü.
Politik hayatının ilk yıllarında Afganistan'da iktidarda bulunan Sovyetlerin laik polikalarına karşı mücadele etti.
1992 yılında mücahit örgütleri tarafından devlet başkanı ilan edildi. Ancak 1996 yılında Taliban'ın başkent Kabil'i ele geçirmesi üzerine ülkenin kuzeyine kaçmak zorunda kaldı.
Zamanının büyük bir kısmını Taliban'a muhalif grupları birleştirmeye ayırdı.
Rabbani, Sovyet işgalinin ardından mücahit gruplarınca kurulan koalisyon tarafından 1992'de cumhurbaşkanlığına seçilmişti. Taliban'ın Kabil'i ele geçirmesiyle Tacikistan'a geçti. Kuzey İttiffakı'nı bir arada tutan politik lider olarak görev yaptı. Afganistan Barış Konseyi'nin başkanlığını yürütüyordu. 20 Eylül 2011 tarihinde suikast sonucu öldürüldü.
