Berangkat dari inisiatif Rektor IAIN Alauddin Makassar periode 1998-2002, Prof. Dr. H. Abd. Muin Salim, yang menyadari pentingnya lembaga pendidikan sebagai pusat pembinaan dan pengembangan generasi, menjadikan besar semangat dan keinginan beliau untuk merintis Yayasan Keluarga Besar IAIN Alauddin yang menjadi pondasi dasar pembangunan pesantren/madrasah madani. Yayasan tersebut diperkuat dengan akta notaris pendirian No. 29 Tahun 2001 tertanggal 20 Maret 2001.
Ibarat gayung bersambut, perintisan yayasan dilanjutkan dengan proses pendirian tertanggal 9 Oktober 2001 dimulai dengan keluarnya Surat Keputusan Badan Pengurus Yayasan Keluarga Besar IAIN Alauddin Makassar No. 2 Tahun 2001 tentang Persiapan Pengelolaan Pesantren/Madrasah Madani Alauddin. Tim Persiapan Pengelola mengawali kegiatannya dengan mengadakan seleksi penerimaan calon pengajar (pendidik) pada tanggal 20 Januari 2002, dan berhasil merekrut 14 orang pengajar. Berdasarkan SK Badan Pengurus Yayasan Keluarga Besar IAIN Alauddin Makassar No. 01 Tahun 2002 tanggal 17 Mei 2002.
Semangat membangun generasi yang sejak awal ditanamkan oleh pendiri Pesantren/Madrasah Madani Pao-pao segera diwujudkan dalam kegiatan penerimaan peserta didik baru tahun pelajaran 2002/2003. Ketersediaan sarana dan prasarana penunjang pembelajaran menjadikan Pesantren/Madarasah Madani Alauddin Pao-pao telah memenuhi kualifikasi sebagai lembaga pendidikan dan siap melaksanakan kegiatan pembelajran. Jumlah peserta didik yang diterima tahun pertama sebanyak 40 orang. Kegiatan penerimaan peserta didik ini adalah bagian dari rangkaian rencana penerimaan dan pendirian madrasah yang ditandai dengan keluarnya Surat Persetujuan Kepala Kantor Departemen Agama Kabupaten Gowa yang dimulai oleh Kepala Biro Kesra (Asisten IV).
Direktur, kepala madrasah, wakil kepala madrasah, dan tata usaha ikut melengkapi struktural Pesantren/Madrasah Madani yang diangkat dan disahkan dengan SK Badan Pengurus Yayasan Keluarga Besar IAIN Alauddin Makassar No. 04 Tahun 2002 Tanggal 01 Agustus 2002 tentang pengangkatan Direktur, Kepala Madrasah, Wakil Kepala Madrasah, dan Tata Usaha Pesantren/Madrasah Madani Pao-pao Kab. Gowa.
Demi meneruskan semangat pembinaan dan pengembangan wawasan keislaman dan bahasa asing, maka sejak tanggal 07 Oktober 2002 dimulai pembinaan bahasa Arab, bahasa Inggris, baca tulis al-Qur’an dan pengalaman ibadah oleh mahasiswa PKL plus dari Fakultas Tarbiyah dan Keguruan UIN Alauddin Makassar. Bimbingan tersebut berkelanjutan sebagai tindak lanjut kolaboratif antara UIN Alaudin Makassar dengan Pesantren/Madrasah Madani Pao-pao Kab.Gowa.Program PKL Plus UIN Alauddin yang dimulai tahun 2002 berlanjut sampai saat ini dan insyaallah hingga masa mendatang.
Perkembangan Madrasah Tsanawiyah Madani Alauddin yang makin pesat menjadi bahan evaluasi bagi pengurus yayasan untuk menindaklanjuti proses pembelajaran di Pesantren Madani. Keberlanjutan pembinaan lulusan madrasah tsanawiyah perlu mendapat perhatian. Oleh karena itu, perlu disiapkan wadah agar pembinaan wawasan keilmuan, khususnya wawasan keislaman berlangsung secara berkelanjutan di lingkungan Pesantren/Madrasah Madani.
Setelah tiga tahun berjalan, dimulai sejak TP. 2002/2003 s.d TP. 2004/2005, Yayasan Keluarga Besar UIN Alauddin cukup memeroleh pengalaman dan persiapan untuk membuka Madrasah Aliyah. Hal ini sebagai bentuk respon nyata agar pembinaan keilmuan dan pengembangan wawasan keagamaan di lingkungan Pesantren/Madrasah Madani berlanjut ke jenjang yang lebih tinggi. Pendirian Madrasah Aliyah tidak hanya bertujuan sebagai sarana untuk menampung lulusan Madrasah Tsanawiyah secara khusus, tetapi juga untuk mengakomodir siswa-siswa yang ingin melanjutkan pendidikan pada jenjang menengah atas secara umum di daerah Kabupaten Gowa dan Kota Makassar.
Ide ini dicetuskan oleh tiga tokoh yaitu Drs. Chaeruddin B, Drs. H. A. Achruh AB Pasinringi, M.Pd.I dan Drs. Sudirman Usman, M.Ag. Para pendiri ini kemudian merumuskan langkah-langkah strategis pembangunan termasuk penunjukan kepala Madrasah, akhirnya ditunjuklah Drs. Sudirman Usman, M.Ag sebagai kepala Madrasah Pertama MA. Tahun Pelajaran 2005/2006.

Pada tahun pelajaran 2005/2006 Madrasah Aliyah madani resmi membuka penerimaan siswa baru dan berlanjut sampai saat ini. Eksistensi Madrasah Aliyah diperkuat setelah keluarnya Surat Keputusan Kepala Kantor Wilyah Departemen Agama Propinsi Sulawesi-Selatan No. 173 tahun 2006 tentang PersetujuanPendirian Madrasah Aliyah Swasta di Lingkungan Kantor Wilyah Departemen Agama Propinsi Sulawesi Selatan. Kemudian legalitas sebagai Lab. School diakui secara hukum dengan terbitnya Surat Keputusan Rektor UIN Alauddin Makassar No.Un.06.2/Kp.07.6/98/2011 tentang Penetapan Laboratory School Fakultas Tarbiyah dan keguruan UIN Alauddin Pao-pao.
Sejak berdirinya, Pesantren/Madrasah Madani Alauddin (2001 s.d sekarang) telah dipimpin oleh beberapa Direktur, Wakil Direktur dan Kepala Madrasah sebagai berikut:
Direktur:
- Drs. H. Chaeruddin B., M.Pd. (2002-2009)
- Drs. H. Danawir Ras Rasburhani, M.Pd.I. (2005-2013)
- Dr. Hamka Ilyas, M.Th.I. (2013-2015)
- Dr. H. Andi Achruh AB. Pasinringi, M.Pd.I. (2015-2023)
- Dr. H. Syamsuri, SS., MA. (2023-Sekarang)
Wakil Direktur:
- Rappe, S.Ag., M.Pd.I. - Wadir I (2015-Sekarang)
- Muh. Iqbal, SH.I., MH.I. - Wadir II (2023-Sekarang)
Kepala Madrasah:
- Alm. Drs. Sudirman Usman, M.Ag. (2005-2008)
- Dr. Hamka Ilyas, M.Th.I. (2008-2013)
- Rappe, S.Ag., M.Pd.I. (2013-2016)
- Rina Kurnia, S.Pd, M.Pd. (2016-2020)
- Zainal ‘Alim, S.Si, S.Pd, M.PKim. (2020 - 2023)
- Rustan (2023 - Sekarang)