Madrasah Aliyah Negeri Kabanjahe adalah salah satu lembaga Pendidikan Agama yang terdapat di Kabupaten Karo yaitu, di Kabanjahe yang letaknya di Kelurahan Gung Negeri dan berdiri pada tanggal 2 Januari 1973. Bila kita menuju perjalanan dari Kabanjahe menuju arah desa Samura, maka kurang lebih 1,5 km dari Kota Kabanjahe, tepatnya sebelah kanan Jalan Desa Samura Sekolah ini berada kurang lebih 100 M masuk ke dalam atau tepatnya berada pada gang Madrasah serta memiliki luas tanah 1.990 M2. Madrasah Aliyah Negeri kabanjahe didirikan karena melihat banyak minat Masyarakat terhadap Pendidikan Agama , maka timbullah gagasan atau ide dari tokoh-tokoh Agama setempat untuk mendirikan suatu Sekolah Agama. Semenjak berdirinya Sekolah Agama tersebut sebelumnya bukan Madrasah Aliyah melainkan pada mulanya adalah PGA persiapan Negeri 6 Tahun, gagasan Pendidikan PGA tersebut baru terwujud pada bulan Januari 1973 masih disebut PGA persiapan Negeri 6 Tahun yang dipelopori oleh seorang Tokoh Agama di Kabanjahe yaitu Bapak M. Salim Z.BA dan didukung beberapa pemuka Agama lainnya seperti Bapak Cakap Purba, Bapak H. Murni, yang tujuannya adalah untuk mendidik anak-anak agar memiliki ilmu Pengetahuan di Bidang Agama sehingga pelajaran Agama tersebut dapat diperoleh setiap hari, Peralihan nama dari PGA Persiapan Negeri 6 Tahun menjadi Madrasah Aliyah Swasta ( MAS ) Kabanjahe berdasarkan SK .3 ( tiga) Menteri yaitu :
1. Menteri Agama NO.6 Tahun 1975
2. Menteri P dan K NO. 037 Tahun 1975
3. Menteri Dalam Negeri NO. 36/U/1975
Tentang penghapusan / penutupan PGA persiapan Negeri dan dialih fungsikan menjadi Madrasah dengan ketentuan dari Kelas 1,II dan III PGA menjadi Tsanawiyah dan dari Kelas IV, V, dan VI menjadi Madrasah Aliyah , Peralihan ini mulai berlaku pada Tahun 1979/1980 untuk Sumatera Utara sebelum Madrasah ini mempunyai gedung sendiri, Pendidikan ini dilaksanakan di Masjid Agung Kabanjahe .karena belum memiliki gedung sendiri , maka Masjid tersebut terlebih dahulu dimanfaatkan untuk menyelenggarakan Pendidikan mengingat siswanya semangkin Tahun semangkin bertambah sehingga Masjid yang digunakan untuk sarana Pendidikan tersebut tidak dapat lagi menampung siswa untuk belajar, Pada bulan Nopember 1980 , Kepala Madrasah Aliyah Bapak Abd Malik Manik BA mengundang guru-guru dan orang tua/wali murid untuk musyawarah agar dibangun gedung Madrasah sendiri , Usul Kepala Madrasah Aliyah di terima oleh para orang tua/wali murid dan langsung dibentuk Panitia yang diketuai oleh Bapak H Akhdar Bunaiya Harahap BA dan Sekretarisnya Bapak Drs Baharuddin Pardosi, Usaha Panitia Pembangunan pertama sekali adalah mempersiapkan Tanah pertapakan seluas 200 M2 , cara yang ditempuh Panitia Pembangunan untuk memperoleh pembebasan tanah tersebut diatas adalah dengan meminta sumbangan dari orang tua /wali murid untuk berwakaf seluas 2 m/ wali siswa, dan kekurangannya diperoleh dari Dermawan Islam , baik yang berada di Kabanjahe maupun diluar kota Kabanjahe . Dengan waktu yang relatif singkat Tanah pertapakan dapat dibebaskan sesuai dengan yang direncanakan , kemudian Panitia berusaha untuk mendatangkan para Dermawan Muslim dari Medan, berkat Usaha Panitia Pembangunan , Gedung Madrasah Aliyah dimulai peletakan Batu pertama nya pada tanggal 5 Agustus 1985 bangunan telah selesai, dan pada tanggal 21 Nopember 1985 lokal baru tersebut dipakai sampai sekarang dan sekaligus menjadi Negeri yang diresmikan pada tanggal 25 Oktober 1993 oleh Menteri Agama dengan Nomor : 244 Tahun 1993
Seiring berjalannya waktu Madrasah Aliyah Negeri Kabanjahe berubah nama menjadi Madrasah Aliyah Negri Karo ( MAN KARO).