Sejarah Perguruan Ma’had Islam Pekalongan adalah sejarah perjuangan yang tak pernah selesai. Sebab, misi yang dikandung oleh para pendirinya merupakan misi da’wah Islam yang panjang.  Cita-citanya tidak hanya membentuk kader-kader muslim yang pintar ilmu agama, melainkan memiliki ilmu pengetahuan umum yang luas.

Awal berdirinya Perguruan Ma’had Islam adalah beberapa bulan setelah pendudukan Jepang, di Pekalongan, tepatnya tanggal 8 Nopember 1942 (28 Syawal 1361 H).  Al Ustadz Abdullah bin Hamid Al-Hinduan bersama dengan murid-murid sekaligus sahabat seperjuangan beliau yaitu, Ustadz Zen bin Abdurrahman bin Yahya, Ustadz Basari Ahmad, Ustadz Mohammad bin Abdurrahman Baragbah, Ustadz Mohammad bin Ahmad Assegaf, dan Ustadz Muchsin bin Ali Alatas, mendirikan sebuah sekolah islam yaitu Sekolah Rakyat Partikelir Ma’had Islam, di Jalan Pesatean atau sekarang yang dikenal sebagai Jalan Cempaka, tetapi setahun kemudian sekolah itu pindah ke Jalan Dokriyan atau Jalan H. Agus Salim.

Tentu pilihan ini bukan sebuah kebetulan, mereka para pimpinan Madrasah telah mengenal Abdullah bin Hamid Al-Hinduan sang founding fathers, sebagai tokoh paling penting dalam pembaharuan pendidikan Islam, ia dianggap telah meletakkan sistem pendidikan atau model madrasah yang modern di Pekalongan. Gagasannya yang dibawa dari Mesir untuk merubah atau mengembangkan lembaga pendidikan Islam ke arah yang lebih maju semula hendak diimplementasikan ke Madrasah Arabiyah Islamiyah yang ada di Kampung Arab Pekalongan, almamaternya sebelum berangkat Ke Mesir. Tetapi saat itu gagasan tersebut belum dapat di pahami, karena dianggap sebagai sebuah pikiran yang “out frame“ atau kontroversial.

Pada tahun 1943 Pemerintah Fasisme Jepang mengeluarkan sebuah undang-undang sekolah swasta yang disebut dengan Osamoe Serei No. 22 tahun 1943. Dengan adanya Osamoe Serei ini maka terbukalah kesempatan bagi perguruan kita untuk menyatakan secara terbuka bentuk dan isi sekolah kita. Sekolah Rakyat Ma’had Islam pada saat itu mendapat perlindungan undang-undang serta mendapat Badan Hukum yang sah, dan dibentuklah BADAN WAKAF MA’HAD ISLAM dengan akte Notaris No. 5 tanggal 28-1-1944 ( Akte ini telah diperbaharui denga akte Notaris No. 15 tanggal 28-12-1959)

Perguruan Yayasan Mahad Islam telah mempunyai garis perjuangan dengan cita-citanya yang jelas tersebut dalam Anggaran Dasarnya seperti dibawah ini:

Asas: Agama Islam

Tujuan :

1. Berusaha memperbaiki dan memajukan perihal pendidikan dan pengajaran anak-anak kaum Muslimin dan muslimat.
2. Menguatkan pendidikan rohani dan jasmani dengan ajaran Islam
3. Meninggikan dan memperluas pengajaran dan pengetahuan Islam.

Adapun usaha-usahanya ialah :

1. Mendirikan sekolah-sekolah Islam swasta tingkat dasar, menengah pertama, menengah atas, dan perguruan tinggi
2. Memelihara dan mengembangkannya sesuai dengan kehidupan agama dan masyarakat serta peraturan-peraturan pemerintah.
3. Dalam keadaan yg memungkinkan, juga membiayai murid-murid yang mampu untuk melanjutkan pelajarannya ke sekolah-sekolah yang lebih tinggi dari sekolah Ma’had Islam baik di dalam ataupun di luar negeri.

Pengurus pertama Badan Wakaf Ma’had Islam pada saat itu terdiri dari :

1. Sdr. H. A. Djealani – Ketua

2. Almarhum Ust. A. Hinduan – Sekretaris

3. Al Ust. M. Baragbah – Bendahara

4. Almarhum Sdr. Djitrosuwarno   – Anggota

5. Sdr. Anwar Makarim – Anggota

Setelah dibentuk Majelis Guru dan Badan Wakaf, selanjutnya didirikanlah Sekolah Rakyat Partikelir Ma’had Islam di Jalan Pesatean No. 21 (Jalan Kenanga) dengan 5 buah kelas (I s/d V) dalam keadaan sederhana, baik bangunannya ataupun alat-alatnya.

Setahun kemudian sekolah tersebut pindah  ke gedung di Jalan Dokrian 10 (sekarang Dj. H.A Salim) bekas Sekolah Dagang Pekalongan dengan tambahan kelas VI (kelas terakhir). Tahun pertama Ma’had Islam meluluskan murid-murid kelas VI ialah tanggal 31 Juli 1944, dari jumlah murid yg mengikuti ujian, sebanyak 11 orang murid, lulus 9 orang murid, (ujian Pemerintah).

Pada Ma’had Islam mulai dikenal oleh masyarakat sebagai satu-satunya sekolah yg berdasarkan agama Islam yang didalamnya juga diajarkan pengetahuan umum sesuai dengan kurikulum pemerintah pada waktu itu. Memasukan pendidikan pengetahuan umum ke dalam kurikulum madrasah merupakan hal asing, bahkan oleh beberapa kalangan dianggap sebagai sebuah upaya mengurangi beban pelajaran agama di lingkungan madrasah, sedangkan sebagian yang lain menganggap sebagi sekolah yang kolot. Baru setelah dua tahun sejak gagasan dilontarkan, konsep itu baru dapat diterima, itupun hanya kalangan terdidik yang pada saat itu jumlahnya sangat sedikit. Perguruan Ma’had Islam, menjadi golongan tengah (ummatan wasathon) didalam segala gerak gerik dan tindak lakunya.

Semakin lama masyarakat dapat melihat manfaat dari konsep pembaharuan yang dilakukan oleh Ma’had Islam. Dukunganpun bermunculan dan mendapatkan wakaf bangunan di Kampung Arab (Jalan Surabaya). Bahkan setelah dua tahun sekolah Mahad berjalan, Madrasah Makrifatudin yang berada di kelurahan Krapyak Kidul menyatakan bergabung dengan Ma’had Islam dan kemudian langkah itu disusul oleh Madrasah Arabiyah Islamiyah.

Ide tentang Sekolah Dasar Islam yang memadukan pelajaran agama dan pengetahuan umum terus meluas. Di wilayah kota, kabupaten gagasan ini terus meluas. Sebagian berdiri sendiri tetapi sebagian yang lain menjadi afiliasi dan ada juga yang kemudian bergabung dalam lingkungan yayasan.