Semula SMP Negeri 36 adalah sekolah filial atau kelasjauh dari SMP Negeri 3 yang terletak di Manggarai Utara yang di buka pada tanggal m01 Juli 1962, dengan pimpinan sekolah adalah bapak Darpiyatna. Siswanyaberasal darikelas I, II dan III SMP Negeri 3 yang bertampat tinggal di wilayah Kecamata Kampung Melayu. Letak kelas jauh tersebut di Gang Ayub No. 5 Bidara Cina di Gedung Madrasah Ibtidaiyah Islamiyah akan tetapi Gedung tersebut tidak memenuhi syarat.

Bapak Darpiyatna kemudian berusaha mencari Gedung lagi, bekerjasama dengan ketua Yayasan Islamiyah di Madarasah Cawang I. akhirnya filiah SMP Negeri 3 diizinkan menggunakan Gedung Madrasah Ibtidaiyah Islamiyah di Cawang I. pada tanggal 1 Agustus 1962 pindahlah filial SMP Negeri 3 dari gang Ayub, semua serba darurat akan tetapi kegiatan dapat berjalan dengan lancer. Adapun Guru-gurunya terdiri dari 1 (satu) kepala sekolah, 12 (duabelas) staff pengajar dan 10 (sepuluh) karyawan.

Pada tahun pertama sekolah tersebut sudah mengadakan Ujian, hasinya sangat memuaskan dengan persentase kelulusan 99%. Dengan prestasi itu maka pada tanggal 14 September 1963, SMP Negeri 3 filial di beri nomor sendiri menjadi SMP Negeri 36 Jakarta dengan Surat Keputusan Kepala Perwakilan Departemen Pendidikan dan Kebudayaan No. 63/E/K/1963.

Dengan surat Keputusan itu maka SMP Negeri 36 Jakarta sudah berdiri sendiri. Murid bertambah banyak, perangkat sekolah belum dimiliki, keuanganpun sulit. Untuk mengurangi beban tersebut bapak Utje Rosita membentuk koperasi guru dan pegawan SMP Negeri 36 dengan singkatan KOSPIGURPA.

Pada tahun 1964 Kepala Sekolah bapak Darpiyatna pindah tugas ke SMP Negeri 14 dan digantikan oleh bapak Julius Rikin.Pada tahun 1966 Kepala Sekolah bapak Julius Rikin pensiun dan digantikan oleh bapak Abdul Wakil. Bapak Abdul Wakil berusaha untuk mencari Gedung baru dan mendapat izin untuk menempati Gedung SD di jalan Setia yang baru saja selesai dibangun, peresmianpun dilaksanakan.

Pada tahun 1969 pemerintah mendirikan Gedung-gedung sekolah baru diantaranya di Kebon Pala dan di Jalan Pedati. SMP Negeri 36 yang sering berpindah-pinda hitu praktis mengakibatkan hal-hal yang tidak diinginkan. SMP Negeri 36 tidak memiliki inventaris apapun kecuali bangku-bangku dan meja-meja tua yang hampir using.

Hal itu pula yang menyebabkan pihak pemerintah daerah merasa prihatin pada nasib SMP Negeri 36. Sehingga pada akhir tahun 1969 SMP Negeri 36 Jakarta diberi Gedung baru di jalan Pedati, dengan jumlah ruang kelas hanya 6 ruang. Tepat pada tanggal 1 Juli 1970 SMP Negeri 36 Jakarta pindah dari SD di jalan Setia ke Gedung baru yang terletak di jalan Pedati.

Meskisarana dan prasarananya terbatas tentunya membuat rasa yang sangat senang dan Merdeka karena dapat memiliki Gedung sendiri yang dapat kita tempati hingga sekarang ini. Di Gedung tersebut kita bertahan hingga 30 tahun. Pada tahun 2000 SMP Negeri 36 Jakarta terpaksa harus mengungsi ke SD Bali Mester 04, karena Gedung rusak berat dan di rehab total oleh pemerintah. Pada tanggal 11 Desember 2002 kita kembali lagi ke gedung SMP Negeri 36 yang sudah diperbaharui.Setelah rehab selesai dan menempati Gedung baru, guru-guru mudapun berdatangan untuk ikut bergabung dalam mencerdaskan para Peserta Didik menuju masa depan yang lebih baik dan yang dicita-citakan.