SMK Khir Johari telah dibuka pada tahun 1963 di sebuah bangunan dua tingkat yang sekarang masih digunakan oleh pelajar-pelajar tingkatan 1 dan tingkatan 2. Kelas aliran Melayu ini sebenarnya bermula dengan Sekolah Menengah Ibrahim, Sungai Petani pada tahun 1959. Pemindahan sepenuhnya berlaku pada tahun 1964  dengan pelajar-pelajar seramai 400 orang dari tingkatan 1 hingga tingkatan 5 dan 21 orang guru. Sekolah ini dikenali dengan nama Sekolah Menengah Kebangsaan Sungai Petani sehingga dirasmikan oleh Yang Berhormat Encik Khir Johari, Menteri Pelajaran ketika itu pada  6  Mei 1965 dan ditukarkan nama kepada Sekolah Menengah Kebangsaan  Khir Johari. Manakala pada tahun 1969 pula, 2 kelas Tingkatan 4 Aliran Sains telah dibuka. Pada tahun 1971, bilangan pelajar telah meningkat kepada 1128 orang kerana berlaku pertambahan kelas seperti berikut : 

a) Kelas Peralihan - 3 kelas              f) Tingkatan 4 (Sains) - 3 kelas

b) Tingkatan 1 - 7 kelas                     g) Tingkatan 5 (Sastera) - 4 kelas

c) Tingkatan 2 - 4 kelas                    h) Tingkatan 5 (Sains) - 3 kelas

d) Tingkatan 3 - 3 kelas                    i) Tingkatan 6R (Sastera) - 1 kelas

e) Tingkatan 4 (Sastera) - 2 kelas

dan dalam keadaan yang  mendesak, asrama sementara dibuka bertempat di sebuah bangunan yang asalnya Sekolah Melayu Sungai Petani dengan penghuninya 40 orang. Dengan kerjasama Sekolah Menengah Ibrahim dan Sekolah Menengah Che Tom masalah penempatan pelajar di SMK Khir Johari dapat di atasi sehinggalah apabila bilangan pelajar aliran Sains bertambah pada tahun 1972 menyebabkan penempatan di asrama kedua buah sekolah menjadi terhad kepada 80 orang sahaja. Keadaan ini menyebabkan pembukaan asrama sementara dibilik-bilik kelas bangunan rendah dengan kebenaran dan pengetahuan Ketua Pegawai Pelajaran Kedah. Bangunan Asrama Puteri yang digunakan sekarang mula didiami pada tahun 1972. Penghuni perempuan di tingkat atas, manakala penghuni lelaki di tingkat bawah. Pelajar-pelajar lelaki dipindahkan ke blok 2 tingkat yang baru di bina pada tahun 1986. Kelas tingkatan 6 rendah Sastera bermula pada tahun 1971 manakala Aliran Sains diwujudkan pada tahun 1973.Kini, SMKKJ mempunyai pelajar lebih kurang seramai 2200 orang pelajar dengan 130 tenaga pengajar serta 20 orang  kakitangan sokongan. Persekolahan satu sesi bermula sejak tahun 2003 melibatkan semua tingkatan dengan jumlah 63 bilik darjah.

Mulai tahun 2009 kemasukan pelajar ke SMK Khir Johari telah mula memberi keutamaan kepada pelajar yang mendapat keputusan minimum 4A1B dalam peperiksaan UPSR 2008. Semoga kegemilangan SMK Khir Johari akan kembali bersinar  seperti tahun-tahun awal penubuhannya dahulu.