Sekolah ini bermula sebagai sebuah sekolah yang didirikan pada tahun 1960 oleh kerajaan British Borneo Utara. Pada mulanya ia dikenali sebagai Goverment Secondary School (GSS) Kudat. Ia merupakan sekolah tertua di daerah kudat. Pada awalnya sekolah ini menggunakan dua bahasa pengantar iaitu Bahasa Inggeris dan Bahasa Cina.

Kemerdekaan Sabah melalui Persekutuan Malaysia pada tahun 1963 telah membawa perubahan . Selaras dengan perubahan Dasar Pendidikan Kebangsaan yang menjadikan Bahasa Melayu sebagai bahasa pengantar menyebabkan sekolah ini mula menggunakan Bahasa Melayu sebagai bahasa pengantar di samping penggunaan Bahasa Inggeris. Nama sekolah turut diubah dengan menggunakan nama Sekolah Menengah Kebangsaan Kudat. Pada 1972 ditukar balik kepada SMK Abdul Rahim.

Pertambahan pesat bilangan pelajar menyebabkan sekolah asal tidak dapat menampung keperluan bilangan pelajar yang semakin bertambah. Hal ini menyebabkan kerajaan telah membina sebuah kompleks yang baru untuk sekolah ini pada tahun 1979 di tapak yang ada sekarang. Pembinaan ini selesai pada tahun 1983 dan mula digunakan pada tahun 1984. Bangunan asal yang ditinggalkan terus menggunakan nama Sekolah Menengah Kebangsaan Pekan, Kudat sehingga sekarang. Sekarang dikenali sebagai SMK Kudat.