SRK St. James dibuka dan ditubuhkan oleh Ahli Lembaga Gereja Anglikan pada awal kurun ke-19. Selain daripada mendidik, tujuan utama ialah untuk mengembangkan serta menyebarkan agama Kristian.

"St. James School" mengambil nama seorang pengikut nabi Isa a.s. iaitu "James". Ketika kepulauan Borneo dilanda perang dunia ke-2, sekolah ini ditutup sehingga perang tamat dan Jepun menyerah kalah. Kesan perang banyak meninggalkan pengalaman ngeri kepada penduduk setempat terutama pengasasnya.

Sekolah ini dibuka semula pada tahun 1948 dan pihak gereja mengambil alih dari segi tanggungan kos pembinaan bangunan baru. Ketika ini bahasa pengantarnya ialah Bahasa Inggeris.

Pada tahun 1957, setelah Tanah Melayu diisytiharkan merdeka sekolah ini ditukar kepada "Sekolah Rendah Kebangsaan" dan bahasa pengantarnya ialah Bahasa Melayu.

Pada tahun yang sama,kerajaan negeri melalui Jabatan Pelajaran telah mengambilalih pentadbiran pendidikan di sekolah ini dan membina sebuah bangunan baru separuh papan. Pada tahun 1958, bangunan baru tersebut siap sepenuhnya dan memulakan sesi persekolahannya yang pertama selepas perang. Sambutan penduduk setempat amat menggalakkan  dengan pendaftaran seramai 85 orang pelajar dengan 5 orang guru serta seorang Guru Besar iaitu Mr. Tay Lov.

Sekolah ini telah melahirkan ramai pemimpin negara/negeri. Antaranya ialah Allahyarham Tun Datu Hj. Mustapha Datu Harun, Allahyarham Tun Fuad Stephen dan Datuk Seri Chong Kah Kiat.

Sehingga sekarang, fizikal bangunan sekolah ini tidak banyak berubah. Walau bagaimanapun beberapa kemudahan asas telah dibina seperti dewan serbaguna, pondok menunggu dan tandas pelajar selain "renovation" yang telah diusahakan oleh YB Datuk Seri Chong Kah Kiat pada tahun 2000.