Sekolah ini diasaskan atas cadangan beberapa orang kenamaan dan mendapat sokongan padu serta bantuan kewangan daripada masyarakat Tiong Hua tempatan. Sekolah ini dinamakan "Sekolah Wei Sin" bersempena dengan nama sebuah syarikat percetakan akhbar iaitu "Syarikat Percetakan Akhbar Wei Sin". Pada peringkat awal telah menyewa sebuah rumah di Jalan Balik Bukit sebagai sekolah sementara dengan 60 orang pelajar sahaja. Akibat pertambahan pelajar sekolah ini telah berpindah ke sebuah rumah kedai sewaan yang terletak di Jalan Kedai Binjai ( kini ialah Hotel Sri Malaysia ).

Pada tahun 1919, sebuah bangunan baru siap dibina di atas sebidang tanah seluas 1760 kaki persegi di Jalan Tok Lam hasil sokongan serta sumbangan kewangan daripada Mendiang Encik Tui Chien dan telah dirasmikan oleh Penasihat British, Mr. Vonsley. kesemua pelajarnya adalah pelajar lelaki dan sekolah ini telah dinamakan "Sekolah Rendah Wei Sin".

Sebuah rumah kedai di Jalan Banggol telah disewa pada tahun 1924 bagi membolehkan pelajar perempuan turut mendapat pendidikan. sekolah khas untuk pelajar perempuan telah ditutup beberapa tahun kemudian kerana digabungkan dengan Sekolah Rendah Wei Sin yang bertempat dijalan Tok Lam. Perang Dunia Kedua yang meletus pada tahun 1941 telah menyebabkan Tanah Melayu telah ditawan oleh Jepun. Sekolah Rendah Wei Sin telah dijadikan sekolah aliran bahasa Jepun menyebabkan bilangan pelajar semakin berkurangan dan kesemua harta benda serta rekod sekolah turut termusnah. Usaha mengendalikan pengoperasian semula telah dibuat pada 1945. Pada tahun 1946 sekolah telah beroperasi semula. Hasil derma ikhlas yang dikutip oleh Jemaah Pengelola yang diketuai oleh pengerusinya, Mendiang Encik Cheng Wei Ren, sepuluh buah rumah papan dibina bagi menampung bilangan pelajar yang semakin bertambah.

Pada tahun 1949, En. Chang Ya Gu telah mencadangkan kepada Jemaah Pengelola agar menubuhkan sebuah sekolah menengah di Sekolah Rendah Wei Sin kerana belaiu menyedari masalah kegagalan pelajar melanjutkan pelajaran akibat kemiskinan. Cadangan beliau telah diluluskan.

Menjelang tahun tahun 1950 sekolah menengah aliran Cina yang baru telah ditubuhkan dan dinamakan Sekolah menengah Chung Hwa. Semua perbelanjaan ditanggung oleh masyarakat Tiong Hua tempatan. Manakala pelajar pula dikehendaki membayar yuran $10 sebulan. Sekolah dimulakan dengan 7 orang pelajar lelaki dan 2 orang pelajar perempuan. Mendiang Encik Chang Ya Gu menjadi Pengetua Sekolah yang pertama.