Bangunan Masjid Raya Ganting memiliki gaya arsitektur Timur Tengah dan Eropa awalnya dibangun sangat sederhana pada tahun 1790. Bangunan dibuat dari bahan kayu dan atap dari rumbia. Atas prakarsa dari tokoh masyarakat setempat yaitu angku Gapuak (saudagar), Angku Syeh Haji Uma (tokoh masyarakat), dan angku Syeh Kepala Koto (ulama) bersepakat untuk mendirikan masjid yang lebih baik lagi pada tahun 1805. Masjid didirikan di atas tanah wakaf dari masyarakat suku Chaniago dan biayanya diperoleh dari para saudagar yang berasal dari Padang, Sibolga, Medan, Aceh, dan ulama Minangkabau.

Pembangunan masjid mendapat simpati dari seorang anggota Corps Genie Belanda berpangkat kapten yang menjabat sebagai Komandan Genie Sumatera Barat dan Tapanuli. Pada tahun 1810 masjid dapat diselesaikan pembangunannya. Lantai terbuat dari batu kali bersusun diplester tanah liat. Lantai diganti dengan semen setelah didapatkan penggantian semen yang diperoleh da ri luar negeri (Jerman). Pada tahun 1900 dilaksanakan penggantian lantai dengan ubin segi enam berwarna putih es berasal dari Belanda yang dipesan melalui jasa NV. Jacobson van de Berg. Pemasangan ubin ditangani oleh tukang yang ditunjuk langsung oleh pabrik dan selesai pada tahun 1910. Pada tahun 1960 dilakukan pemasangan keramik pada tiang ruang utama yang aslinya terbuat dari bata, sedangkan tahun 1995 dilakukan pemasangan keramik pada dinding ruang utama.