Masjid ini digagas oleh Tuanku Chedoh yang diperkirakan dibangun tahun 1840 dengan langgam bentuk masjid khas arsitektur Minangkabau.
Jika saja hal ini benar maka diperkirakan usia mesjid ini sudah hampir 200 tahun.
Secara umumnya masjid ini berbahan kayu yang tidak begitu banyak mengalami perubahan hingga saat ini.
Masjid ini menjadi saksi berkembangnya Kota Payakumbuh tempo kolonial dengan ada kedudukan regent di daerah ini.
Regent pada masa pemerintahan belanda yang berarti Bupati pada kala itu.
Saat ini telah ditetapkan sebagai inventaris cagar budaya dan masjidnya masih digunakan sebagai tempat ibadah, belajar agama Islam dan musyawarah masyarakat.
Karena, waktu dulu masjid ini berada di tengah-tengah nagari berdekatan dengan Balai Adat Nagari "Balai Nan Duo.
Mesjid gadang koto nan IV ini salah satu mesjid tertua di Indonesia menurut wikipedia mesjid ini dinding kayunya belum pernah diganti sampai saat ini.
Hanya saja atap ijuknya yang yang diganti karena rangka yang sudah lapuk diganti dengan seng.
Antara atap yang atas dengan bawahnya diberi dinding papan yang berhiaskan ukiran matahari, sedangkan antara atap tengah dan bawah juga diberi pembatas dinding papan dengan ukiran yang hampir sama.
Masjid Gadang Balai Nan Duo merupakan suatu kompleks yang terdiri dari beberapa bangunan.
Bangunan utama adalah masjid yang berada dibagian tengah, kemudian bangunan tambahan berupa perpustakaan, TPA (sisi barat), dan wc dan rumah garin di sisi selatan (depan pintu masuk masjid).
Pada sisi selatan masjid (pintu masuk) terdapat anak tangga yang terbuat dari semen dilapisi keramik warna putih dengan ukuran luas 7 m x 4 m. Tangga masuk ini berbentuk melingkar.
