Pada usia yang masih muda itu juga beliau dilepas orang tuanya pergi mengaji ke Surau Tuanku Mato Aia Pakandangan Pariaman. Di sana beliau mempelajari Ilmu Nahwu dan Sharaf. Selanjutnya pindah ke Batu Taba di surau Tuanku Mato Angin, beliau belajar Fiqih . Kemudian ke Ladang Laweh mengaji dengan Tuanku Abdul Samad di surau Biaro Ampek Angkek. Juga beliau belajar dengan Syekh Jalaluddin Alkasai di Sungai Landai Banuhampu. Terakhir beliau belajar dengan Tuanku Abdul Hamid di Suliki Paya Kumbuh.

Dalam usia 19 tahun beliau berangkat ke Mekah untuk mendalami Ilmu agama bersama kakaknya Abdul Malik tepatnya di bulan Rajab th 1320 H/ 1901 M. Di Mekah beliau mengaji pada syekh Ahmad Khatib Al Minang Kabawy (1815 - 1915), yang menjadi imam masjidil haram dari mazhab Syafei. Beliau juga dibimbing oleh Syekh Muhammad Djamil Djambek, Syekh Ali Bin Husein, Syekh Mukhtar Al-Jawi dan Syekh Yusuf Al Hayat.

Sekembalinya beliau dari Mekah yang pertama tahun 1910 M beliau mengadakan pengajian secara halaqah di Parabek. Anak muda pun berdatangan ke Parabek ingin menuntut Ilmu kepada beliau, baik dari daerah - daerah di Minangkabau.

Pada tahun 1914 beliau pergi ke Mekah kali yang kedua untuk menambah Ilmunya bersama istri beliu Syarifah Ghani dan anak beliau Thaher Ibrahim. Beliau pulang ke Bukittinggi tahun 1916. Sementara kepergian beliau ke Mekah selama dua tahaun dua tahun itu, beliau mempercayakan pengajian di Parabek kepada murid - murid beliau .

Pada tahun 1918 beliau menyatukan murid - muridnya itu dalam satu organisasi diberi nama Muzakaratul Ikhwan dan terakhir diberi nama Jamiatul Ikhwan.

Akhirnya pada tahun dua puluhan, bersama sama dengan Dr. Syekh H. Abdul Karim Amarullah ( Inyiak De-er ), beliau sepakat mendirikan Sumatera Thawalib. Di Padang Panjang didirikan oleh Inyiak De-er, sedangkan di Parabek didirikan oleh beliau sendiri dan diubahlah organisasi pelajar Jamiatul Ikhwan menjadi Sumatera Thawalib .

Pada awal tahun 1926 membangun gedung Sumatera Thawalib Parabek 7 lokal. Sistim pendidikan yang dikembangkan oleh Syekh Ibrahim Musa menekankan kepada kemandirian murid - murid dalam berbagai lapangan kehidupan dan untuk menunjang proses pendidikan itu didirikanlah perpustakaan, koperasi, asrama , lapangan olah raga dan lainnya. Juga beliau tidak pernah menekankan pada muridnya untuk mengikuti mazhab Syafi'I. Beliau memberikan kebebasan pada murid - muridnya untuk memilih satu mazhab .

Profil Syekh Ibrahim Musa tercium oleh pihak kolonial beliau terus ditekan dan dicurigai ruang gerak oleh kolonial beliau ikut serta dalam perjuangan kemerdekaan Republik Indonesia beliau adalah anggota pendiri Lasykar rakyat di Bukittinggi ( 1943 ) dan membentuk barisan Sabilillah ( 1946 ) menjadi Imam Jihad 1946.

Di bidang pemerintahan beliau adalah anggota majelis Syura Wal Fatwa Sumatera Tengah ( 1947 ) dan anggota korespondensi majelis pertimbangan kesehatan dan syarak kementrian kesehatan RI. Pada tahun 1956 beliau menjadi anggota konstituanti no 160. Tahun 1956, beliau merupakan ketua dewan Karatau dan dosen perguruan tinggi Darul Hikmah Bukittinggi dan Dewan Korator Universitas Andalas Padang.

Pada hari Kamis 20 Juli 1963 pukul 21.10 Wib. Syekh Ibrahim Musa berpulang ke rahmatullah di kamar depan rumah beliau di parabek dikebumikan besok harinya Jumat tanggal 26 Juli 1963 setelah shalat jumat seluruh kaum kerabat dan keluarga besar Sumatera thawalib Parabek melepas dengan duka cita yang mendalam.

Karya-Karya
Di tengah kesibukan mengajar dan kegiatan yang bersifat organisatoris serta kemasyarakatan, Inyiak Parabek menyempatkan diri untuk menulis. Tulisan beliau banyak diterbitkan oleh majalah-majalah terbitan Sumatera Barat kala itu, seperti majalah al-Munir, Al-Munir el-Manar, dan Majalah Bayan (di bawah bimbingan beliau sendiri). Juga ada karya dalam bentuk buku (kitab), sbb:

• Ijabah al-Sul, Dicetak pada tahun 1934 oleh percetakan Badezt di Padang Panjang. Ijabah al-Sul merupakan syarah (penjelasan) kitab Husnul al-Ma'mul, karangan M. Shiddiq Hasan Khan Bahadir, kitab Ushul Fiqh yang memiliki tingkat kesulitan yang cukup tinggi sehingga untuk memahaminya diperlukan pengetahuan ushul fiqh yang baik.
• Hidayah as-Shibyan, Merupakan Kitab ilmu Balaghah. Dicetak oleh percetakan Baroe Fort de Kock, tidak dijelaskan tahun terbitnya. Kitab ini pernah diajarkan di Thawalib Parabek beberapa periode, sebelum diganti dengan kitab-kitab lain yang lebih ringkas dan lebih mudah dipelajari
• Hidayah Ditulis pada tahun 1912 dalam bahasa Minangkabau, kemudian dterjemahkan oleh murid Inyiak, Muchtar Said (sekarang adalah Pimpinan Madrasah). Berisikan ilmu tauhid aliran Ahlu Sunnah wal Jamaah.