Pada tahun 1980, ditakdirkan Allah S.W.T. penghijrahan penduduk Islam ke taman perumahan Ayer Keroh Heights, Melaka bermula.  Justeru, kesedaran tentang keperluan suatu tempat untuk penduduk Islam berkumpul, khasnya untuk bersolat jemaah segera timbul.

Atas persetujuan sebulat suara, Lembaga Surau Sementara ditubuhkan dan Sdr Ismail Bin Jaafar (Seorang Pegawai Kastam DiRaja, Melaka) telah dilantik sebagai Pengerusi.  Sebuah rumah teres di Lrg Setia 7 telah disewa dan dijadikan surau sementara.

Atas kebenaran Jabatan Agama Islam Melaka (JAIM), Lembaga Surau telah bergerak mengutip sumbangan derma ikhlas untuk membina sebuah surau di atas tapak tanah yang disediakan oleh pemaju Ayer Keroh Heights.

Dengan dana terkumpul sebanyak RM60,000 (Derma: RM30,000 dan Sumbangan Kerajaan:  RM30,000) maka terdirilah sebuah surau di taman ini.

Lembaga Surau meneruskan kegiatan mengumpul dana dengan impian untuk membesarkan surau (jika boleh menjadi sebuah masjid) memandangkan penduduk Islam di taman ini semakin bertambah ramai.

Pada tahun 1984, surau berkenaan mula diperbesarkan, dan pada tahun 1985 ia telah dinaiktaraf sebagai sebuah masjid serentak dengan keputusan Jabatan Agama Islam Melaka mewujudkan satu kariah baru iaitu ‘Kariah Ayer Keroh’. Sebelum itu Ayer Keroh Heights terletak di bawah Kariah Bukit Katil.

Nama 'Masjid Ubudiyah' telah diberi oleh Mufti Negeri Melaka ketika itu, YBhg Tuan Hj Mohd Yunus Bin Hj Mohd Yatim.

Setelah hampir dua dekad berlalu, penduduk Islam di Kariah Ayer Keroh dianggarkan sudah mencecah angka  3,500 orang. Justeru, untuk menampung jamaah yang semakin ramai dari semasa ke semasa, Masjid Ubudiah telah melalui beberapa peringkat pembesaran dan pengubahsuaian.

Terakhir, pada bulan Februari 2006, bangunan masjid ini telah berjaya diubahsuai dan diperbesarkan.  Projek ini telah memakan belanja lebih dari RM1 juta yangmana RM300,000 datangnya daripada sumbangan Kerajaan.

Kini Masjid Ubudiyah, Ayer Keroh boleh menampung kira-kira 1,000 orang jemaah pada satu-satu masa di mana Ruang Utama bersolat dilengkapkan dengan beberapa unit penyaman udara untuk memberikan keselesaan sebaik-baiknya kepada para jamaah.

Pada tahun 2008, Jawatankuasa Masjid telah merancang untuk membina sebuah bangunan baru bagi menggantikan tempat berwuduk, tandas dan bilik air lelaki dan perempuan, bilik setor dan dapur, dan ruang pelbagai guna yang ada yangmana dirasakan kurang sesuai lagi. Sekali lagi pada tahun 2009, Kerajaan telah meluluskan sumbangan sebanyak RM450,000 untuk projek yang dirancang ini.  Mulai Julai 2009 projek ini bermula dan dijangka siap sebelum Aidilfitri 1430 H akan datang ini.

Jawatankuasa Masjid Ubudiyah sentiasa berbincang dan berusaha dari semasa ke semasa untuk  memajukan masjid ini dalam segala aspek pembangunan dan kemajuan, khasnya dalam melaksanakan pelbagai kegiatan yang dapat meningkat-kan pengimarahan masjid.

Tuan Hj Ismail B. Jaafar telah menjadi Pengerusi Jawatankuasa Masjid Ubudiyah sejak masjid ini wujud sehinggalah pada 28 Februari 2009.

Pemandangan dari beberapa sudut bangunan masjid yang baru: