Abu Ubaidah bin Jarrah adalah keturunan kaum Quraisy dari Bani Al-Harits bin Fihr yang lahir pada 583 M. Sebelum masuk Islam, ia dikenal sebagai salah satu bangsawan Quraisy yang rendah hati dan pemberani. Pada 611 M, Nabi Muhammad datang untuk berdakwah Islam kepada orang-orang di Mekah. Abu Ubaidah pun menjadi salah satu orang pertama yang memeluk Islam, saat berusia 28 tahun. Menjadi bagian golongan umat Muslim pertama di Mekah, ia pun menanggung hinaan dan penindasan yang dilakukan oleh kaum kafir Quraisy, seperti halnya Nabi Muhammad. Setelah itu, pada 623, Abu Ubaidah mengikuti Nabi Muhammad berhijrah dari Mekah ke Madinah.

Pada 624 M, Abu Ubaidah berpartisipasi dalam Perang Badar atau pertempuran besar pertama antara umat Muslim dan Quraisy di Mekah. Dalam pertempuran ini, ia melawan dan membunuh ayahnya sendiri, yang berperang di kubu kaum kafir Quraisy. Setelah itu, ia terjun ke dalam Perang Uhud (625 M), Pertempuran Khandaq (627 M), dan turut terlibat dalam Perjanjian Hudaibiyyah (628 M). Pada 630 M, ketika pasukan Muslim menaklukkan Mekah dari empat arah, Abu Ubaidah menjadi pemimpin salah satu divisi. Kala itu, pasukan kaum Muslimin pimpinan Abu Ubaidah bersama Nabi Muhammad SAW memasuki Kota Mekah dari arah barat. Setelah itu, ia terlibat dalam Perang Hunain, Penyerbuan Ta'if, dan Perang Tabuk. Selepas pertempuran itu, beberapa perwakilan Kristen dari Arab Saudi tiba di Madinah. Mereka menunjukkan minat untuk masuk Islam. Para delegasi tersebut kemudian meminta Muhammad untuk mengirim seseorang yang bisa membimbing mereka. Nabi Muhammad lantas menunjuk Abu Ubaidah untuk membimbing mereka mengenai ajaran Islam.

Ketika Nabi Muhammad wafat pada 632 M, terjadi masalah suksesi yang menimbulkan perselisihan di antara umat Muslim. Umar sempat meminta Abu Ubaidah untuk menyalonkan diri sebagai khalifah, tetapi menolak. Setelah itu, Abu Ubaidah menjadi komandan tentara Muslim dalam beberapa pertempuran dan berperang bersama Khalid ibn al-Walid. Di bawah komando Khalid, mereka berhasil mengalahkan tentara Bizantium (Romawi Timur) pada 30 Juli 634 M. Satu minggu kemudian, Abu Ubaidah bersama Khalid bergerak menuju Damaskus dan mengalahkan tentara Bizantium lainnya dalam Pertempuran Yakusa pada pertengahan Agustus 634 M. Sesampainya di Damaskus, pasukan Muslim langsung mengepung kota, di mana Khalid memerintah Abu Ubaidah untuk mengepung Gerbang Jabiya Damaskus. Karena kalah telak, pasukan Bizantium diberi waktu untuk melakukan gencatan senjata selama tiga hari dan diizinkan pergi sejauh mungkin bersama keluarga dan harta mereka.

Pada 22 Agustus 634 M, Khalifah Abu Bakar wafat dan digantikan oleh Umar. Tidak berselang lama, Abu Ubaidah diangkat sebagai panglima perang. Dengan jabatan barunya itu, kiprah Abu Ubaidah di medan perang semakin menanjak. Seperti diketahui, ia segera menaklukkan Levant Tengah, terjun dalam Pertempuran Emesa dan mengalahkan tentara Bizantium dalam pertempuran kedua di Damaskus. Selain itu, Abu Ubaidah dan Khalid masih berdampingan dalam Perang Yarmuk, penaklukan Yerusalem, mempertahankan Emesa, dan penaklukan Al-Jazira. Pasca-kemenangan dalam pertempuran-pertempuran tersebut, Abu Ubayda mengirim Khalid dan Iyad ibn Ghanm untuk merebut Edessa, Amida, Malatya, seluruh Armenia hingga Ararat dan menyerbu Anatolia utara dan tengah. Setelah itu, Umar menghentikan invasi untuk sementara waktu, dan memerintahkan Abu Ubaidah, yang telah ditunjuk menjadi Gubernur Suriah, untuk mengkonsolidasikan kekuasaannya di Suriah.

Setelah Abu Ubaidah pindah ke Jabiya, di Suriah, ia terkena serangan wabah. Ia pun meninggal pada 639 M. Penyebab meninggalnya Abu Ubaidah bin Jarrah adalah karena wabah. Sebelum meninggal, ia memberi wasiat kepada pasukannya untuk selalu mendirikan salat, berpuasa Ramadan, bersedekah, melaksanakan ibadah haji dan umroh, serta untuk tetap bersatu dan saling mendukung. Abu Ubaidah bin Jarrah juga menunjuk Muadh bin Jabal sebagai penggantinya. Jenazahnya kemudian dimakamkan di Deir Alla, Yordania.