Diyakini bahwa ia lahir sekitar 1635, di Llanrhymny atau Abergavenny, Wales dan merupakan putra pengawal lokal Robert Morgan. Ada dua cerita utama untuk menjelaskan kedatangan Morgan di Dunia Baru. Salah satunya menyatakan bahwa ia melakukan perjalanan ke Barbados sebagai pelayan kontrak dan kemudian bergabung dengan ekspedisi Jenderal Robert Venables dan Laksamana William Penn pada tahun 1655, untuk melarikan diri dari dinasnya. Rincian lainnya bagaimana Morgan direkrut oleh ekspedisi Venables-Penn di Plymouth pada 1654.