1819 yılında, kalabalık bir tüccar ailesinin üçüncü çocuğu olarak New York’ta doğdu. Küçük yaşta geçirdiği kızıl hastalığı yüzünden, görme yetisinin önemli bir bölümünü kalıcı olarak kaybetti. New York’ta başladığı ilkokul eğitimine 1930’dan itibaren Albany’de devam etti. Melville on iki yaşındayken, babası önce iflas etti, sonra hayatını kaybetti. Annesi varlıklı akrabalarından aldığı yardımlarla ailenin geçimini sağlamaya çalıştı. Melville okulu bırakarak tarım işçiliği, banka memurluğu, öğretmenlik gibi işlerde çalışmaya başladı. 1838’de New York’ta bulunan Lansingburgh Akademisi’nde mühendislik öğrenimi gördü. Ertesi yıl New York’tan Liverpool’a giden bir ticaret gemisinde çalışmaya başladı. 1841’de bir balina avı gemisiyle sefere çıktı. Yolculuk sırasında gemiyi terk ederek Markiz Adaları’nda üç hafta boyunca Typee yerlileriyle yaşadı. 1843’te ABD donanmasına katıldı ve ertesi yıl Boston’a geldi. 1863’te New York’a taşındı. 1866’dan itibaren on dokuz sene boyunca New York rıhtımında gümrük müfettişi olarak çalıştıktan sonra 1885’te emekli oldu. 1891’de New York’taki evinde kalp krizi sonucu hayatını kaybetti ve New York Bronx’ta bulunan Woodlawn Mezarlığı’na defnedildi.