霍爾斯特的祖先來自瑞典，因此他有個不像一般英國人的名字古斯塔夫。他父親是音樂老師，母親是鋼琴家，而他小時在教會擔任管風琴師，同時也指揮合唱團，之後進入皇家音樂院進一步深研作曲的學問。在皇家音樂院中他師從史丹佛（Stanford），與同為史丹佛學生的佛漢威廉士（Vaughn Williams）結為終生好友。霍爾斯特同時也鑽研管風琴彈奏、鋼琴和伸縮號，畢業後靠著在樂團中擔任伸縮號手為業。從三十歲開始，霍爾斯特成為英國境內著名的作曲教師，他一方面在聖保祿女子學校教授音樂，一方面也在莫利學院擔任指揮。同時他也在皇家音樂院中擔任講師。1923年霍爾斯特因為意外跌倒，隨後身體狀況就不如以前。不過他的作品聲名稍有進展，這一年他應邀前往美國指揮自己的作品演出。

霍爾斯特的女兒伊摩根（Imogen）是當代英國重要的音樂學者，對於父親身後的聲名有相當關鍵性的影響。霍爾斯特一生都不愛接觸群眾，大眾對於自己的評價不高他並不以為意。他晚年自覺已經失去對人與音樂的熱愛，但他還是創作不輟。霍爾斯特畢生作品中，最常為後世演奏、而且成為世界性經典曲目的作品只有他於1916年完成的「行星組曲The Planets」，這是他以對印度宗教的鑽研加上幻想寫成的浪漫之作。除此之外，他以濟慈（Keats）的詩所寫的「合唱交響曲Choral Symphony」、雙小提琴協奏曲、以哈代（Thomas Hardy）小說「赫嘉艾登Jaggar Egdon」所寫成的交響詩都是值得一聽的代表作。