グスタフ・レオンハルトは1928年5月30日、オランダ・ヒルフェルスム近郊のフラーフェラントに生まれた。生家は貴族の血を引くスウェーデン系の富裕な実業家の家庭で、幼い頃からピアノを学び始め、15歳の時に父親が購入したチェンバロ、オルガンに親しむ（妹トゥルデリース・レオンハルトもフォルテピアノ奏者）。
　1947年にバーゼル・スコラ・カントールムに入学、チェンバロとオルガンをエドゥアルト・ミュラーに師事。1950年に最高栄誉賞とソリスト・ディプロマを得て卒業し、同年にウィーンでチェンバロ奏者としてデビューした。
1952年にウィーン音楽アカデミーに教授として迎えられ後進の指導を始めるが、1954年アムステルダム音楽院の教授にも任じられ、1955年にはウィーンの職を辞して故郷アムステルダムに帰り、同地での指導に専念、ニーウエ・ケルク（新教会）の専属オルガニストとしても活躍する。
　また、50年代半ばにはレオンハルト・バロック・アンサンブル（後にはレオンハルト・コンソートとなる）を組織し、アンサンブルの中心として、また指揮者としても活動を始める。1954年カウンターテナーのパイオニア、アルフレッド・デラーと共演しバッハのカンタータ（BWV54&170の2曲）の先駆的な録音を行う。このアンサンブルにはウィーンで知り合ったニコラウス・アーノンクールもチェロ・ガンバ奏者として参加していたが、この縁が1971年からのバッハ：カンタータ全集録音へと発展する。1960年代には、フランス・ブリュッヘン、アンナー・ビルスマ、ヤープ・シュレーダーとともにクアドロ・アムステルダムを結成、古楽器演奏の牽引的存在として大きな注目を得る。
　　レコーディングも活動の最初期から積極的で、1950年代初頭には初めてバッハのチェンバロ作品も録音、以降、現在まで185枚を超える膨大なレコーディングを行い、チェンバロ、オルガンやクラヴィオルガヌム、フォルテピアノ、クラヴィコードなど、バッハを中心としたバロックから古典派に至るさまざまな鍵盤楽器演奏の権威として多大な尊敬を集め、ブリュッヘンをして「現代のバッハ」と言わしめた。
　指揮者としてはモンテヴェルディやラモーなどのバロック・オペラを蘇演し、バッハの『マタイ受難曲』や『ミサ曲ロ短調』、アーノンクールと分担で録音したカンタータ全集（1991年に完成）など声楽作品の録音も多い。
音楽学者としては、バッハの「フーガの技法」の研究書を出版、スウェーリンクの「鍵盤楽器作品集」を校訂するなど明晰な研究家としても知られている。
　1967年にはジャン=マリー・ストローブ監督&ダニエル・ユイレ制作の映画『アンナ・マクダレーナ・バッハの日記』にヨハン・セバスティアン・バッハ役で出演。1969年にはハーヴァード大学名誉教授に任じられた。
1980年、オランダのエラスムス賞をアーノンクールとともに受賞、ダラス（1983年）、アムステルダム（1984年）、ハーヴァード（1991年）、メッツ（1998年）、パドヴァ（2000年）の各大学から名誉博士号を贈られている。
1977年の伝説的な初来日以降、14年の長いブランクを経て、1991年に再来日、以後1993年、1996年、1999年、2001年、2004年とコンスタントに来日を重ね、2009年5月にも来日公演が予定されている。