1940年、ニューヨーク／ブロンクス生まれ。父親の死後、1953年にロサンゼルスに移住し、幼い頃よりラジオから流れてくるR&Bやジャズなどへ興味を抱いていた彼は、15歳の誕生日（1955年）にエラ・フィッツジェラルドのステージでプレイするギタリスト、バーニー・ケッセルを見て衝撃を覚え、ジャズ・ギタリストを志す。1954年にフェアファックス高校（ハーブ・アルパート、ルー・アドラー、スティーヴ・ダグラス、ジェリー・リーバー、マイク・ストーラーらを輩出した、L.A.の名門校）に入学しオリジナル・ナンバーを作り始める一方、中学時代からの友人で音楽の趣味の合うマーシャル・リーブと共に行動し、そこにマイケル・スペンサーを加えてジャム・セッションするようになる。さらにマーシャル・リーブと共にロサンゼルス・シティ・カレッジに進学し、その頃から家庭用のテープ・レコーダーを駆使した録音の実験にのめり込み、オーヴァー・ダビングを重ねてのレコーディング方法を思いつき、それを実践するためにマーシャル・リーブと、友人であるハーヴェイ・ゴールドスタイン、アネット・クレインバードを誘い、自主制作で「Don't You Worry Little My Pet」を制作。さらに「To Know Him Is To Love Him」をレコーディングして、この2曲を収めたシングルをドレ・レコードからリリースし、全米1位を獲得。その後2ndシングルや、インペリアルからアルバム『ザ・テディ・ベアーズ・シング！』をリリースするも不発に終わり、テディ・ベアーズは解散。裏方に回る決心をした彼は、コースターズやドリフターズなど多くのヒットを手がけたジェリー・リーバー＆マイク・ストーラーの下での修業時代を経て、テディ・ベアーズのアルバム録音時にスタジオで知り合ったレスター・シルと共に1961年にフィレス・レコードを設立。クリスタルズの「He's A Rebel」「Da Doo Ron Ron」やロネッツの「Be My Baby」、ライチャス・ブラザーズの「You've Lost That Lovin' Feeling（ふられた気持）」などを送り出し大ヒットを記録するが、ビートルズに代表されるイギリスからのバンド勢が上陸し、アメリカの音楽シーンを席巻するようになると同時にヒット・チャートから遠ざかるようになり、1966年に巨額を投じてレコーディングしたアイク＆ティナ・ターナーの「River Deep, Mountain High」がアメリカで不発に終わると徐々に第一線を退くようになり、フィレスも終焉を迎える。

その後1969年にA&Mからチェックメイツ・リミテッドやロネッツ（実質的にはロニー・スペクターのソロ）などの作品をリリースしシーンに復帰、また1970年にはジョン・レノン＆プラスティック・オノ・バンドの「Instant Karma!」や『ジョンの魂』、ビートルズの『レット・イット・ビー』、ジョージ・ハリスンの『オール・シングス・マスト・パス』、翌年にはジョン・レノンの『イマジン』などを手がけて再び成功を収め、その後ワーナー・スペクターやスペクター・インターナショナルといったレーベルから新譜リリースと旧譜の再発を行っていくが、徐々に手がける作品は減っていき、1970年代末以降にはレナード・コーエンの『ある女たらしの死』やラモーンズの『エンド・オブ・ザ・センチュリー』など、極一部の作品でしか彼のクレジットを目にしないまでに激減し、そのまま実質的には隠遁生活へと入っていくことになる。しかしそんな中、1981年にLP9枚組のボックス・セット『Wall Of Sound』がイギリスで発売された後、1991年にもボックス・セット『Back To Mono（1958-1969）』がABKCOからリリースされ、さらに前年の1990年には日本でもフィルに関する伝記『フィル・スペクター【甦る伝説】（原書：He's A Rebel）』が発行され、ロネッツ、クリスタルズ、ダーレン・ラヴのベスト盤も1992年にCDで発売されるなど、再評価の動きも高まった。2003年にはプロデューサーとしてスターセイラーの新曲「Silence Is Easy」「White Dove」を手がけ話題となるが、それらが収録されたアルバムがリリースされる前の2003年2月3日に起きた女優、ラナ・クラークソン殺人容疑でフィル・スペクターは逮捕。そんな中、2006年にEU/ABKCOから2枚組CD『The Phil Spector Collection』が発売、また日本では2010年に書籍『音の壁の向こう側 フィル・スペクター読本』が出版され、徐々に注目が集まることに。そして2011年の今年はベスト盤、クリスマス・アルバム、BOX等、様々なプロダクトがリリースされることになり、再び脚光を浴びている。