プロデューサーとしてのキャリアは、特に1960年代後半から本格化します。1969年には、トム・ダウド、ジェリー・ウェクスラーという名プロデューサーたちと共に、ダスティ・スプリングフィールドの傑作アルバム『Dusty in Memphis』を手がけ、その手腕が高く評価されました。同年には自身のソロアルバム『Glass Onion』も発表しています。また、初期からアヴェレイジ・ホワイト・バンドやビー・ジーズ、ソウルの女王アレサ・フランクリン、ヤング・ラスカルズといった個性豊かなアーティストたちとの共同作業を通じて、早くから成功を収めました。
キャリアの晩年には、シンガーソングライターのノラ・ジョーンズと組み、彼女のデビューアルバム『Come Away with Me』(2002年)とセカンドアルバム『Feels Like Home』(2004年)という歴史的な成功作をプロデュースしました。これらの作品はグラミー賞を受賞し、アリフ・マーディンのキャリアに新たな輝きを加えました。