1982年、マクネリはビノッド・コースラ、ビル・ジョイ、アンディ・ベクトルシャイムらと共にサン・マイクロシステムズを設立しました。同社は、後にコンピュータ業界に大きな影響を与える企業へと成長します。1984年12月には、コースラから最高経営責任者(CEO)の職を引き継ぎ、その後22年間、その職務を全うしました。マクネリは、サン・マイクロシステムズの技術戦略において、OS、マイクロプロセッサといった主要な技術を自社で開発するという方針を打ち出しました。また、「ネットワークこそがコンピュータ」(The Network is the Computer)というモットーを掲げ、コンピュータのネットワーク化を早期から推進し、業界の先駆者となりました。2006年4月には、最高経営責任者職をジョナサン・シュワルツに譲り、会長職に就任しました。