JRubyは2001年にJan Arne Petersenによって開発が開始されました。当初はRuby 1.6のC言語による実装をJavaに直接移植したものでした。その後、Ruby 1.8.6のリリースを機に、JRubyを1.8.6に対応させる作業が開始され、プロジェクトには多くのコントリビューターが参加し、現在の4人を中核とするチームが形成されました。
JRubyはバージョン0.9(2006年5月)以降、Ruby on Railsをサポートしています。同時にRubyGemsとWEBrickの実行も可能です。サンが開発者を雇用して以来、Railsの対応と性能は大幅に強化され、JRuby 1.0ではRailsのテストケースのほとんどに合格しました。これにより、多くの開発者がJRubyをRailsアプリケーションの開発環境として利用するようになりました。
2006年初めから、JRubyチームはC言語コードの単純な移植から、Javaバイトコードを活用した高性能な実装へと移行しました。JRubyを使ってRuby on Railsをそのまま実行できるようにすることを目標とし、テストスイートを拡張してJRubyの正確性を保証しました。この結果、2006年末から2007年初めにかけてJRubyの中核部分の再設計とリファクタリングが可能になりました。