ハンマー投げでアジアの鉄人と言われた室伏重信氏の長男として生まれる。

高校は千葉県成田市の成田高校に進学し、名監督であった故・瀧田詔生監督の下で、1年生の15歳から様々な競技を体験しながら、父重信氏の徹底した指導を受けハンマー投げをはじめる。入学後4月に行われた人生初の試合での記録は、6.35kgの当時の高校生用ハンマーで2回転投げで44m26であった。1991年の高校2年生のときに68m22の高校新記録（6.35kg）、高校最高記録61m76（7.26kg）を樹立。1992年の3年生のときには高校新記録73m52（6.35kg）、高校最高記録66m30（7.26kg）を樹立。インターハイは、1991年、1992年と優勝している。

1993年、父重信氏が勤務する中京大学に進学。1995年4月、大学3年生のときに日本人で3人目の70mスローワーとなる71m02を群馬リレーカーニバルでマークした。インカレ4連覇。ジュニア日本記録、学生記録など多くの戦績を残した。

1997年、ミズノ株式会社に入社と同時に中京大学大学院体育学研究科に入学。多くの教授からのアドバイスを研究とスポーツに生かしてきている。1998年4月、群馬にて長く日本記録を保持してきた父重信氏の記録を塗り替える76m65をマーク。8月にアテネで行われた世界選手権では初の決勝進出。世界の扉を開いた。

早くから日本の投てき界をリードしてきたが、2000年5月の大阪ＧＰで80mの壁をはじめて破る80m23を投げて優勝し、ハンマー投げ選手として世界のトップ選手の仲間入りを果たした。2003年6月にプラハ行われたグランプリで当時世界歴代3位の記録である84m86をマーク。この記録は過去15年間のなかで、世界最高の記録であった。グランプリ、ゴールデンリーグを含め数々の試合で優勝し、グランプリファイナル、グッドウィルゲームでも優勝。日本人初の快挙を成し遂げてきた。

世界選手権では、好敵手ポーランドのシモン・ジョルコフスキーとの好勝負を繰り広げた01’エドモントン大会で銀。03’パリ大会では、大会直前の怪我を克服して銅メダルを勝ち取った。

オリンピックでは04’アテネ大会で日本人の投てき選手として初めて金メダルに輝いた。これはマラソン以外の競技では陸上競技戦後初の金メダル。男子ではベルリンオリンピック（1936年）、三段跳びの田島直人さん以来の快挙である。

現在、北京オリンピックを目指すとともに、研究とスポーツの両立による相乗効果を実感する中、スポーツ界や社会に向けてフィードバックすることを目標としている。