ハンマー投げでアジアの鉄人と言われた室伏重信氏の長男として生まれる。

高校は千葉県成田市の成田高校に進学し、名監督であった故・瀧田詔生監督の下で、1年生の15歳から様々な競技を体験しながら、父重信氏の徹底した指導を受けハンマー投げをはじめる。入学後4月に行われた人生初の試合での記録は、6.35kgの当時の高校生用ハンマーで2回転投げで44m26であった。1991年の高校2年生のときに68m22の高校新記録（6.35kg）、高校最高記録61m76（7.26kg）を樹立。1992年の3年生のときには高校新記録73m52（6.35kg）、高校最高記録66m30（7.26kg）を樹立。インターハイは、1991年、1992年と優勝している。

1993年、父重信氏が勤務する中京大学に進学。1995年4月、大学3年生のときに日本人で3人目の70mスローワーとなる71m02を群馬リレーカーニバルでマークした。インカレ4連覇。ジュニア日本記録、学生記録など多くの戦績を残した。

1997年、ミズノ株式会社に入社と同時に中京大学大学院体育学研究科に入学。多くの教授からのアドバイスを研究とスポーツに生かしてきている。 1998年4月、群馬にて長く日本記録を保持してきた父重信氏の記録を塗り替える76m65をマーク。8月にアテネで行われた世界陸上では初の決勝進出。世界の扉を開いた。

早くから日本の投てき界をリードしてきたが、2000年5月の大阪ＧＰで80mの壁をはじめて破る80m23を投げて優勝し、ハンマー投げ選手として世界のトップ選手の仲間入りを果たした。2003年6月にプラハ行われたグランプリで当時世界歴代3位の記録である84m86をマーク。この記録は過去15年間のなかで、世界最高の記録であった。グランプリ、ゴールデンリーグを含め数々の試合で優勝し、グランプリファイナル、グッドウィルゲームでも優勝。日本人初の快挙を成し遂げてきた。

世界陸上では、好敵手ポーランドのシモン・ジョルコフスキーとの好勝負を繰り広げた2001年エドモントン大会で銀。2003年パリ大会では、大会直前の怪我を克服して銅メダルを勝ち取った。2011年テグ大会では男子最年長優勝者として金メダルを獲得した。

オリンピックでは、2004年アテネ大会で日本人の投てき選手としてはじめて金メダルに輝いた。これはマラソン以外の競技では陸上競技戦後初の金メダル。男子ではベルリンオリンピック（1936年）、三段跳びの田島直人さん以来の快挙である。2012年ロンドン大会では銅メダルを獲得。

なお世界陸上とオリンピック両大会での金メダル獲得は、日本人として史上初である。

2014年の日本陸上競技選手権では、前人未到の20連覇達成。

新たに就任した東京オリンピック・パラリンピック競技大会組織委員会のスポーツディレクターとして、アスリートの意見を大会運営全般にわたり反映させ、アスリートファーストの大会の実現を目指すとともに、大会における競技運営の幹部として、各競技団体(IF、NF)、各国オリンピック委員会（NOC）、各国パラリンピック委員会（NPC）との調整を行う。

東京医科歯科大学ではスポーツの分野での医歯学と科学を連携させる「スポーツサイエンス機構」における、スポーツ科学部門を担当するスポーツサイエンスセンター長に就き、動作解析研究のほか、けがの予防、故障からの復帰などの面からアスリートを支援する態勢作りを目指す。