高速化を念頭において設計された500系はロングノーズを採用したため、先頭車両の客室出入口ドアが1カ所となり、さらに一部車両の座席定員が300系や700系と異なるという問題点がありました。「のぞみ」の1号車が自由席となると、500系だけは特別にドアが無いことを案内する必要があり、さらに1カ所では乗降に時間がかかるようになりました。このため、平成19年7月に東海道区間でのスピードアップに対応したN700系が運転を開始すると、500系の置換えが計画されるようになりました。
これにより山陽区間専用車両として第2の人生を歩むことになりましたが、同区間には700系7000番台の「ひかりレールスター」が運転されているため、4・6両のショート編成で運転されている0系・100系の「こだま」を置き換えることに決定。平成20年12月1日から16両編成の列車を8両編成に短くした500系「こだま」が登場し、山陽区間では16両編成の「のぞみ」と8両編成の「こだま」が活躍するようになりました。
平成22年2月28日、東京発12時30分の「のぞみ29号」をもって500系16両編成の運転が終了し、スピード感にあふれた16両編成の500系は姿を消すことになりました。