Pada London 2012, Phelps pertama turun di nomor 400 meter gaya ganti perseorangan. Di luar duagaan, dia finis di urutan keempat pada laga final. Untuk kali pertama dia gagal meraih medali di Olimpiade sejak 2000.

Di enam nomor lainnya, dia berhasil mempersembahkan medali untuk Amerika Serikat dan empat di antaranya adalah medali emas, yang didapat dari nomor 100 meter gaya kupu-kupu, 200 meter gaya ganti perseorangan, 4x200 gaya bebas estafet, 4x100 gaya ganti estafet.

Setelah London 2012, Phelps memutuskan untuk pensiun. Namun, sekitar dua tahun kemudian dia aktif lagi. Dia kembali mewakili AS pada Rio 2016. Kali ini dia sudah berstatus sebagai ayah.

Pheplps kembali bersinar. Total dia meraih enam medali yang terdiri dari lima medali emas dan satu perak. Lima medali emas Phelps didapatkan dari nomor 200 meter gaya kupu-kupu, 200 meter gaya ganti perseorangan, 4x100 meter dan 4x200 meter gaya bebas estafet, serta 4x100 gaya ganti estafet.

Prestasi Phelps ini disebut unik karena dia berhasil memenangi beberapa medali emas ketika berusia 31 tahun, jauh di atas usia emas perenang putra. Raihan prestasi luar biasa untuk menutup karier.