Jika kita melihat penampakan Stadion Sultan Agung Bantul saat ini, kondisi cukup representatif dan megah dengan tribun penonton yang mengitari seluruh bagian lapangan.

Namun jika menilik kebelakang, kondisi tersebut tidak langsung seperti kini ketika pertama kali didirikan.

Berbeda dengan kebanyakan stadion yang dibangun secara keseluruhan hingga menjadi utuh sebagai kesatuan saat diresmikan, Stadion Sultan Agung ini dibangun secara bertahap satu tribun demi satu menyusul dalam pengerjaannya yang cukup lama.

Pertama kali dibangun pada tahun 2004, pengerjaan pertama dilakukan pada sisi timur lapangan. Menyusul setelahnya tribun sisi selatan dan utara.

Menyisakan tribun VIP yang belum dibangun, stadion tersebut sudah digunakan Persiba Bantul untuk mengarungi kompetisi Divisi Satu saat itu.

Secara keseluruhan baru pada tahun 2008 Stadion yang berkapasitas 35.000 penonton ini selesai pembangunannya seperti yang kita lihat sekarang.