Kovac sendiri punya catatan gemilang dalam karir sepakbolanya. Sebelum akan menjadi pelatih dari Bayern, dirinya sudah pernah merumput bersama klub tersebut selama dua musim, pada 2001-2003. 

Pensiun di tahun 2009, Kovac pun turun ke pinggir lapangan sebagai asisten pelatih bagi klub Jerman RB Salzburg. Tak hanya itu, ia juga pernah menangani Timnas Kroasia.