Futbolculuktan teknik direktörlüğe

Ayrıca Kayserispor 'la ilk sezonunda ligi 55 puanla 5. sırada bitirip kulüp rekoru kırmış ve takımını UEFA Kupası'na taşımıştır. Türkiye Kupasını kazanmakla Türkiye Süper Kupası'nda oynama hakkı elde etmiş ve kupada Galatasaray'a 2-1’lik skorla mağlup olmuştur.2009–2010 sezonunun sonunda Kayserispor ile yolları ayrılmıştır. Şu an Gaziantepspor’un başında olan Kafkas yeni takımıyla istediği başarıyı henüz yakalayamasa da oynattığı futbolla beğeni toplamaya devam etmektedir.