S fotbalem začínal v osmi letech v FC ŽĎAS Žďár nad Sázavou, kde prošel všemi mládežnickými výběry. V roce 1995 zamířil na své první angažmá mezi dospělými, do FC Dukla Hranice. Už v roce 1996 zamířil do AFK VMG Kyjov a o další rok později, v roce 1997, zamířil do AFK Chrudim, kde si zahrál druhou ligu. Tady si ho vybral v té době třetiligový celek z Jihlavy (tehdy FC PSJ Jihlava), kam po sezoně zamířil. V Jihlavě vydržel dlouhých 12 let a pomohl týmu k postupu do 2. ligy i k historické účasti v Gambrinus lize a semifinále domácího poháru. Postupně se z něj stala klubová legenda. V dresu Vysočiny odehrál celkem 227 zápasů v 1. a 2. lize[p 1], což ho řadí za Michala Veselého na 2. místo v klubových statistikách. V roce 2010 však tým prošel omlazením kádru a Kadlec se vrátil do Žďáru nad Sázavou[1].
V roce 2012 se stal vedoucím jihlavského juniorského týmu. V sezoně 2014/15 je hlavním trenérem přípravky A (ročník 2004) a zároveň dělá asistenta trenéra v juniorce. 30. září 2014 se stal první asistentem nového trenéra "A" týmu Romana Kučery.[2] Od začátku ledna 2017 působí jako hlavní trenér jihlavské juniorky[3].