Pavlović je mládežnickým odchovancem SC Fürstenfeldbruck a v roce 2011 přestoupil do akademie Bayernu Mnichov. Dne 23. července2021 Pavlović prodloužil smlouvu s klubem do roku 2022. Dne 3. května2022 podepsal novou smlouvu s Bayernem do roku 2024. Ve stejném měsíci začal poprvé trénovat se seniorským týmem Bayernu Mnichov a následně se objevil na lavičce ve dvou bundesligových zápasech.
Pavlović hrál za seniorský tým Bayernu v předsezónní přípravě v létě 2023. V seniorském týmu Bayernu Mnichov debutoval jako náhradník při bundesligové výhře 8:0 nad Darmstadtem28. října2023. Dne 1. listopadu2023 podepsal další profesionální smlouvu s Bayernem do roku 2027. Dne 4. listopadu si připsal svou první asistenci v Bundeslize u třetího gólu, který vstřelil Harry Kane při výhře 4:0 nad Borussií Dortmund. O týden později si připsal svůj první start v základní sestavě při výhře 4:2 nad 1. FC Heidenheim. Dne 29. listopadu debutoval v Lize mistrů, když nastoupil z lavičky v 64. minutě při bezbrankové remíze s Kodaní. Dne 27. ledna2024 vstřelil svůj první gól při venkovním bundesligovém vítězství 3:2 nad FC Augsburg.