Začínal v Žilině, hrál za AC Sparta Praha, FC Union Cheb, FC Petra Drnovice a FK Jablonec. Se Spartou získal dvakrát mistrovský titul. V lize odehrál 408 utkání a dal 25 gólů. V současné době opět působí jako hráč FK Drnovice, kde hraje za B-tým III. třídu okresní soutěže.
Od jara 2012 působil jako hlavní trenér Bohemians Praha 1905. V sezoně 2012/13 postoupil s klubem zpět do Gambrinus ligy. V březnu 2014 byl po sérii špatných výsledků z funkce odvolán (Bohemians 1905 bojoval o záchranu) a nahradil jej Luděk Klusáček.[1] V červnu 2014 se ujal role trenéra v MFK Karviná a v sezoně 2015/16 s ním poprvé v klubové historii slavil postup do první ligy. Klub se v následující sezoně 2016/17 bez problémů udržel v první lize. Po neutěšených výsledcích byl však v další sezoně Jozef Weber od týmu odvolán již v průběhu podzimu, a to po 13. ligovém kole. V průběhu sezóny 2017/2018 se ujal týmu FK Mladá Boleslav. Po neuspokojivých výsledcích byl 7. prosince 2020 odvolán z funkce.[2] Na konci března 2021 se vrátil k trénování MFK Karviná.[3] Po neuspokojivých výsledcích byl 6. října 2021 odvolán. Následně se stal trenérem SK Dynamo České Budějovice kde trénoval až do 31.10. 2022, než byl odvolán. Na začátku května roku 2023 byl Jozef Weber angažován jako hlavní trenér prvoligového celku FC Hradec Králové. V trenérské pozici vystřídal zkušeného trenéra Miroslava Koubka, který dokázal s týmem z Hradce Králové obsadit v předchozích sezonách osmé, resp. šesté místo. Na to měl Jozef Weber navázat. To se ale nepodařilo a po osmém kole se Hradec Králové nacházel na 11. pozici se 7 body s bilancí 2 výhry, 1 remíza a 5 porážek. V důsledku neuspokojivých výsledků byl z funkce hlavního trenéra FC Hradec Králové odvolán. V pozici ho nahradil Václav Kotal.
