Diplomato karjerą J.Rudalevičius pradėjo 1992 metais tapdamas Lietuvos laikinuoju reikalų patikėtiniu Vokietijoje. Vėliau dirbo įvairiuose Užsienio reikalų ministerijos padaliniuose, Lietuvos atstovybėse užsienyje, kitose valstybinėse įstaigose.
2012 m. J.Rudalevičius paskirtas Lietuvos ambasadoriumi Šveicarijoje ir šiuo metu reziduoja Berne.
