Vilim Karlović rodio se u Zagrebu 27. listopada 1970. godine, gdje je završio osnovnu i srednju prometnu školu. Odrastao je kao najstarije dijete uz brata Antonija i dvije sestre, Ivanu i Katarinu, u radničkoj obitelji oca Ante i majke Jele. Dvije godine mlađi brat Antonijo, koji je također sudjelovao u Domovinskom ratu, 21. rujna 1991. godine teško je ranjen u obrani Petrinje i zarobljen u povlačenju, nakon čega mu se gubi svaki trag te se još uvijek vodi kao nestali.
Karlović je bio vrhunski sportaš te je pod trenerskom paskom Nenada Đurovica - Đure postao seniorski prvak bivše države u "full contactu", a tu je titulu držao od 1987. do 1990. godine. Kao reprezentativac bivše države nastupao je na međunarodnim natjecanjima te iza sebe ima nastup na svjetskom i europskom prvenstvu.
U braku je sa suprugom Vlatkom od 1990. godine. Imaju šest sinova.