他童年困苦曾做童工，成名不靠導演哥哥，53歲娶小20歲嫩妻感情好

韋家雄童年蠻不幸，除了一名兄長，他還上有一姊下有一妹。韋家雄的父親是一名商人，當時經營著一家小型塑膠廠。在四兄妹小時，韋爸搞婚外情，直接拋棄了妻子和四個孩子，令他們的生活陷於困頓之中，更一度在舅舅家寄居。

不過當時香港有一些惠民政策，一家五口後來分到徒置區的單位，終於可以不再給舅父家添麻煩。