潘志文曾有兩段婚姻,他在與前妻結婚後育有一個女兒,不過在1982年,潘志文因為與苗可秀合作而愛上了對方。
多年後,苗可秀也親自承認了當年自己愛上了已婚的潘志文,並且二人在當時還有想結婚的想法,但最後未有成事。