Ип Ман рос в Фошане, где вместе с братом Е Тяньцы и ученицей Ли Мэйхуэй занимался вин-чун под руководством мастера Чэнь Хуашуня. После смерти Чэнь Хуашуня Ип Ман продолжил обучение у Чжунсу, его старшего ученика. Затем он переехал в Гонконг, чтобы совершенствовать свои навыки, и расстался с Е Тяньцы, Ли Мэйхуэй и другими своими учениками. В Гонконге Ип Ман неоднократно подвергался оскорблениям и дискриминации со стороны иностранцев.