Il quatre enfants avec sa première épouse : Guillaume III de Vergy (décédé en 1396), Jacques de Vergy (décédé en 1396), Antoine de Vergy (1375-1439) et Marie de Vergy. Il a un cinquième enfant issu de sa liaison avec Jeanne de Bourguignon, Jean dit Bâtard de Vergy