谈及早期广肇府人的移居新山，不得不提广东台山人黄亚福。黄亚福原名黄福，少时随泥水木匠师傅南来。初在新加坡当学徒，后来结识同是广肇府人的富商胡亚基，在胡氏引见下，认识了当时的柔佛天猛公。柔佛王室信任黄亚福，把不少柔佛政府的建筑工程交给他承包，遂到新山发展，从一名普通的水泥木匠，发迹成为著名的建筑承包商。

然而，关于黄亚福的发迹，民间相传，还跟一位粤籍“奇女子”黄亚娇有关。据说黄亚娇为苏丹阿武峇卡垂青，纳为王妃，是为苏丹后花蒂玛（SultanahFatimah），又俗称“马来娇”。这位王妃是位重情重义之人，由于同姓同乡又相熟，与黄亚福结拜为兄妹（一说结拜为姐弟），因而在她穿针引线下，黄亚福获得柔佛王室器重，柔佛政府的各项大型土木工程，多交由黄亚福承包，包括承建柔佛大皇宫、Balai Zaharah皇宫、新加坡的Tyersall皇宫、新山监狱、新山海边码头等。此外，他还负责修建道路、沟渠、学校、医院、餐室等等，相当于今天公用事业部门所做的工作，是柔佛官方认可的建筑承包商。

1880年，黄亚福从建筑承包商扩展业务到种植胡椒甘蜜，获得柔佛河支流老纪港（Semarga河下游）的特许经营权，后来又成为新纪港（Semarga河上游）、谦源港（Pengakalan Bukit河）、茂盛港（丰盛港）的“河流主人”（Tuan Sungai），特许经营种植椒蜜，还执掌了柔佛的椒蜜公局。柔佛港主甘蜜种植业原本是由潮州人独占，却因黄亚福这位广东台山人的加入，致使在很大程度上，改变了早期新山华人社会帮群的结构。

关于黄亚娇和黄亚福的故事，在民间华社流传相当广。翻阅战前的中文书籍，包括梁绍文《南洋旅行漫记》（1924）、温雄飞《南洋华侨通史》（1929）和黄强《马来鸿雪录》（1928）等书都有记载这段“双黄故事”。其中，梁绍文《南洋旅行漫记》记述得相当详细，说“马来娇”经常在苏丹阿武峇卡（当时尚是Temenggong SriMaharaja）面前称赞黄亚福，并向柔王建议：“今柔佛有这样光华灿烂都是阿福一手造成的。请将柔佛这一处商埠，准阿福专利60年；60年后收回国有。”柔王准奏，于是写了一张60年专利契约，给黄亚福收执。黄亚福就趁这机会，跃身为大地主，“富有柔佛全埠之地”。

另，黄亚福曾孙女拿汀黄佩萱在其所著的《黄亚福传》里也直言不讳，苏丹后花蒂玛就是黄亚娇。她在书中转述一篇报导，指说苏丹阿武峇卡对黄亚娇很是敬重，事情不论大小都跟她商量。他虽有其他较年轻的妻子，但是只有苏丹后是一个有影响力的人物。而这位苏丹后又称黄亚福为“大哥”，把他当作亲人看待。拿汀黄佩萱还曾听她的姑母黄莲娣说，黄亚福还得过这位苏丹后的资助。

惟报人黄建成认为，这些民间传说也可能只是“传说”而已，只能当作野史看待。其实黄亚福的成功，应是靠老实勤俭起家的。