边的伍家豪宅，据说可与《红楼梦》中的大观园媲美。
接触英国鸦片商被林则徐惩处，承担赔款走向没落
作为封建王朝没落时期的一名富商，伍秉鉴所积累的财富注定不会长久。就在他的跨国财团达到鼎盛时，一股暗流正悄然涌动。1840年6月，鸦片战争爆发。尽管伍秉鉴曾向朝廷捐巨款换得了三品顶戴，但这丝毫不能拯救他的事业。由于与英国鸦片商人千丝万缕的联系，他曾遭到林则徐多次训斥和惩戒，还不得不一次次向清政府献出巨额财富以求得短暂的安宁。《南京条约》签订后，清政府在1843年下令行商偿还300万银元的外商债务，而伍秉鉴一人就承担了100万银元。也就是在这一年，伍秉鉴病逝于广州。
伍秉鉴死后，曾经富甲天下的广东十三行开始逐渐没落。许多行商在清政府的榨取下纷纷破产。更致命的是，随着五口通商的实行，广东丧失了在外贸方面的优势，广东十三行所享有的特权也随之结束。第二次鸦片战争爆发后，又一场突如其来的大火降临到十三行街，终于使这些具有100多年历史的商馆彻底化为灰烬。