财产虽然越来越丰厚，可一看到美国愈加强盛，中国愈加衰落，他的内心是百感交集。
可是，伍振邦无法回国。
在伍秉鉴死后不久，两广总督耆英和广东巡抚徐广缙暗谋其财，以防止伍氏避居海外为由，查监伍家所有资产，后没收查抄。
按照清律，伍振邦所继承的那笔东印度债务也应该属于清朝廷。
伍振邦只能写信给胡楚元，说是由他出资，和胡楚元一起在国内筹办新学，兴办民族教育之事业。
将信看完，胡楚元慢慢折好信笺，和容闳道：“在国内办新学很受局限，更要小心谨慎。容先生请回去和伍老先生说，还是在美国筹办这所大学。我和他一起出资，由您来负责。另外，您回去之后也要和他再商量一件事！”
容闳问道：“什么事情？”