Entre 1755 et 1800, les deux seigneuries connaîtront trois propriétaires. C’est la faillite du dernier qui profite à Pierre-Louis Panet (Ci-contre; collection privée) qui en fait l’achat en 1800. En 1802, il fait arpenter et borner ses nouvelles terres qui s’étendent de Ste-Émélie de l’Énergie au NE jusqu’à St-Côme au NO, jusqu’à St-Charles-Borromée au SO et, de là, suivant le tracé de la rivière L’Assomption, jusqu’à St-Félix de Valois au SE.
Avocat, notaire, fonctionnaire, homme politique et juge, Pierre-Louis Panet avait fort peu de temps à consacrer à ses deux nouvelles seigneuries mais il y fit tout de même procéder à la construction d’un manoir en 1811 dans lequel il ne vécut jamais puisqu’il mourut, à Montréal, en 1812. Dès lors, c’est son épouse, Marie-Anne Cerré (Ci-contre, collection privée), qui prend la relève, quitte Montréal, s’installe au manoir et amorce le développement des seigneuries d’Ailleboust et Ramezay. Elle fera construire sur la « Pointe Ennuyante », en un point de rapides de la rivière L’Assomption, les deux moulins banaux (à scie et à farine), obligation de tout seigneur. Marie-Anne Cerré décède en 1828.