と主張をした。3ヶ国の強硬姿勢が翻心することはないのではないかと判断した阿部、松前の両老中は、2日後やむをえず無勅許で開港を許すことに決めた。翌日、
大坂城に参着した
一橋慶喜は、無勅許における条約調印の不可を主張するが、阿部・松前はもし諸外国が幕府を越して朝廷と交渉をはじめれば幕府は崩壊するとした自説を譲らなかった。公方の面前で条約調印の当否をめぐった論争では、家茂が場の緊張感にのまれ泣きだしたという。
朝廷は、阿部・松前の違勅を咎め、両名の官位を剥奪し
改易の勅命を下し、将軍家茂は両名を老職から外した。慶応2年(
1866年)阿部は隠居、蟄居を命じられ、4万石減封される。家督は正外の長男・正静が継ぎ、同年阿部家は内高(実際の収入石高)の少ない
陸奥棚倉へ転封された。