要说这哥们儿也挺倒霉的，自从在和宫下嫁的事上坑了幕府一把之后，就落了个两头不是人：幕府觉得这小子贼坏，尽干丧尽天良的事；尊攘派觉得这家伙太不忠，前后张罗着要把皇家公主卖给幕府。就这样，在幕府的操纵下，朝廷判了他滚出京都，在乡下找个小宅子反省自己；同时，尊攘派也给他送去了恐吓信，说是要把他砍死，然后暴尸街头。
从此之后，岩仓具视的日子就难过了，他整天就跟乌龟一样，躲在家里，大门不出，二门不迈，连深更半夜都不敢出去吸口气，上街买菜的自由也没了。这种乌龟缩头功一练就是好几年，搞得尊攘派想暗杀也没了方向，他们甚至都不知道岩仓具视究竟躲在哪儿。幸而过了一段时间之后，孝明天皇觉得其实这人也没什么，当时为了平息幕府的不爽才不得已赶走了他，现在既然已经顺利平息了，那就让他回来吧。
岩仓具视表面上没说什么，很听话地回到了朝廷，继续做了个官，但仅仅是表面上。这也是理所当然的。我把你赶到乡下去，一连好几年断了你的娱乐，断了你的网，连出门都不让你出，你能不恨我？这岩仓具视回归朝廷之后，恨上了两样东西：一样是孝明天皇，还有一样是幕府，后者是主要的。
事实上，岩仓具视躲在乡下的时候，尽管不出门，但也不是没人来拜访，比如萨摩藩的同志们就很关心这位前朝廷高级干部的生活，时不时地派人送点礼物来，主要是萨摩产的红薯。在这个过程中，岩仓具视跟萨摩越走越近，关系也越来越好。