如果男女双方在离婚协议中已经约定了，并且这一份离婚协议已经经过民政局盖章，并且经过双方的签字，即离婚协议已经生效。并且双方在离婚之后，两个孩子抚养权都归男方，并且两个孩子在双方离婚之后，也都是由男方直接抚养的，那么此时两个孩子的抚养权应该都是男方的，也就不存在男方要回抚养权的这一说法。

从题目中我们可以看出，两个孩子由男方直接抚养，但是女方不出抚养费，那么题主的问题应该是聚焦在男方是不是可以起诉要求女方支付抚养费。根据法律规定，男女双方在离婚之后，如果还是具有一方抚养，那么另一方是有支付孩子抚养费的义务的，具体抚养费支付数额，双方可以在离婚时经协商；如果协商不成，也可以走法院的诉讼程序，由法院进行判决。那么此时因为男女双方两个人已经协议离婚了，那么我们主要是看两个人在离婚协议之中，是如何约定抚养费事宜的。因此需要去看具体的离婚协议内容。如果离婚协议中已经约定了，女方应当支付具体抚养费数额，以及女方应当支付抚养费的支付方式。但是女方在离婚之后，并没有按照离婚协议的约定去支付抚养费，那么此时男方可以以孩子的名义提起抚养费纠纷。要求女方按照离婚协议的约定，去按时按量地支付抚养费。