首先，如果这个约定只是口头约定的话，除非对方在法庭上认可该约定，否则不产生法律效果。

其次，如果该约定为书面约定，需要看该约定的性质为夫妻财产约定还是离婚协议，如果是以离婚为前提的离婚协议，如果您双方还没有领证离婚，该协议尚未生效，该房产依然属于夫妻共同财产；如果该书面协议没有以离婚为前提，协议属于夫妻财产约定，从双方签字之日起即生效，如果男方否认该协议，女方可在法院诉讼离婚时提交该协议作为证据，法院会尊重双方协议中对该房产的处理。

无论协议的性质如何，房屋登记在男方一人名下存在的风险是，男方可以不经女方同意处置该房产，如果男方私自将房屋卖掉，女方可以要求男方返还卖房款，但是难以追回房屋。因此，建议您尽快启动离婚诉讼，由法院对房屋归属进行判决。

如果您还有疑问，或者您的情况较为复杂，建议您及时反馈给离婚律师，专业律师为您提供法律服务。