我买了一套房子由于是单位房，房产证没有下来，因此没有过户。我都住了快3年了，现在有一方回来要房子，

你说的情况不清楚，只能分析如下：
1、如果你是该单位职工，买房子有书面的房屋买卖合同或者协议，原房屋所有人夫妻双方都签字，则此房你依然可以拥有，与原房主子女无关。
2、如果你不是该单位职工，买房子有书面的房屋买卖合同或者协议，原房屋所有人有一方没有签字，另一方是有理由要回房子的，但是你可以索回全部购房款，还可以追究原房主的违约金，你之前居住的三年不承担房租。
3、如果你买房的时候，没有书面的房屋买卖合同或者协议，你不想把房子退回去有些勉强，你可以找一些证据，比如购房款收据，