配偶是港人，而且拿的是临时香港身份证，婚后在内地生小孩，之后小孩...

不明白，既然是港人，为何拿临时身份证，临时身份证是给在港停留超过180日的非港人的。
你弄清楚了再问，别人会比较好回答。
------------------------------------------------
香港特别行政区永久性居民为：
( 一 ) 在香港特别行政区成立以前或以後在香港出生的中国公民;
( 二 ) 在香港特别行政区成立以前或以後在香港通常居住连续七年以上的中国公民;
( 三 ) 第( 一) 、( 二) 两项所列