当初建房的时候本想和邻居并排建的最后怕影响邻居的采光，我两兄弟果断后退两米，也不知这样做对不对？