我们在厂里认识，他未婚，我离异带娃，在一起住了一年多了，他每天除了上班就是围着我和孩子转，基本上没有社交圈子。今天他休假

我们在厂里认识，他未婚，我离异带娃，在一起住了一年多了，他每天除了上班就是围着我和孩子转，基本上没有社交圈子。今天他休假，他说晚上带我回他家去商量婚事，我突然不知所措，因为我压根就没想过跟他结婚，而且还有异味，我是不可能答应的。我该怎么和他说呢。