基本上很难。因为你们没结婚，孩子又一直是你们照顾，只要你能证明你们一直有能力照顾孩子的情况下，基本上是抢不走的。因为就算告上法院，法院也会优先考虑让母亲方抚养孩子的。所以，基本上男方是要不了孩子的抚养权。而且要反过来支付孩子的抚养费用给你直到孩子成年。
如你所说的，孩子一直都在女方这边带，且双方经济状况差异不大，男方不太容易争得抚养权。
