可以，因为土地的使用权是你的。这事你先和他们协商，协商不成的话到法院起诉，准赢的。到时候法院的判决书下来了你就可以去拆除了，如果拆除受阻，就到法院申请强制拆除。
流浪人员干的，那可能你要自己出钱拆了。 如果不是流浪人员干的，那你可以要求他们拆掉或者告他们侵权。
