你可以随时解除委托合同。这是你的权利，你享有任意解除权。但如果代理人已经付出了相应的劳动，则你需要赔偿相应的损失。
具体做法是，你可以直接通知代理人解除协议，协议便归于无效，不需要取得对方同意。
根据《合同法》规定，委托人或者受托人可以随时解除委托合同。因解除合同给对方造成损失的，除不可归责于该当事人的事由以外，应当赔偿损失。
