I'd invite Frances to the party, only I don't want her husband to come.

only 在这里用作连词，表示"只是、不过"，用来引出某种限制或例外情况，相当于"but"或"except that"的用法。这种用法常见于口语中，表达说话人带有遗憾或无奈的语气。