If you want to leave early, that's fine.

that's 是 that is 的缩写形式，that 在这里指代前面提到的"早点离开"这件事。 fine 的意思是"好的、可以的"，表示同意或认可。 that's fine 是一个常用表达，意思是"没关系/没问题"，表示对某事的许可或接受。