We need to leave early, that is to say, by 6 AM.

that 是指示代词，指代前面提到的"早点出发"这件事。 is 是系动词be的第三人称单数现在时，在这里起连接作用。 to 是不定式符号，后面接动词原形。 say 是动词，意思是"说、表达"。 that is to say 是一个固定短语，意思是"也就是说"，用于进一步解释或说明前面提到的内容。