The fact that he doesn't want to come is beside the point - he should have been invited.

beside 是介词，意思是"在...旁边"，在这里引申为"与...无关"。 the 是定冠词，特指某个事物。 point 的意思是"要点、重点、观点"。 beside the point 是一个固定短语，意思是"离题的、不相关的、无关紧要的"，表示某件事与当前讨论的主题没有直接关系。