You didn't listen, but I told you so from the start.

I 是第一人称代词"我"。 told 是动词 tell 的过去式，意思是"告诉"。 you 是第二人称代词"你"。 so 在这里用作副词，指代前面提到的内容，意思是"这样"、"如此"。 I told you so 是一个固定表达，意思是"我早就告诉过你会这样"，用于当事情如预料般发生时强调自己之前的警告。