I've listened to your side of the story, but I still think you were wrong to do what you did.

side 在这里指"方面、立场"，原意是"侧面、一边"，引申为看待问题的不同角度或立场。 of the story 这个短语中，of 表示所属关系，story 指"叙述、说法"。side of the story 合起来表示"某人对事情的叙述或看法"，即"某人的说法或立场"。