I'm sure he says these things deliberately to annoy me.

deliberately 是副词，由形容词 deliberate（故意的、蓄意的）加上副词后缀 -ly 构成。deliberate 来自拉丁语 deliberatus（经过仔细考虑的），在这里表示"有意为之、故意地"。