I’ve been thinking about what you said and, with all due respect, I think you’re mistaken.

with 在这里表示"带着、具有"的意思。 all 表示"全部的、所有的"。 due 原意是"应得的、到期的"，在这里表示"适当的、应有的"。 respect 意思是"尊敬、尊重"。 with all due respect 是一个固定短语，字面意思是"带着所有应得的尊重"，实际使用时表示礼貌地表达不同意见，相当于中文的"恕我直言"。