With this letter, I want to thank you with all my heart for your hospitality during my visit to you.

with 是介词，表示"用...方式"或"带着..."。 all 是形容词，意思是"全部的、所有的"。 my 是形容词性物主代词，表示"我的"。 heart 本义是"心脏"，常用来比喻"内心、情感"。 with all my heart 是固定短语，字面意思是"用我全部的心"，引申为"全心全意地、由衷地"。