With this letter, I want to thank you with all my heart for your hospitality during my visit to you.

with 是介词，表示"用...方式"或"带着..."。 all 在这里表示"全部的、完全的"。 my 是形容词性物主代词，表示"我的"。 heart 本义是"心脏"，在这里比喻"内心、情感"。 with all my heart 这个短语字面意思是"用我全部的心"，引申为"全心全意地、由衷地"。