I know all his songs by heart and I was singing all the time.

by 在这里表示"通过某种方式"。 heart 本义是"心脏"，在这里引申为"记忆、内心"，因为传统上认为记忆和情感与心脏有关。 by heart 这个短语的意思是"靠记忆、背诵"，指完全记住某事不需要看任何提示。