There was a handkerchief sticking out of his jacket pocket.

sticking 是动词 stick 的现在分词形式，stick 在这里的意思是"伸出、突出"。 out 是副词，表示"向外、出来"的意思，常与动词搭配表示动作的方向。 sticking out 这个短语表示"突出、露出来"的意思，形容物体部分伸出在外的状态。