There was a handkerchief sticking out of his jacket pocket.

sticking 是动词 stick 的现在分词形式，stick 本意是"粘住、固定"，在这里引申为"伸出、突出"。 out 是副词，表示"向外、在外面"。 sticking out 这个短语表示"突出、露出来"的意思，形容物体部分伸出在外部可见的状态。