The kitchen utensils stay next to the sink. You can make use of them by all means.

by 是介词，在这里表示方式或手段，意思是"通过...方式"。 all 是形容词，意思是"全部的、所有的"。 means 是名词，意思是"方法、手段"，单复数同形。 by all means 是一个固定短语，字面意思是"通过所有可能的方式"，引申为"当然可以、尽管使用"的意思，表示完全允许或强烈建议。