We'd only just set off when it started to rain.

only 在这里是副词，表示"仅仅、刚刚"，强调动作发生的时间非常接近另一个事件（开始下雨）。 just 也是副词，表示"刚刚、才"，与 only 连用构成短语 only just，加强"刚刚发生"的语气，强调两个动作（出发和下雨）之间几乎没有时间间隔。 only just 合起来表示"刚刚才"，强调动作发生的时间非常短促。