I think that on balance, I'd prefer to take the train instead of driving.

on 在这里表示"基于...考虑"或"从...角度来看"。 balance 本义是"平衡"，在这里指综合考虑各种因素后的权衡结果。 on balance 是一个固定短语，意思是"综合考虑后"或"总体而言"，表示在权衡各种因素后得出的结论。