I made a mistake and had to start all over again.

all 在这里表示"全部、整个"的意思。 over 在这里表示"重新、再一次"的意思。 again 的意思是"再次、重新"。 all over again 是一个固定短语，表示"完全重新开始、从头再来"的意思，强调整个过程都要重新做一遍。