Auch wenn es ziemlich dämlich war sich gegenseitig so einen Persilschein zu unterschreiben, das Nachbargrundstück betreten zu dürfen oder das Nachbargrundstück aufzubuddeln sind ja wirklich unterschiedliche Dinge.
Der Gesetzgeber hat das Thema rechtssicher im Nachbarrechtgesetz geregelt und man tut gut daran sich daran zu halten. Eigene Kreativität bringt hier nur Nachteile.
Dass du keinen Bock auf Stress hast, hilft dir wenig wenn der Nachbar Bock darauf hat. Manche Leute probieren immer wie weit sie gehen können. Wenn du jetzt nachgibst, hast du trotzdem in 2 Wochen den nächsten Streitpunkt.
"Wenn der Klügere immer nachgibt, regieren die Dummen die Welt".
Du teilst dem Nachbarn schriftlich per Einschreiben mit, dass er die Bauarbeiten behindert und damit Kosten verursacht. Du setzt ihm eine sehr kurze Frist (wichtig : Termin nicht Zeitraum !) bis wann er die Behinderung abzustellen hat. Hält er sich nicht daran, wiederrufst du sofort die Vereinbarung wegen Mißbrauch und ebnest dein Grundstück wieder ein. Und wehe er setzt noch unangekündigt einen Fuß auf dein Grundstück.
Klar kannst du ihm den Regress androhen und und möglicherweise sehr langwierig juristisch durchsetzen. Das geht aber nur schriftlich und im Endeffekt mit Anwalt. Da bringt dich Zuschütten schneller weiter.
Für was braucht er überhaupt ein riesiges Loch ? Wird das ein Zaun oder die Nachbildung der Berliner Mauer ? Fachgerecht werden die Löcher für die Pfosten gebohrt und dann gleich betoniert. 20 m sind locker in 2 Tagen zu schaffen. 30-50 cm Fundament würde ich auf meinem Grunstück auch nicht akzeptieren. Das könnte dir noch größere und teure Probleme bereiten.
Wenn sein Zaun den weiteren Bauablauf unzumutbar einschränkt, kannst du deinerseits das Hammerschlag-und Leiterrecht geltend machen. Aber dann bitte streng nach Gesetz. Dagegen kann sich der Nachbar nicht wehren.