public static void deleteDir(File dir) {
    File[] files = dir.listFiles();
    if (files != null) {
        for (int i = 0; i < files.length; i++) {
            if (files[i].isDirectory()) {
                deleteDir(files[i]);
            } else {
                files[i].delete();
                dir.delete();
            }
        }
    }
}

public static void main(String[] args) throws IOException {
    deleteDir(new File("C:/Users/USER/Documents/JavaCopy/neu"));
    Path startingDir = FileSystems.getDefault().getPath("C:/Users/USER/Documents/JavaCopy/alt", new String[0]);
    Path destDir = FileSystems.getDefault().getPath("C:/Users/USER/Documents/JavaCopy/neu", new String[0]);
    Files.walkFileTree(startingDir, new Copy(startingDir, destDir));
}

Das sorgt dafür, dass die Dateien in dem Ordner gelöscht werden, aber wie löscht man den ganzen Ordner an sich bzw. wie löscht man alle Ordner in einem Ordner?