Backup bzw. rsync Problem?

Hallo.

Ich bekomme bei gewissen Dateien am Schluss von rsync immer den Fehler dass nicht alles übertragen wurde. Komischerweise passen aber die Größen von Quelle und Ziel immer zusammen.

Hab jetzt in den Log-Files jetzt mal etwas tiefer gegraben und hab folgendes ausgegraben.

b'rsync: [receiver] rsync_xal_set: lsetxattr("/mnt/Laufwerke/99_Fritz.NAS/Transcend/_Backup/mnt/Laufwerke/01_M.2_SSD_Erweiterung/05_Python/__Python/xxx Eigene Notebooks xxx/__ Udemy - Notebooks/3 Python f\\#303\\#274r Fortgeschrittene/2-Python Objekte und Datenstrukturen/7-Forgeschrittene Python Objekte Assessment L\\#303\\#266sung.ipynb","user.Zone.Identifier") failed: Operation not supported (95)\n'

Das ist eine einzige Zeile weil an der Stelle leider der Pfad recht lang ist, aber es geht vermutlich hauptsächlich um das rsync_xal_set und um das failed: Operation not supported (95)

Zusätzliche Informationen:

Das Rsync Backup wird von Manjaro aus durchgeführt.

Quelle ist eine NTFS Festplatte (zum Großteil von Windows aus benutzt)

Ziel ist eine SSD die an der Fritz-NAS hängt. Diese ist folgendermaßen über fstab gemountet:

//192.168.178.1/FRITZ.NAS/                 /mnt/Laufwerke/99_Fritz.NAS               cifs   credentials=/home/dns/.smbcredentials,vers=3.0,noserverino,uid=1000,gid=1001,x-systemd.automount,x-systemd.requ
ires=network-online.target  0 0

Der rsync befehl lautet: (Das mit -e ssh ist gerade Versuchsweise drinnen eben wegen diesem Fehler. Hat aber keinen Unterschied gemacht)

rsync -avvPXAh -e ssh /mnt/Laufwerke/01_M.2_SSD_Erweiterung/05_Python/__Python/xxx\ Eigene\ Notebooks\ xxx/__\ Udemy\ -\ Notebooks/ /mnt/Laufwerke/99_Fritz.NAS/Transcend/testbackup/

Hat jemand eine Idee wie ich die Fehler beseitigen könnte?

Vielen Dank im Voraus

1 Antwort

Thomasg

11.09.2021, 18:29

Scheinbar versucht er ein Attribut zu setzen, was von smb nicht unterstützt wird.

Da stand was von xattr, was mich wundert, da diese Attribute eigentlich nur unter ext Dateisystemen unterstützt werden. Schaual, ob es in rsync eine Option gibt, solche Attribute zu ignorieren.

Woher ich das weiß:Berufserfahrung – Seit langer Zeit als Systemadministrator tätig

Ähnliche Beiträge

Linux/Rsync - Problem in zusammenspiel NAS-Partition mounten und Rsync?

Hallo.

Ich habe ein Problem mit Rsync auf eine NAS Partition.

Die Ursache glaube ich habe ich identifiziert, aber leider keine Lösung dafür.

Beim Rsync bekomme ich mit der Option "-X" immer den Fehler dass nicht alle Daten übertragen wurden. Mittlerweile bin ich mir recht sicher dass dies an den Metadaten liegt.

Ich habe im Internet gelesen, dass man die NAS mit einer anderen Option mounten müsste aber ich finde nicht raus wie.

Meine NAS steht folgendermaßen in der fstab:

//192.168.178.1/FRITZ.NAS/                 /mnt/Laufwerke/99_Fritz.NAS               cifs   credentials=/home/dns/.smbcredentials,vers=3.0,noserverino,uid=1000,gid=1001,x-systemd.automount,x-systemd.requ
ires=network-online.target  0 0

Was könnte ich da anders machen, damit rsync die Metadaten übertragen könnte?

Der Fehler bei rsync ist folgendermaßen:

rsync_xal_set: lsetxattr(...,"user.Zone.Identifier") failed: Operation not supported (95)\n'

Vielen Dank im Voraus

...zum Beitrag

rsync - mknod ... failed: Operation not permitted?

Hallo.

Ich habe ein Problem mit einem Backup über rsync.

Das Backup geht auf ein mit cifs gemountetes Laufwerk, das höchstwahrscheinlich auch ein Grund für das Problem sein wird, da das gleiche Backup auf eine normal gemountete Festplatte funktioniert.

Bekomme immer folgenden Fehler der dann am Ende auch zu einem Fehler führt.

b'rsync: [generator] mknod "/mnt/Laufwerke/99_Fritz.NAS/Transcend/_Backup/Linux/Test-Ordner-21-10-17/.steam/steam.pipe" failed: Operation not permitted (1)\n'

Da dieses Backup über ein mehr oder weniger komplexes Python Script läuft, bei dem mehrere Backups aneinander gereiht werden ist das ungünstig wenn ein Fehler auftritt.

Folgende Variablen werden an den subprocess übergeben:

rsync_liste = ['rsync',
               '-rptgoDvvAhz',   
               '--info=progress2',
               '--stats',
               '--partial',       
               ('--log-file=' + logfile),
               '--delete',
               '--delete-excluded',
               ('--backup-dir=' + backup_dir),
               ('--exclude-from=' + exclude_NAS_File),
               source,
               target]

Hat jemand eine Ahnung wie ich diesen Fehler wegbekommen könnte, oder zumindest wie er hervorgerufen wird? Das cifs keine Symlinks kann weiß ich und hoffe ich dass ich es ausgeschlossen habe, aber sicher bin ich mir nicht.

Vielen Dank im Voraus

...zum Beitrag

rsync Problem?

Hallo.

Ich habe mir ein Programm mit Python geschrieben mit dem ich verschiedene Backups mittels rsync ausführen kann. Das eigentliche rsync wird dann mit subprocess ausgeführt und ich glaube es eher weniger ein Python als ein Problem mit rsync (oder mit dem was ich einstelle).

Ich starte das Backup immer von Manjaro/Linux aus. Das Problem Backup ist dann von einer NTFS Festplatte auf eine NTFS Festplatte die über NAS an der Fritzbox hängt.

Die Daten werden immer alle übertragen, wenn ich also danach die Datei-, Ordner- Menge/Größe Vergleiche passt eigentlich alles, aber ich bekomme immer zum Schluss (in der Log-Datei) folgenden Fehler:

rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1330) [sender=v3.2.3]

Dadurch wird das Python Programm dann auch beendet.

Ich übergebe folgende Variablen an den subprocess:

rsync_liste = ['rsync',
               '-avvPXAhWz',
               '--stats',
               ('--log-file=' + logfile),
               '--delete',
               ('--backup-dir=' + backup_dir),
               ('--include-from=' + include_File),
               source,
               target]

Wobei logfile, backup_dir, include_File, source und target Variablen sind die auf Pfade bzw. Dateien zeigen.

Ich vermute mal das ich was mit den rsync Attributen was anders machen müsste, aber ich komm leider nicht drauf und probiere schon ziemlich lange damit rum. Bin in dem Thema leider nicht der Erfahrenste.

Die NAS-Festplatte an der Fritzbox ist in der /etc/fstab folgendermaßen gemountet:

//192.168.178.1/FRITZ.NAS/                  /mnt/Laufwerke/99_Fritz.NAS                cifs    credentials=/home/dns/.smbcredentials,vers=3.0,noserverino,uid=1000,gid=1000,x-systemd.automount,x-systemd.requ
ires=network-online.target   0 0

Würde mich sehr freuen wenn jemand eine Idee hätte woran es liegen könnte.

Vielen Dank im Voraus

...zum Beitrag

Dreambox Netzwerkfreigaben wie konfigurieren?

Hallo,

Ich besitze eine Dreambox DM900, die mich regelmäßig zur Weissglut treibt..

Ich besaß mal ein billiges altes D-Link Nas welches nur 30mb/s im Upload schaffte, zu wenig für UHD über die Dreambox. Nun habe ich ein neues Nas gekauft (Qnap TS431P) um UHD zu ermöglichen. Am Windows Laptop kommen 112 - 113mb/s an wenn ich Daten auf den Laptop Kopiere.

Ich schaffe es jetzt aber nicht an der Dreambox die SMB Freigabe zu mounten. als NFS hab ich das mal hinbekommen, allerdings war die Datenrate hier auf magere 3MB/s begrenzt.

Ich hab hab schon alle ersichtlichen Einstelungen im Qnap ausgeschöpft (Die Menüführung ist etwas gewöhnungsbedürftig)

Vielleicht kann mir jemand helfen bei den Freigaben? es ist auch so, das ich so gut wie alles Mounten kann (es wird zumindest im Netzwerkbrowser mit Haken angezeigt) auch Ordner wo ich im Qnap extra den Zugriff verweigert haben sind hier dann angeblich erfolgreich gemountet -.- im Mediaplayer wird aber rein Garnichts angezeigt.

Ich bin im Moment kurz davor die fast noch neue DM900 rauszuschmeißen, und nen kleinen Windows PC mit H.265/HEVC Hardwareseitiger Unterstützung zu basteln..

...zum Beitrag

Raspi Nas überall zugreifen?

Ich habe mir vor eine Weile ein Nas system selber gemacht... Allerdings kann ich nur im lokalen Netzwerk darauf zugreifen. Ist es möglich dafür zu sorgen daß ich auch untergs darauf Zugreifen kann?

...zum Beitrag

Terminal öffnen um Fortschritt zu sehen?

Hi,

Ich habe mir gerade für rsync ein script gemacht bei dem ein Backup erstellt wird.

Nur leider sehe ich da nicht wann das Backup beendet ist, weil wenn ich dieses Script über eine Verknüpfung öffne ich kein Terminal habe.

Gibt es da eine Möglichkeit zu sehen wann das Backup beendet ist, oder das Terminal automatisch öffnen zu lassen?

Zur Erklärung:

Ich habe eine Datei namens Backup.sh die ich ausführbar gemacht habe.

Der Inhalt sieht wie folgt aus:

#!/bin/bash

datum=$(date +"%y-%m-%d")


rsync -avPXAh --log-file=/mnt/Laufwerke/10_Backup-Linux/01_Backup-home-dns/_Log-Files/${datum}_Log_File_1.log --delete --backup-dir=/mnt/Laufwerke/10_Backup-Linux/01_Backup-home-dns/_gelöschte_Dateien --exclude-from=/mnt/Laufwerke/10_Backup-Linux/01_Backup-home-dns/_rsync-Exclude-File/Rsync-Exclude-Linux-Home /home/dns /mnt/Laufwerke/10_Backup-Linux/01_Backup-home-dns/

Kann man da was einbauen, dass nach dem doppelklick der Datei sich ein Terminal öffnet mit der Fortschrittsanzeige, bzw. das es einfach so ist als hätte ich es mit sh Backup.sh aus dem Terminal gestartet?

...zum Beitrag

Ubuntu 22.0.4 LTS bootet nicht vom USB Stick - HP Notebook?

Hallo Leute,

ich wollte auf meinem 2016 HP Notebook Ubuntu 22.0.4 LTS installieren. Hierfür erstellte ich mit Rufus einen Bootstick und bootete von dem. Leider erhielt ich ACPI Fehler und am Ende noch einen anderen Fehler. Dies wiederholte sich mehrmals.

Folgendes habe ich getan um den Fehler zu beheben:

BIOS Update
Secure Boot Disabled
Anderen USB Stick ausprobiert
Andere USB Ports ausprobiert

Alles hat leider nicht geholfen. Könnt ihr mir weiter helfen?

Ich würde gerne Ubuntu im Dual Boot nutzen, da ich für die Schule nativ Linux benötige und ich auch meinen Workflow in Zukunft in Linux machen möchte.

...zum Beitrag

Python Paramiko Error?

Hey! Ich habe probleme mit Paramiko in Python. das unten ist mein Skript.

Aber es gibt mit diesen Fehler:

socket.gaierror: [Errno 11001] getaddrinfo failed

import paramiko

from paramiko import AutoAddPolicy

ssh = paramiko.SSHClient()

ssh.set_missing_host_key_policy(AutoAddPolicy())

server = input('Server IP: ')

username = input('Login as: ')

password = input(username + '@' + server + "'s Password: ")

try:

ssh.connect(server[0], username=username, password=password)

except paramiko.AuthenticationException:

print('Login Failed!')

stdin, stdout, stderr = ssh.exec_command('python3 king.py')

stdin, stdout, stderr = ssh.exec_command('echo text >> text.txt')

...zum Beitrag

NAS, was passiert wenn eine Festplatte ausfällt/kaputt geht (Daten weg?)?

...zum Beitrag

Automatisches (differenzielles) Backup von Daten auf ein NAS Laufwerk?

Hallo alle,

Ich suche nach einer Datensicherungslösung, die Daten von einem Windows PC (Windows 10+) auf ein NAS sichert.

Die Lösung soll folgendes tun:

Einen Task der manuell oder Zeitgesteuert startet
Der Task "sichert" definierte Folder vom Windows PC auf das NAS (net-share)

Das „sichert“ Task sollte eigentlich:

Einen Verzeichnis mit dem Datum – Uhrzeit (z. B. 2023-07-28_16-12-13) erstellen
Überprüfen was beim letzten durchlauf erstellt wurde um ...
Sym-Links für Dateien zu erstellen , die:
- im alten Backup vorhanden sind
- in der Live-Maschine vorhanden sind und
- auf der Live-Maschine seit der letzten Sicherung nicht geändert wurden.
kopiert alle neuen und geänderten Dateien von der Live-Maschine.

Einmal im Jahr oder manuell ausgelöst, sollte die „Synchronisierung“ eine vollständige Kopie ohne die Sym-Links erstellen.

Der Nutzer zum schreiben auf dem NAS hat nur schreibe keine überschreibe/lösch rechte.

Was nicht gewollt ist:

eine Lösung basierend auf Images (Full disk)
eine Lösung basierend auf nicht gängigen Dateiformaten (für Archive usw.)
eine Lösung basierend auf einer Closed-Source-Anwendung

Gibt es ein Set-up, das das kann, was hier beschrieben wird?
(Das NAS ist noch nicht definiert, der Fokus hier liegt auf dem Client auf der Windows machine)

...zum Beitrag

Python - subprocess - stdout in DAtei?

Hallo.

Ich schreibe in Python gerade ein Backup Script wobei ich rsync über einen subprocess aufrufe.

Ich möchte hier die Ausgabe gleichzeitig im Terminal anzeigen lassen und in eine Datei schreiben.

Ist das möglich?

Ich würde das ungefähr so übergeben:

backup_process = subprocess.Popen(rsync_liste), stdout=subprocess.PIPE, stderr=subprocess.PIPE
stdout, stderr = backup_process.communicate()  
print(stdout.decode('utf-8').split('\n'))
print(stdout.decode('utf-8').split('\n'))
stdout_datei = open('stdout_datei.txt', 'w')

Aber dann werden die Schritte nacheinander ausgeführt (meines Wissens zumindest)

Habe die Befürchtung, dass wenn das Backup dann recht lang ist, dass dann nicht alles ausgegeben bzw. gespeichert wird.

Wie könnte man das sinnvoller machen?

...zum Beitrag

Python - Frage zu Klassen Methoden Objekten?

Hallo,

Ich habe eine kleines Problem mit Klassen bzw. dessen Objekten. Ich zeige mein Problem anhand eines kleinen Beispiels:

Initialisierung der Klasse:

class Test:
  def __init__(self, test_objekt):
    self.test-objekt = test_objekt
  
  def test_methode(self)
    print(self.test_objekt)

Die Klasse hat 3 Methoden die alle das test-objekt verwenden möchten.

Aber mir klappt die Übergabe von dem in __init__ initialisiertem test_objekt nicht auf die Methode. Wie muss ich es schreiben dass das self.test_objekt in der test_methode benutzt werden kann?

Aufruf der Klasse ist im Beispiel übertragen auf mein Problem:

Test.test_methode(test_objekt)

...zum Beitrag

Raspberry Pi als rsync Backup Server konfigurieren?

Hallo zusammen,

ich würde gerne ein Backup von einem Raspberry Pi auf einen anderen Raspberry Pi machen.

Meine Frage: Wie konfiguriere ich rsync auf Raspberry1 so, dass ich ein Backup via rsync von Raspberry2 machen kann?

Raspberry1 soll ein Backup Server für Raspberry2 werden.

Vielen Dank im Voraus für eure Antworten :)

...zum Beitrag

ProFTPd externes Laufwerk nutzen (Raspi / Linux)?

Hey Leute, ich habe mir auf meinem Raspi mit ProFTPd einen FTP-Server eingerichtet. Ich möchte aber nicht die SD-Karte, sondern eine 2tb HDD als Speichermedium nutzen. Diese ist gemounted, übers Betriebssystem formatiert und richtig eingerichtet worden und wird auch von der Handyapp "RaspController" erkannt. Allerdings komme ich weder über /mnt/sda bzw. /mnt/sda1 noch über das von der App angegebene /media/pi/volume auf die Platte. Muss ich irgendwelche Permissions setzen oder mich als Root einloggen? Ich komme mit Nutzer "pi" auf das Verzeichnis im Bild aber nicht höher.

Danke im Vorraus!

...zum Beitrag

Was möchtest Du wissen?

Deinen Beitrag erstellen