Archiveren in een datalake
Beste collega's & vakgenoten, De korte vraag is: wie heeft ervaring, of is van plan, om de archief fu...
Dag allen,
In onze digitaal geboren (particuliere) archieven zitten nog wel eens ingepakte files als bv ZIP, RAR of TAR. Nu pakken we die sowieso uit voor dat we die in het digitaal depot schuiven maar wij zouden deze graag eerst scannen op virussen (voordat we deze uitpakken dus). En liefst gelijk na de offload in onze 'voorbewerkingsruimte'. Heeft een van jullie daar ervaring mee en/of een procedure voor ontwikkeld?
Reacties
Als je een zip-bestand echt niet vertrouwd, kan je een volledig beschermde omgeving maken in VirtualBox (een virtuele computer die echt is afgeschermd). Daarin installeer je alleen Windows en 7-zip (of andere zip/unzip software) en uiteraard een virusscanner. Dan kan je het bewuste bestand uitpakken en scannen. Als het oké blijkt te zijn, kan je het verplaatsen naar een plek buiten de VirtualBox.
Zie: https://www.virtualbox.org/
Ik heb hier geen praktische ervaring mee, maar volgens bijvoorbeeld https://www.geeksforgeeks.org/how-to-scan-zip-files-for-viruses-and-zip-bombs/ kun je virusscanners instellen om binnen zips te scannen (als ze dat al niet automatisch doen). Dan hoef je ze niet eerst (handmatig of geautomatiseerd) uit te pakken. Onder Linux kan bijvoorbeeld clamav het, maar blijkbaar met beperkingen (https://askubuntu.com/questions/729666/does-clamav-scan-compressed-files), waar anderen dan weer oplossingen voor aandragen (https://github.com/Cisco-Talos/clamav-large-archive-scanner).
Voor een procedure kan ik me voorstellen dat je steeds na verloop van een bepaalde hoeveelheid tijd monitort of er nieuwe bestanden in de voorbewerkingsruimte staan, en daar dan je virusscanner op loslaat. Eventueel met de check of het een container betreft, waarna je zo nodig de specifieke scanopdracht kunt geven om in de container te kijken. Het resultaat van de scan kun je geautomatiseerd naar je laten e-mailen. In https://askubuntu.com/questions/1156666/how-i-can-monitor-for-new-files-in-a-directory-and-drop-a-mail-if-files-are-not vond ik na googlen een voorzichtige start voor zo'n script voor Linux, hoewel het volgens verder googlen onder Windows ook met de Powershell moet kunnen.
Beetje technisch allemaal, maar wel meteen gericht op een geautomatiseerd proces en resultaat in je mailbox.