Service zum Datei-Download aus einem AWS S3 Bucket

Übersicht

Mit Hilfe des AwsS3DownloadJob können Dateien aus einem AWS S3 Bucket heruntergeladen werden.

Scheduler Service

Der AWS-S3-Datei-Download erfolgt über den Scheduler-Service AwsS3DownloadJob. Zunächst wird gemäß der Dokumentation zu Scheduler Services ein Scheduler eingerichtet. Der Job wird durch folgende ServiceProperty konfiguriert:

B3P_SCHEDULER_REGISTER_CLASSNAME = org.b2bbp.eai.services.aws.AwsS3DownloadJob

Technische Beschreibung

Klassenpfad org.b2bbp.eai.services.aws.AwsS3DownloadJob

ServiceProperty / Eigenschaften Beschreibung Werte
CLIENT_REGION AWS Region  
BUCKET_NAME Name des AWS S3 Buckets  
PATH_TO_FILE AWS S3 Objekt-Key: Pfad bzw. Verzeichnis, aus dem Dateien heruntergeladen werden sollen  
ACCESS_KEY_ID AWS Access Key ID  
SECRET_KEY_ID AWS Secret access key  
PROCESS_SUBFOLDERS Flag, ob Dateien in Unterverzeichnissen ebenfalls heruntergeladen werden sollen true,false (default)
COPY_FOLDER AWS S3 Objekt-Key: Pfad bzw. Verzeichnis, an den heruntergeladene Dateien innerhalb des Buckets kopiert werden sollen  
DELETE_FROM_BUCKET_AFTER_DOWNLOAD Flag, ob die Datei nach dem Download aus dem Bucket gelöscht werden soll true,false (default)
CONVERT_TO_STRING Flag, ob der heruntergeladene Dateiinhalt in einen String konvertiert werden soll true (default), false
ENCODING Encoding, das beim Konvertieren des Dateiinhalts in einen String verwendet werden soll UTF-8 (default)
FETCH_SIZE Die Anzahl an Objekten, die vom S3 Bucket gelesen werden sollen 1000 (default)
PROCESSING_THRESHOLD Die Anzahl an Objekte, die der Verarbeitung zugeführt werden sollen 1000 (default)
SORT_BY_LAST_MODIFIED_DATE Falls gesetzt, werden alle Objekte vor der Verabeitung nach ihrem Änderungsdatum sortiert true, false (default)
REVERSED_SORTING Falls gesetzt, werden die Objekte in umgekehrter Reihenfolge verarbeitet true, false (default)
View Me   Edit Me