Service zum Datei-Download aus einem AWS S3 Bucket
Übersicht
Mit Hilfe des AwsS3DownloadJob können Dateien aus einem AWS S3 Bucket heruntergeladen werden.
Scheduler Service
Der AWS-S3-Datei-Download erfolgt über den Scheduler-Service AwsS3DownloadJob. Zunächst wird gemäß der Dokumentation zu Scheduler Services ein Scheduler eingerichtet. Der Job wird durch folgende ServiceProperty konfiguriert:
B3P_SCHEDULER_REGISTER_CLASSNAME = org.b2bbp.eai.services.aws.AwsS3DownloadJob
Technische Beschreibung
Klassenpfad org.b2bbp.eai.services.aws.AwsS3DownloadJob
| ServiceProperty / Eigenschaften | Beschreibung | Werte |
|---|---|---|
| CLIENT_REGION | AWS Region | |
| BUCKET_NAME | Name des AWS S3 Buckets | |
| PATH_TO_FILE | AWS S3 Objekt-Key: Pfad bzw. Verzeichnis, aus dem Dateien heruntergeladen werden sollen | |
| ACCESS_KEY_ID | AWS Access Key ID | |
| SECRET_KEY_ID | AWS Secret access key | |
| PROCESS_SUBFOLDERS | Flag, ob Dateien in Unterverzeichnissen ebenfalls heruntergeladen werden sollen | true,false (default) |
| COPY_FOLDER | AWS S3 Objekt-Key: Pfad bzw. Verzeichnis, an den heruntergeladene Dateien innerhalb des Buckets kopiert werden sollen | |
| DELETE_FROM_BUCKET_AFTER_DOWNLOAD | Flag, ob die Datei nach dem Download aus dem Bucket gelöscht werden soll | true,false (default) |
| CONVERT_TO_STRING | Flag, ob der heruntergeladene Dateiinhalt in einen String konvertiert werden soll | true (default), false |
| ENCODING | Encoding, das beim Konvertieren des Dateiinhalts in einen String verwendet werden soll | UTF-8 (default) |
| FETCH_SIZE | Die Anzahl an Objekten, die vom S3 Bucket gelesen werden sollen | 1000 (default) |
| PROCESSING_THRESHOLD | Die Anzahl an Objekte, die der Verarbeitung zugeführt werden sollen | 1000 (default) |
| SORT_BY_LAST_MODIFIED_DATE | Falls gesetzt, werden alle Objekte vor der Verabeitung nach ihrem Änderungsdatum sortiert | true, false (default) |
| REVERSED_SORTING | Falls gesetzt, werden die Objekte in umgekehrter Reihenfolge verarbeitet | true, false (default) |