improvement against API failure 502 (2 allowed loops)

Author: sba72

tools/tx_activity.py

@@ -33,6 +33,7 @@
 import ssl
 import subprocess
 import sys
+import time
 import urllib.error
 import urllib.parse
 import urllib.request
@@ -41,6 +42,9 @@
 
 API = "https://rest.api.transifex.com"
 
+# Wie oft ein voruebergehender Serverfehler wiederholt wird.
+VERSUCHE = 4
+
 # Am 2026-10-03 gegen python-newest geprueft: das Attribut heisst
 # datetime_translated, der zugehoerige Filter date_translated.
 DATUMSFILTER = [
@@ -112,18 +116,27 @@ def ressourcen(wurzel: Path) -> tuple:
     return karte, org, projekt
 
 
-def seiten(pfad: str, params: dict, tok: str):
-    """Alle Seiten einer JSON:API-Sammlung durchlaufen."""
-    url = API + pfad + ("?" + urllib.parse.urlencode(params) if params else "")
-    while url:
+def hole(url: str, tok: str) -> dict:
+    """Eine Seite abrufen -- mit Wiederholung bei voruebergehenden Fehlern.
+
+    Transifex liefert sporadisch ein 502. Frueher wurde die Ressource dann
+    stillschweigend uebersprungen und fehlte im Bericht.
+    """
+    for versuch in range(1, VERSUCHE + 1):
         req = urllib.request.Request(url, headers={
-            "Authorization": "Bearer " + tok,
+            "Authorization": f"Bearer {tok}",
             "Accept": "application/vnd.api+json",
         })
         try:
             with urllib.request.urlopen(req, timeout=90, context=KONTEXT) as antwort:
-                daten = json.load(antwort)
+                return json.load(antwort)
         except urllib.error.HTTPError as e:
+            if (e.code >= 500 or e.code == 429) and versuch < VERSUCHE:
+                warte = 2 ** versuch
+                print(f"  HTTP {e.code}, neuer Versuch in {warte}s "
+                      f"({versuch}/{VERSUCHE - 1})", file=sys.stderr)
+                time.sleep(warte)
+                continue
             rumpf = e.read().decode("utf-8", "replace")[:400]
             raise RuntimeError(f"HTTP {e.code} bei {url}\n{rumpf}") from None
         except urllib.error.URLError as e:
@@ -133,7 +146,20 @@ def seiten(pfad: str, params: dict, tok: str):
                     '  open "/Applications/Python 3.14/Install Certificates.command"\n'
                     "oder im aktiven venv:  pip install certifi"
                 )
+            if versuch < VERSUCHE:
+                warte = 2 ** versuch
+                print(f"  Netzwerkfehler, neuer Versuch in {warte}s", file=sys.stderr)
+                time.sleep(warte)
+                continue
             raise RuntimeError(f"Netzwerkfehler bei {url}: {e.reason}") from None
+    raise RuntimeError(f"Nach {VERSUCHE} Versuchen aufgegeben: {url}")
+
+
+def seiten(pfad: str, params: dict, tok: str):
+    """Alle Seiten einer JSON:API-Sammlung durchlaufen."""
+    url = API + pfad + ("?" + urllib.parse.urlencode(params) if params else "")
+    while url:
+        daten = hole(url, tok)
         for eintrag in daten.get("data", []):
             yield eintrag
         url = (daten.get("links") or {}).get("next")

tools/tx_diff.py

@@ -25,13 +25,17 @@
 import ssl
 import subprocess
 import sys
+import time
 import urllib.error
 import urllib.parse
 import urllib.request
 from datetime import datetime, timedelta, timezone
 from pathlib import Path
 
 API = "https://rest.api.transifex.com"
+
+# Wie oft ein voruebergehender Serverfehler wiederholt wird.
+VERSUCHE = 4
 KUERZUNG = 160
 
 
@@ -91,28 +95,49 @@ def ressourcen(wurzel: Path) -> tuple:
     return karte, org, projekt
 
 
-def seiten(pfad: str, params: dict, tok: str):
-    """Liefert (data-Eintrag, included-Karte) fuer alle Seiten."""
-    url = API + pfad + ("?" + urllib.parse.urlencode(params) if params else "")
-    while url:
+def hole(url: str, tok: str) -> dict:
+    """Eine Seite abrufen -- mit Wiederholung bei voruebergehenden Fehlern.
+
+    Transifex liefert sporadisch ein 502. Frueher wurde die Ressource dann
+    stillschweigend uebersprungen und fehlte im Bericht.
+    """
+    for versuch in range(1, VERSUCHE + 1):
         req = urllib.request.Request(url, headers={
-            "Authorization": "Bearer " + tok,
+            "Authorization": f"Bearer {tok}",
             "Accept": "application/vnd.api+json",
         })
         try:
             with urllib.request.urlopen(req, timeout=90, context=KONTEXT) as antwort:
-                daten = json.load(antwort)
+                return json.load(antwort)
         except urllib.error.HTTPError as e:
+            if (e.code >= 500 or e.code == 429) and versuch < VERSUCHE:
+                warte = 2 ** versuch
+                print(f"  HTTP {e.code}, neuer Versuch in {warte}s "
+                      f"({versuch}/{VERSUCHE - 1})", file=sys.stderr)
+                time.sleep(warte)
+                continue
             rumpf = e.read().decode("utf-8", "replace")[:300]
             raise RuntimeError(f"HTTP {e.code}: {rumpf}") from None
         except urllib.error.URLError as e:
             if "CERTIFICATE_VERIFY_FAILED" in str(e.reason):
                 sys.exit('Wurzelzertifikate fehlen -- "Install Certificates.command" '
                          "ausfuehren oder certifi installieren.")
-            raise RuntimeError(f"Netzwerkfehler: {e.reason}") from None
-        beigefuegt = {e["id"]: e for e in daten.get("included", [])}
+            if versuch < VERSUCHE:
+                warte = 2 ** versuch
+                print(f"  Netzwerkfehler, neuer Versuch in {warte}s", file=sys.stderr)
+                time.sleep(warte)
+                continue
+            raise RuntimeError(f"Netzwerkfehler bei {url}: {e.reason}") from None
+    raise RuntimeError(f"Nach {VERSUCHE} Versuchen aufgegeben: {url}")
+
+
+def seiten(pfad: str, params: dict, tok: str):
+    """Alle Seiten einer JSON:API-Sammlung durchlaufen."""
+    url = API + pfad + ("?" + urllib.parse.urlencode(params) if params else "")
+    while url:
+        daten = hole(url, tok)
         for eintrag in daten.get("data", []):
-            yield eintrag, beigefuegt
+            yield eintrag
         url = (daten.get("links") or {}).get("next")