Update app.py

app.py

@@ -1,43 +1,54 @@
 import os
-import requests
-from flask import Flask, request, Response
+import httpx
+from fastapi import FastAPI, Request
+from fastapi.responses import StreamingResponse
 
-app = Flask(__name__)
+app = FastAPI()
 
 OR_BASE_URL = "https://api.openai.com/v1"
 
+# Создаем один асинхронный клиент на все приложение для переиспользования соединений
+client = httpx.AsyncClient(base_url=OR_BASE_URL)
 
-@app.route("/", methods=["GET"])
-def home():
-    return {"status": "ok", "message": "OpenRouter proxy is working :3"}
+@app.get("/")
+async def home():
+    return {"status": "ok", "message": "Async OpenRouter proxy is working :3"}
 
 
-@app.route("/<path:endpoint>", methods=["GET", "POST", "PUT", "PATCH", "DELETE"])
-def proxy(endpoint):
-    url = f"{OR_BASE_URL}/{endpoint}"
-
-    # Копируем все заголовки, кроме host и content-length
-    headers = {k: v for k, v in request.headers if k.lower() not in ["host", "content-length"]}
-
+@app.api_route("/{endpoint:path}", methods=["GET", "POST", "PUT", "PATCH", "DELETE"])
+async def proxy(endpoint: str, request: Request):
+    # Копируем заголовки, кроме тех, что не должны пересылаться
+    headers = {k: v for k, v in request.headers.items() if k.lower() not in ["host", "content-length", "content-encoding"]}
+    
     try:
-        resp = requests.request(
+        # Асинхронно создаем запрос к удаленному серверу
+        req = client.build_request(
             method=request.method,
-            url=url,
+            url=f"/{endpoint}",
             headers=headers,
-            params=request.args,
-            data=request.get_data(),
-            allow_redirects=False,
-            stream=True,
+            params=request.query_params,
+            content=await request.body() # Асинхронно читаем тело входящего запроса
         )
-
-        excluded_headers = ["content-encoding", "transfer-encoding", "connection"]
-        response_headers = [(k, v) for k, v in resp.raw.headers.items() if k.lower() not in excluded_headers]
-
-        return Response(resp.content, resp.status_code, response_headers)
-
+        
+        # `stream=True` здесь работает по-настоящему асинхронно
+        resp = await client.send(req, stream=True)
+
+        # Асинхронный генератор для потоковой передачи ответа
+        async def async_generator():
+            async for chunk in resp.aiter_bytes():
+                yield chunk
+
+        # Копируем заголовки ответа
+        response_headers = {k: v for k, v in resp.headers.items() if k.lower() not in ["content-encoding", "transfer-encoding", "connection"]}
+
+        return StreamingResponse(
+            async_generator(),
+            status_code=resp.status_code,
+            headers=response_headers,
+        )
+    except httpx.RequestError as e:
+        return {"error": f"HTTPX error: {str(e)}"}, 500
     except Exception as e:
         return {"error": str(e)}, 500
 
-
-if __name__ == "__main__":
-    app.run(host="0.0.0.0", port=int(os.environ.get("PORT", 7860)))
+# Для запуска: uvicorn your_file_name:app --host 0.0.0.0 --port 7860