137 lines
6.4 KiB
Python
137 lines
6.4 KiB
Python
import asyncio
|
||
import json
|
||
import os
|
||
from ast import literal_eval
|
||
|
||
import uvicorn
|
||
from aio_pika import connect, Message, DeliveryMode
|
||
from fastapi import FastAPI, Request, Depends
|
||
from starlette.middleware.cors import CORSMiddleware
|
||
from starlette.responses import JSONResponse, FileResponse, StreamingResponse
|
||
from starlette.templating import Jinja2Templates
|
||
|
||
from src.core.redis_client import RedisClient
|
||
from src.web.schemes.submit import SubmitIn
|
||
|
||
app = FastAPI(
|
||
title="video_downloader", openapi_url=f"/api/v1/openapi.json"
|
||
)
|
||
|
||
templates = Jinja2Templates(directory="templates")
|
||
|
||
app.add_middleware(
|
||
CORSMiddleware,
|
||
allow_origins=["*"],
|
||
allow_credentials=True,
|
||
allow_methods=["*"],
|
||
allow_headers=["*"],
|
||
)
|
||
|
||
|
||
async def is_task_already_done_or_exist(redis: RedisClient, link: str):
|
||
messages = await redis.get_task_done_queue()
|
||
|
||
tasks = [
|
||
literal_eval(message.decode('utf-8')) for message in messages
|
||
if literal_eval(message.decode('utf-8'))["link"] == link
|
||
and literal_eval(message.decode('utf-8'))["status"] in ["done", "exist"]
|
||
]
|
||
|
||
if len(tasks) > 0:
|
||
task = tasks[0]
|
||
await redis.del_task_from_task_done_queue(task)
|
||
return task
|
||
|
||
|
||
@app.get("/")
|
||
async def index(request: Request):
|
||
return templates.TemplateResponse("index.html", {"request": request})
|
||
|
||
@app.post('/submit/')
|
||
async def get_url_for_download_video(request: Request, data: SubmitIn = Depends()):
|
||
'''
|
||
TODO:
|
||
Сабмит должен проверить что задача может быть уже выполненой (отдать ссылку в ответе)
|
||
или ещё в работе (сообщить об этом в ответе, можно вывести на форму, что такая ссылка уже скачивается, ожидайте)
|
||
Если условия выше провалены, то мы делаем новую задачу в очередь с переданными параметрами и сообщаем об этом клиенту с кодом (200 или 201)
|
||
|
||
Дополнительно, нужен отдельный метод (ури), который позволит получать статус задачи. Опрашиваться примерно раз в 5с,
|
||
возможны увелечения тайминга в зависимости от ответа апи (на будущее)
|
||
Варианты ответа
|
||
1) такой задачи нет (404)
|
||
2) такая задача есть и выполняется (200 ли?)
|
||
3) такая задача есть и завершена (200 и выдать ссылку на загрузку)
|
||
4) такая задача есть и завершена, но с ошибкой (500 и сообщение о том, что можно попробовать выполнить задачу занов,
|
||
попутно удалив задачу из выполненых, с очисткой мусора за ней)
|
||
'''
|
||
red = RedisClient()
|
||
task_done = await is_task_already_done_or_exist(red, data.link)
|
||
if task_done:
|
||
link_to_download_video = str(request.base_url) + "get/?file_path=" + task_done["result"]
|
||
return JSONResponse({"result": link_to_download_video})
|
||
# TODO: учесть, что если делать запрос CURL\urllib3\etc, в теле может быть несколько ссылок -> должно быть создано несколько задач
|
||
async with await connect("amqp://guest:guest@localhost/") as connection:
|
||
# Creating a channel
|
||
channel = await connection.channel()
|
||
body = [
|
||
{
|
||
"link": data.link,
|
||
"format": f"bestvideo[ext={data.format.value}]+bestaudio[ext={data.format.value}]/best[ext={data.format.value}]/best",
|
||
"merge_output_format": data.merge_output_format.value,
|
||
"outtmpl": f"downloads/%(extractor_key)s/%(id)s_%(width)sp.%(ext)s",
|
||
}, ]
|
||
# Sending the message
|
||
for link in body:
|
||
if "mail" in link["link"]:
|
||
link["parser"] = "MyMailRu"
|
||
elif "yappy" in link["link"]:
|
||
link["parser"] = "Yappy"
|
||
message = Message(
|
||
json.dumps(link, indent=4).encode('utf-8'), delivery_mode=DeliveryMode.PERSISTENT,
|
||
)
|
||
await channel.default_exchange.publish(
|
||
message,
|
||
routing_key='hello',
|
||
)
|
||
|
||
print(f" [x] Sent '{link}'")
|
||
|
||
while True:
|
||
try:
|
||
messages = await red.get_task_done_queue()
|
||
tasks = [
|
||
literal_eval(message.decode('utf-8')) for message in messages
|
||
if literal_eval(message.decode('utf-8'))["link"] == link["link"]
|
||
]
|
||
error_tasks = [tasks.pop(tasks.index(error_task)) for error_task in tasks if error_task["status"] == "error"]
|
||
# TODO: если уже была попытка сделать задачу и в редисе она с ошибкой, то переташить её в очередь на выполнение с очисткой состояние об ошибке
|
||
if len(error_tasks) > 0:
|
||
return JSONResponse({"result": f"STATUS: ERROR {error_tasks[-1]['result']}"})
|
||
if len(tasks) > 0:
|
||
task = tasks[0]
|
||
await red.del_task_from_task_done_queue(task)
|
||
break
|
||
await asyncio.sleep(5)
|
||
except (AttributeError, IndexError):
|
||
await asyncio.sleep(5)
|
||
continue
|
||
link_to_download_video = str(request.base_url) + "get/?file_path=" + task["result"]
|
||
|
||
# TODO: возможно возвращать идентификаторы задач aka куски ссылок
|
||
return JSONResponse({"result": link_to_download_video})
|
||
|
||
|
||
@app.get('/get/', response_class=FileResponse, status_code=200)
|
||
async def download_video(file_path):
|
||
base = os.path.dirname(os.path.dirname(os.path.abspath(file_path)))
|
||
base_download_dir = os.path.join(base, os.pardir, os.pardir, "downloads")
|
||
|
||
def iterfile():
|
||
with open(base_download_dir + f'/{file_path}', mode="rb") as file_like:
|
||
yield from file_like
|
||
|
||
return StreamingResponse(iterfile(), media_type="video/mp4")
|
||
|
||
|
||
uvicorn.run("src.web.main:app", host="0.0.0.0", log_level="info")
|