How to Upload File using FastAPI?

Я использую FastAPI для загрузки файла в соответствии с официальной документацией, как показано ниже:

@app.post("/create_file")
async def create_file(file: UploadFile = File(...)):
      file2store = await file.read()
      # some code to store the BytesIO(file2store) to the other database

Когда я отправляю запрос с использованием библиотеки запросов Python, как показано ниже:

f = open(".../file.txt", 'rb')
files = {"file": (f.name, f, "multipart/form-data")}
requests.post(url="SERVER_URL/create_file", files=files)

переменная file2store всегда пуста. Иногда (редко встречается) она может получать байты файла, но почти все время она пуста, поэтому я не могу восстановить файл в другой базе данных.

Я также пробовал bytes вместо UploadFile, но получаю те же результаты. Что-то не так с моим кодом, или я неправильно использую FastAPI для загрузки файла?

Сначала, согласно документации FastAPI, вам необходимо установить python-multipart — если вы еще этого не сделали — поскольку загруженные файлы отправляются как "данные формы". Например:

pip install python-multipart

В приведенных ниже примерах используется .file атрибут UploadFile объекта для получения фактического файла Python (т.Е. SpooledTemporaryFile), который позволяет вам вызывать SpooledTemporaryFileметоды, такие как .read() и .close(), без необходимости await их использовать. Однако важно определить вашу конечную точку с помощью def в этом случае — в противном случае такие операции будут блокировать сервер до их завершения, если конечная точка была определена с помощью async def. В FastAPI обычная def конечная точка запускается во внешнем пуле потоков, который затем ожидается, вместо того, чтобы вызываться напрямую (поскольку это заблокировало бы сервер).

У SpooledTemporaryFile, используемого FastAPI / Starlette, есть max_size атрибут, равный 1 МБ, означающий, что данные сохраняются в памяти до тех пор, пока размер файла не превысит 1 МБ, после чего данные записываются во временный файл на диске, в каталоге temp операционной системы. Следовательно, если вы загрузили файл размером более 1 МБ, он не будет сохранен в памяти, и вызов file.file.read() фактически считал бы данные с диска в память. Таким образом, если файл слишком велик, чтобы поместиться в оперативной памяти вашего сервера, вам лучше читать файл порциями и обрабатывать по одному фрагменту за раз, как описано в разделе "Чтение файла порциями" ниже. Вы также можете ознакомиться с этим ответом, который демонстрирует другой подход к загрузке большого файла порциями, используя .stream() метод Starlette и streaming-form-data пакет, который позволяет анализировать потоковые multipart/form-data фрагменты, что приводит к значительному сокращению времени, необходимого для загрузки файлов.

Если вам нужно определить свою конечную точку с помощью async def— как вам может понадобиться await для некоторых других сопрограмм внутри вашего маршрута — тогда вам лучше использовать асинхронное чтение и запись содержимого, как показано в этом ответе. Более того, если вам нужно отправить дополнительные данные (например, JSON данные) вместе с загрузкой файла (ов), пожалуйста, взгляните на этот ответ. Я бы также предложил вам взглянуть на этот ответ, который объясняет разницу между def и async def конечными точками.

Загрузить один файл

app.py

from fastapi import File, UploadFile

@app.post("/upload")
def upload(file: UploadFile = File(...)):
    try:
        contents = file.file.read()
        with open(file.filename, 'wb') as f:
            f.write(contents)
    except Exception:
        return {"message": "There was an error uploading the file"}
    finally:
        file.file.close()

    return {"message": f"Successfully uploaded {file.filename}"}

Считывать файл по частям

Как описано ранее и в этом ответе, если файл слишком велик, чтобы поместиться в память — например, если у вас 8 ГБ оперативной памяти, вы не сможете загрузить файл объемом 50 ГБ (не говоря уже о том, что доступная оперативная память всегда будет меньше общего объема, установленного на вашем компьютере, поскольку другие приложения будут использовать часть оперативной памяти) — вам следует загружать файл в память порциями и обрабатывать данные по одной порции за раз. Однако выполнение этого метода может занять больше времени, в зависимости от выбранного вами размера фрагмента — в примере ниже размер фрагмента составляет 1024 * 1024 байт (т.е. 1 МБ). Вы можете настроить размер фрагмента по желанию.

from fastapi import File, UploadFile
        
@app.post("/upload")
def upload(file: UploadFile = File(...)):
    try:
        with open(file.filename, 'wb') as f:
            while contents := file.file.read(1024 * 1024):
                f.write(contents)
    except Exception:
        return {"message": "There was an error uploading the file"}
    finally:
        file.file.close()

    return {"message": f"Successfully uploaded {file.filename}"}

Другим вариантом было бы использовать shutil.copyfileobj(), который используется для копирования содержимого file-like объекта в другой file-like объект (также взгляните на этот ответ). По умолчанию данные считываются порциями, при этом размер буфера (чанка) по умолчанию равен 1 МБ (т.Е. 1024 * 1024 Байтам) для Windows и 64 КБ для других платформ, как показано в исходном коде здесь. Вы можете указать размер буфера, передав необязательный параметр length. Примечание: Если передано отрицательное length значение, вместо него будет прочитано все содержимое файла — смотрите f.read() также, который .copyfileobj() использует under the hoodle (как можно видеть в исходном коде здесь).

from fastapi import File, UploadFile
import shutil
        
@app.post("/upload")
def upload(file: UploadFile = File(...)):
    try:
        with open(file.filename, 'wb') as f:
            shutil.copyfileobj(file.file, f)
    except Exception:
        return {"message": "There was an error uploading the file"}
    finally:
        file.file.close()
        
    return {"message": f"Successfully uploaded {file.filename}"}

test.py

import requests

url = 'http://127.0.0.1:8000/upload'
file = {'file': open('images/1.png', 'rb')}
resp = requests.post(url=url, files=file) 
print(resp.json())

<form>Пример HTML смотрите здесь.

Загрузить несколько файлов (список)

app.py

from fastapi import File, UploadFile
from typing import List

@app.post("/upload")
def upload(files: List[UploadFile] = File(...)):
    for file in files:
        try:
            contents = file.file.read()
            with open(file.filename, 'wb') as f:
                f.write(contents)
        except Exception:
            return {"message": "There was an error uploading the file(s)"}
        finally:
            file.file.close()

    return {"message": f"Successfuly uploaded {[file.filename for file in files]}"}    

Считывать файлы по частям

Как описано ранее в этом ответе, если вы ожидаете получить довольно большой файл (ы) и у вас недостаточно оперативной памяти для размещения всех данных от начала до конца, вам лучше загружать файл в память порциями, таким образом обрабатывая данные по одному блоку за раз (Примечание: отрегулируйте размер блока по желанию, ниже это 1024 * 1024 байты).

from fastapi import File, UploadFile
from typing import List

@app.post("/upload")
def upload(files: List[UploadFile] = File(...)):
    for file in files:
        try:
            with open(file.filename, 'wb') as f:
                while contents := file.file.read(1024 * 1024):
                    f.write(contents)
        except Exception:
            return {"message": "There was an error uploading the file(s)"}
        finally:
            file.file.close()
            
    return {"message": f"Successfuly uploaded {[file.filename for file in files]}"}   

или, используя shutil.copyfileobj():

from fastapi import File, UploadFile
from typing import List
import shutil

@app.post("/upload")
def upload(files: List[UploadFile] = File(...)):
    for file in files:
        try:
            with open(file.filename, 'wb') as f:
                shutil.copyfileobj(file.file, f)
        except Exception:
            return {"message": "There was an error uploading the file(s)"}
        finally:
            file.file.close()

    return {"message": f"Successfuly uploaded {[file.filename for file in files]}"}  

test.py

import requests

url = 'http://127.0.0.1:8000/upload'
files = [('files', open('images/1.png', 'rb')), ('files', open('images/2.png', 'rb'))]
resp = requests.post(url=url, files=files) 
print(resp.json())

<form>Пример HTML смотрите здесь.

@app.post("/create_file/")
async def image(image: UploadFile = File(...)):
    print(image.file)
    # print('../'+os.path.isdir(os.getcwd()+"images"),"*************")
    try:
        os.mkdir("images")
        print(os.getcwd())
    except Exception as e:
        print(e) 
    file_name = os.getcwd()+"/images/"+image.filename.replace(" ", "-")
    with open(file_name,'wb+') as f:
        f.write(image.file.read())
        f.close()
   file = jsonable_encoder({"imagePath":file_name})
   new_image = await add_image(file)
   return {"filename": new_image}