Redirect stdout to a file in Python? [duplicate]

Как мне перенаправить стандартный вывод в произвольный файл на Python?

Когда долго работающий скрипт Python (например, веб-приложение) запускается из сеанса ssh и выполняется в фоновом режиме, а сеанс ssh закрывается, приложение выдает IOError и завершается сбоем в тот момент, когда оно пытается выполнить запись в стандартный вывод. Мне нужно было найти способ заставить приложение и модули выводиться в файл, а не в стандартный вывод, чтобы предотвратить сбой из-за IOError. В настоящее время я использую nohup для перенаправления вывода в файл, и это выполняет работу, но мне было интересно, есть ли способ сделать это без использования nohup, из любопытства.

Я уже пробовал sys.stdout = open('somefile', 'w'), но, похоже, это не мешает некоторым внешним модулям по-прежнему выводить данные на терминал (или, возможно, sys.stdout = ... строка вообще не запускалась). Я знаю, что это должно работать с более простыми скриптами, на которых я тестировал, но у меня также пока не было времени протестировать веб-приложение.

Если вы хотите выполнить перенаправление в скрипте Python, установка sys.stdout в файловый объект делает свое дело:

# for python3
import sys
with open('file', 'w') as sys.stdout:
    print('test')

Гораздо более распространенным методом является использование перенаправления оболочки при выполнении (то же самое в Windows и Linux):

$ python3 foo.py > file

В Python 3.4 есть contextlib.redirect_stdout() функция+:

from contextlib import redirect_stdout

with open('help.txt', 'w') as f:
    with redirect_stdout(f):
        print('it now prints to `help.text`')

Это похоже на:

import sys
from contextlib import contextmanager

@contextmanager
def redirect_stdout(new_target):
    old_target, sys.stdout = sys.stdout, new_target # replace sys.stdout
    try:
        yield new_target # run some code with the replaced stdout
    finally:
        sys.stdout = old_target # restore to the previous value

который можно использовать в более ранних версиях Python. Последняя версия не является повторно используемой. При желании ее можно переделать.

Он не перенаправляет стандартный вывод на уровне файловых дескрипторов, например:

import os
from contextlib import redirect_stdout

stdout_fd = sys.stdout.fileno()
with open('output.txt', 'w') as f, redirect_stdout(f):
    print('redirected to a file')
    os.write(stdout_fd, b'not redirected')
    os.system('echo this also is not redirected')

b'not redirected' и 'echo this also is not redirected' не перенаправляются в output.txt файл.

Для перенаправления на уровне файлового дескриптора os.dup2() можно использовать:

import os
import sys
from contextlib import contextmanager

def fileno(file_or_fd):
    fd = getattr(file_or_fd, 'fileno', lambda: file_or_fd)()
    if not isinstance(fd, int):
        raise ValueError("Expected a file (`.fileno()`) or a file descriptor")
    return fd

@contextmanager
def stdout_redirected(to=os.devnull, stdout=None):
    if stdout is None:
       stdout = sys.stdout

    stdout_fd = fileno(stdout)
    # copy stdout_fd before it is overwritten
    #NOTE: `copied` is inheritable on Windows when duplicating a standard stream
    with os.fdopen(os.dup(stdout_fd), 'wb') as copied: 
        stdout.flush()  # flush library buffers that dup2 knows nothing about
        try:
            os.dup2(fileno(to), stdout_fd)  # $ exec >&to
        except ValueError:  # filename
            with open(to, 'wb') as to_file:
                os.dup2(to_file.fileno(), stdout_fd)  # $ exec > to
        try:
            yield stdout # allow code to be run with the redirected stdout
        finally:
            # restore stdout to its previous value
            #NOTE: dup2 makes stdout_fd inheritable unconditionally
            stdout.flush()
            os.dup2(copied.fileno(), stdout_fd)  # $ exec >&copied

Тот же пример работает и сейчас, если stdout_redirected() используется вместо redirect_stdout():

import os
import sys

stdout_fd = sys.stdout.fileno()
with open('output.txt', 'w') as f, stdout_redirected(f):
    print('redirected to a file')
    os.write(stdout_fd, b'it is redirected now\n')
    os.system('echo this is also redirected')
print('this is goes back to stdout')

Выходные данные, которые ранее печатались в стандартном выводе, теперь передаются в output.txt пока stdout_redirected() context manager активен.

Примечание: stdout.flush() не очищает буферы C stdio в Python 3, где ввод-вывод реализуется непосредственно в read()/write() системных вызовах. Чтобы очистить все открытые выходные потоки C stdio, вы могли бы вызвать libc.fflush(None) явно, если какое-либо расширение C использует ввод-вывод на основе stdio:

try:
    import ctypes
    from ctypes.util import find_library
except ImportError:
    libc = None
else:
    try:
        libc = ctypes.cdll.msvcrt # Windows
    except OSError:
        libc = ctypes.cdll.LoadLibrary(find_library('c'))

def flush(stream):
    try:
        libc.fflush(None)
        stream.flush()
    except (AttributeError, ValueError, IOError):
        pass # unsupported

Вы могли бы использовать stdout параметр не только для перенаправления других потоков, sys.stdout например, для слияния sys.stderr и sys.stdout:

def merged_stderr_stdout():  # $ exec 2>&1
    return stdout_redirected(to=sys.stdout, stdout=sys.stderr)

Пример:

from __future__ import print_function
import sys

with merged_stderr_stdout():
     print('this is printed on stdout')
     print('this is also printed on stdout', file=sys.stderr)

Примечание: stdout_redirected() смешивает буферизованный ввод-вывод (sys.stdout обычно) и небуферизованный ввод-вывод (операции непосредственно с файловыми дескрипторами). Будьте осторожны, могут возникнуть проблемы буферизацией.

Чтобы ответить, ваша правка: вы могли бы использовать python-daemon демонизировать свой скрипт и использовать logging module (как предложил @erikb85) вместо print инструкций и просто перенаправлять стандартный вывод для вашего давно работающего скрипта Python, который вы запускаете с помощью nohup сейчас.

вы можете попробовать это намного лучше

import sys

class Logger(object):
    def __init__(self, filename="Default.log"):
        self.terminal = sys.stdout
        self.log = open(filename, "a")

    def write(self, message):
        self.terminal.write(message)
        self.log.write(message)

sys.stdout = Logger("yourlogfilename.txt")
print "Hello world !" # this is should be saved in yourlogfilename.txt

Другие ответы не касались случая, когда вы хотите, чтобы разветвленные процессы совместно использовали ваш новый стандартный вывод.

Как это сделать:

from os import open, close, dup, O_WRONLY

old = dup(1)
close(1)
open("file", O_WRONLY) # should open on 1

..... do stuff and then restore

close(1)
dup(old) # should dup to 1
close(old) # get rid of left overs