Flask 跑在 Tornado 上，使用 requests 库导致阻塞的问题

This topic created in 3476 days ago, the information mentioned may be changed or developed.

服务是 Flask 写的，外面套了层 Tornado ，该怎么让 requests 变成非阻塞？

flask

Tornado

Requests

阻塞

18 replies • 2016-12-05 15:55:26 +08:00

DozySun

Dec 5, 2016

tornado 换成 gunicorn+gevent

woostundy

Dec 5, 2016

@DozySun ……改造规模有点大啊

ericls

Dec 5, 2016 via iPhone

啊？还可以这么神奇直接改？

julyclyde

Dec 5, 2016

你外边套的是 tornado web server 而不是 tornado web framework 吧？那就直接改 gevent monkey patch 就得了

woostundy

Dec 5, 2016

@julyclyde 嗯，其实改起来也快。

loalj

Dec 5, 2016

requests 库换成 tornado 自带的 async httpclient 试一试?

DozySun

Dec 5, 2016

如果不重度依赖 requests 可以用 tornado 的异步 httpclient
否则就是 concurrent.futures

woostundy

Dec 5, 2016

@loalj @DozySun
需要立刻返回 request 的结果，用异步 httpclient 的话，很难写吧？
回调怎么返回给 flask 的 response

timonwong

Dec 5, 2016

我不知道在 tornado 上跑 flask 有什么意义，跟用单个进程，什么 threading, gevent, eventlet 都不用跑有多大区别，有没有老司机出来指点一下？

loalj

Dec 5, 2016

@woostundy 大概像这样

```
@gen.coroutine
def async_response():
http_client = AsyncHTTPClient()
res = yield http_client.fetch(url)
return res
```

woostundy

Dec 5, 2016

@loalj 多谢，完了我试试

Livid

MOD

PRO

Dec 5, 2016 via iPhone

耗时可能会超过半秒的函数一律放进 rq 或者 celery 做异步处理。

woostundy

Dec 5, 2016

@loalj 不过 2.7 里没法在有 yield 的方法里再写 return ，应该是 yield res 吧？

woostundy

Dec 5, 2016

@Livid 需要即时返回 request 的结果， celery 没法解决吧？

wwqgtxx

Dec 5, 2016 via iPhone

你这种需求还是用 gunicorn 或者 uwsgi 包装一下吧

loalj

Dec 5, 2016

@woostundy raise gen.Return(res)

woostundy

Dec 5, 2016

@loalj 用 yield 也 OK~ 刚试了可行

cloverstd

Dec 5, 2016

@woostundy

@gen.coroutine
def long_time_function():
task_id = task_function.delay()
while True:
gen.sleep(0.1)
res = get_res_from(task_id)
if res:
raise gen.Return(res)