[关闭]
@JunQiu 2018-12-03T12:21:36.000000Z 字数 416 阅读 973

use pyhive happen Broken pipe error

python hive summary_2018/12


1、起因
2、探究
  1. 1、由于测试在线上经常出现问题、而在线下运行没有问题,hive走的代理,考虑代理不稳定的情况,但发现其它服务运行正常,而线上跑经常只有第一次能成功。
  2. 2、综合上述,考虑hive的连接问题,pyhive并没有控制连接timeout的相关参数,在hive服务器配置参数中有发现一个`hive.server2.idle.session.timeout`参数控制多少s不访问会断开连接。因此修改策略,每次连接后断开,使用时再连接,修复BUG。(一天使用一次连接)
3、参考
添加新批注
在作者公开此批注前,只有你和作者可见。
回复批注