阿里云服务器部署,通过http流导入数据时,访问fe的8030端口报通过内网访问8040端口超时错误。
已收录于周报
经验总结赞
当stream load 的连接目标为FE的http端口时,FE仅会随机选择一台BE节点做http 307 redirect 操作,因此用户的请求实际是发送给FE指派的某一个BE的。而redirect返回的是BE的ip,也即内网IP。所以如果你是通过FE的公网IP发送的请求,很有可能因为redirect到内网地址而无法连接。
通常的做法,一种是确保自己能够访问内网IP地址,或者是给所有BE上层假设一个负载均衡,然后直接将stream load 请求发送到负载均衡器上,由负载均衡将请求透传到BE节点。
已收录于周报
经验总结赞
当stream load 的连接目标为FE的http端口时,FE仅会随机选择一台BE节点做http 307 redirect 操作,因此用户的请求实际是发送给FE指派的某一个BE的。而redirect返回的是BE的ip,也即内网IP。所以如果你是通过FE的公网IP发送的请求,很有可能因为redirect到内网地址而无法连接。
通常的做法,一种是确保自己能够访问内网IP地址,或者是给所有BE上层假设一个负载均衡,然后直接将stream load 请求发送到负载均衡器上,由负载均衡将请求透传到BE节点。