stackoverflow 上有许多类似的查询类型,但没有一个完全符合我所看到的问题。
我的服务器上有一个 zookeeper/kafka 设置,它运行良好。一个可以生产
bin/kafka-console-producer.sh --broker-list 192.168.2.80:9092 --topic test
并消耗
bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.80:9092 --topic test --from-beginning
本地在 Linux Ubuntu 16.04 服务器上。
从 Docker 容器——也运行 Ubuntu 16.04——我想生产和消费。容器的 Kafka 代码是从服务器上复制过来的。 首先我可以创建一个新主题
bin/kafka-topics.sh --create --zookeeper 192.168.2.80:2181 --replication-factor 1 --partitions 1 --topic test2
从容器中,然后再次列出它
bin/kafka-topics.sh --list --zookeeper 192.168.2.80:2181
但是,当我尝试生成新消息时,使用上述 (kafka-console-producer.sh) 命令失败并显示以下消息:
[2017-06-05 13:59:05,317] ERROR Error when sending message to topic test2 with key: null, value: 2 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test2-0: 1526 ms has passed since batch creation plus linger time
输入消息文本并按回车键后立即。
在同一台主机上运行 Docker 容器似乎很奇怪,但是一旦成功,我会将容器移动到单独的主机进行生产。
我的卡夫卡 server.properties 文件:
listeners=PLAINTEXT://0.0.0.0:9092
卡夫卡版本:
2.12-0.10.2.1
docker 版本:
Docker version 1.12.6, build 78d1802
Best Answer-推荐答案
问题是(稍微简化)由 Kafka 协议(protocol)的工作方式引起的。给定“引导服务器”列表(例如 localhost:9092 ),Kafka 客户端将联系这些引导服务器,然后使用引导服务器返回的实际 Kafka 代理的主机名(代理的 advertised.listeners 配置,取决于您的 Kafka/Docker 设置,可能设置为例如 kafka:9092 )。所以在这里,客户将与 localhost:9092 交谈用于引导(这会起作用),然后切换到 kafka:9092 (这将不起作用,“感谢”网络设置)。
幸运的是,有一种方法可以以“正常工作”的方式配置 Kafka + Docker,并且不需要诸如摆弄主机 /etc/hosts 之类的恶作剧。文件之类的。作为其中的一部分,您需要设置一些(新的)Kafka 设置,这些设置是在 kafka 的 KIP-103: Separation of Internal and External traffic 中添加的。 .
这是 Docker Compose ( docker-compose.yml ) 的一个片段,演示了如何执行此操作:
---
version: '2'
services:
zookeeper:
image: confluentinc/cp-zookeeper:3.2.1
hostname: zookeeper
ports:
- '32181:32181'
environment:
ZOOKEEPER_CLIENT_PORT: 32181
kafka:
image: confluentinc/cp-kafka:3.2.1
hostname: kafka
ports:
- '9092:9092'
- '29092:29092'
depends_on:
- zookeeper
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: zookeeper:32181
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXTLAINTEXT,PLAINTEXT_HOSTLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
# Following line is needed for Kafka versions 0.11+
# in case you run less than 3 Kafka brokers in your
# cluster because the broker config
# `offsets.topic.replication.factor` (default: 3)
# is now enforced upon topic creation
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
这里的关键设置是: listener.security.protocol.map (通过 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP 设置) inter.broker.listener.name advertised.listeners 在上面的设置中,容器化的 Kafka 代理监听 localhost:9092 用于从您的主机(例如您的 Mac 笔记本电脑)和 kafka:29092 访问用于从其他容器访问。
完整的端到端示例可在以下位置获得: https://github.com/confluentinc/cp-docker-images/blob/v3.2.1/examples/kafka-streams-examples/docker-compose.yml (文档位于 http://docs.confluent.io/3.2.1/cp-docker-images/docs/tutorials/kafka-streams-examples.html )。
关于docker - 向主机 Kafka 服务器生成消息时容器化的 Kafka 客户端错误,我们在Stack Overflow上找到一个类似的问题:
https://stackoverflow.com/questions/44371012/
|