virtualenv使用：

1. 安装
   pip install virtualenv

2. 创建虚拟环境
   virtualenv env

3. 启动虚拟环境
   .\env\Scripts\activate.bat

4. 查看虚拟环境安装的python包
   pip install package
easy_install package[.exe|.egg]

5. 退出虚拟环境
   deactivate

在windows上也提供了virtualenvwrapper

1. 安装
   pip install virtualenvwrapper-win
   可设置环境变量WORKON_HOME指定virtualenvwrapper虚拟环境默认路径

2. 创建虚拟环境
   mkvirtualenv env

3. 查看所有虚拟环境和启动虚拟环境
   lsvirtualenv
workon
workon env

4. 退出虚拟环境
   deactivate

5. 将指定路径添加到sitepackages目录下的virtualenv_path_extensions.pth中可以直接进行import，在启动虚拟环境时则添加到虚拟环境中，在未启动则添加到默认python环境中
   add2virtualenv path

6. 其他命令
   cdproject: 切换目录到当前指定的project目录下, 使用前需要使用setprojectdir进行设置
   cdvirtualenv: 切换到当前虚拟环境目录下
   cdsitepackages: 切换到当前虚拟环境的sitepackages下
   lssitepackages： 查看当前虚拟环境的sitepackages目录下的包
   setprojectdir path： 设置project目录
   toggleglobalsitepackages：启用/关闭系统sitepackages
   whereis file：查看文件路径

访问git仓库可以使用sshkey的方式，首先需要生成key

使用ssh-agent配置公私钥，windows下需要安装Github for Windows 或者 msysgit

1.生成公、私钥

1

ssh-keygen -t rsa -b 4096 -C "Silence"

2.添加私钥到ssh-agent

1
2
3
4
5

ssh-agent -s
#若启动失败可以使用
eval $(ssh-agent -s)

ssh-add ~/.ssh/id_rsa

3.添加公钥到git server

在centos7.0默认使用firewalld服务，若萱使用iptables，需要禁用firewalld并启动iptables

systemctl stop firewalld
systemctl disabled firewalld

安装 iptables

yum install iptables-services
systemctl enbale iptables

cp /usr/libexec/iptables/iptables.init /etc/init.d/iptables

service iptables save
service iptables stop
service iptables start

systemctl stop iptables
systemctl start iptables

启动

cd /d “D:/ProgramFiles/Kafka/bin/windows/“

start zookeeper-server-start.bat “D:/ProgramFiles/Kafka/config/zookeeper.properties”

start kafka-server-start.bat “D:/ProgramFiles/Kafka/config/server.properties”

启动集群

1.修改server.properties中的broker.id, port, log.dirs属性值，并另存为server_{port}.properties

2.start kafka-server-start.bat “D:/ProgramFiles/Kafka/config/server_{port}.properties”

停止

cd /d “D:/ProgramFiles/Kafka/bin/windows/“ && kafka-server-stop.bat

cd /d “D:/ProgramFiles/Kafka/bin/windows/“ && zookeeper-server-stop.bat

topic

• 创建topic

  kafka-topics.bat –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test

• 查看topic

  kafka-topics.bat –describe –zookeeper localhost:2181

  kafka-topics.bat –list –zookeeper localhost:2181

测试

start kafka-console-producer.bat –broker-list localhost:9092 –topic test

start kafka-console-consumer.bat –zookeeper localhost:2181 –topic test –from-beginning

问题

1. 在kafka客户端连接集群时，kafka会返回给客户端所有集群的MetadataResponse信息(集群中所有的节点)，由客户端选择使用哪个节点通信
   并且可通过配置host.name和advertised.host.name指定

2. kafka的log数据不能放在tmp目录，小心由于机器重启后导致数据缺失混乱，此时客户端连接时会报NoLeaderAvailableError

在ES中可以为index设置别名，通过别名对index进行操作
也可以对多个index设置相同别名, 表示在进行query操作时对多有指定的index进行查询, 但此时不能进行get和put操作

1
2
3
4
5
6
7
8
9
10
11
12

#获取所有别名
GET _cat/aliases?v

#获取_index_name模式内所有指定别名为_alias_name模式的index
GET /_index_name/_alias|_aliases/_alias_name
_alias和_aliases的区别为若指定为_aliases在查询时若_index未指定满足要求的别名在返回结果中是否包含但aliasese属性为空, 使用_alias时不包含该index

#设置别名
PUT /_index_name/_alias/_alias_name

#删除别名
DELETE /_index_name/_alias/_alias_name