使用 Passenger 扩展 Puppet 的部署规模

如果你的 Puppet 基础设施开始出现依依呀呀的裂缝,罪魁祸首很可能出现在 Puppetmaster 的 Web 服务器上。 Puppet 携带了一个名为 Webrick 的简单 Web 服务器来处理客户端与 Puppetmaster 的连接。Webrick 确实不适合在生产环境下运行 Puppet; 超过几个客户请求处理之后就会使 Puppetmaster 一蹶不振,严重影响其性能。

有时会建议使用 Mongrel 替换 Webrick,因为 Mongrel 比 Webrick 有少许的性能提升,但不太明显。为了扩展 Puppetmaster 能服务于数百台服务器, 首选的方法是切换到高性能的 Web 服务器,如使用包含 Passenger(mod_rails) 扩展模块的 Apache。

Puppet 在 Passenger 下运行需要些必要的配置,你需要安装 Apache 和 Passenger,并添加一个合适的虚拟主机。下面的示例是基于 Ubuntu 10.4 的。 你可以在 Puppet Labs 的站点 http://projects.puppetlabs.com/projects/1/wiki/Using_Passenger 上找到 Red Hat Linux、CentOS以及其它发行版本的对应操作指示。

准备工作

为了方便配置,需要有你要运行的 Puppet 的源代码包(tarball), 因为它提供了用于配置 Passenger 的一些模板文件和配置片段。 例如,假如你要运行 Puppet 2.7.1,就要下载这个文件: http://puppetlabs.com/downloads/puppet/puppet-2.7.1.tar.gz

若你使用不同的版本,请到 http://puppetlabs.com 下载合适的版本。 下载之后使用如下命令解开源码包:

tar xzf puppet-2.7.1.tar.gz

操作步骤

  1. 安装 Apache 和 Passenger, 及其所依赖的软件包:

    # apt-get install apache2 libapache2-mod-passenger rails
    librack-ruby libmysql-ruby
    # gem install rack
    
  2. 为 Passenger 查找 Puppet 的配置创建必要的目录:

    # mkdir -p /etc/puppet/rack
    # mkdir -p /etc/puppet/rack/public
    

    这两个目录的属主为 root 且权限为 0755。

    # chown -R root:root /etc/puppet/rack
    # chmod -R 0755 /etc/puppet/rack
    
  3. 创建文件 config.ru ,此文件告知 Passenger 如何启动 Puppet 应用程序。 你可以使用 Puppet 发布中提供的示例文件:

    # cp /tmp/puppet-2.7.1/ext/rack/files/config.ru /etc/puppet/rack/
    # chown puppet /etc/puppet/rack/config.ru
    

    对于 Puppet 2.7.1, 应该包含如下内容:

    # a config.ru, for use with every rack-compatible webserver.
    # SSL needs to be handled outside this, though.
    
    # if puppet is not in your RUBYLIB:
    # $:.unshift('/opt/puppet/lib')
    
    $0 = "master"
    
    # if you want debugging:
    # ARGV << "--debug"
    
    ARGV << "--rack"
    require 'puppet/application/master'
    # we're usually running inside a Rack::Builder.new {} block,
    # therefore we need to call run *here*.
    run Puppet::Application[:master].run
    
  4. 你现在需要在 Apache 上创建一个虚拟主机,使其监听正确的端口并向 Puppet 应用程序发送请求。同样地,你可以使用 Puppet 发布中提供的示例文件:

    # cp /tmp/puppet-2.7.1/ext/rack/files/apache2.conf \
      /etc/apache2/sites-available/puppetmasterd
    # a2ensite puppetmasterd
    

    文件的内容如下所示:

    # you probably want to tune these settings
    PassengerHighPerformance on
    PassengerMaxPoolSize 12
    PassengerPoolIdleTime 1500
    # PassengerMaxRequests 1000
    PassengerStatThrottleRate 120
    RackAutoDetect Off
    RailsAutoDetect Off
    
    Listen 8140
    
    <VirtualHost *:8140>
      SSLEngine on
      SSLProtocol -ALL +SSLv3 +TLSv1
      SSLCipherSuite ALL:!ADH:RC4+RSA:+HIGH:+MEDIUM:-LOW:-SSLv2:-EXP
    
      SSLCertificateFile /etc/puppet/ssl/certs/cookbook.
      bitfieldconsulting.com.pem
      SSLCertificateKeyFile /etc/puppet/ssl/private_keys/cookbook.
      bitfieldconsulting.com.pem
      SSLCertificateChainFile /etc/puppet/ssl/ca/ca_crt.pem
      SSLCACertificateFile /etc/puppet/ssl/ca/ca_crt.pem
      # If Apache complains about invalid signatures on the CRL, you
      # can try disabling
      # CRL checking by commenting the next line, but this is not
      # recommended.
      SSLCARevocationFile /etc/puppet/ssl/ca/ca_crl.pem
      SSLVerifyClient optional
      SSLVerifyDepth 1
      SSLOptions +StdEnvVars
    
      DocumentRoot /etc/puppet/rack/public/
      RackBaseURI /
      <Directory /etc/puppet/rack/>
        Options None
        AllowOverride None
        Order allow,deny
        allow from all
      </Directory>
    </VirtualHost>
    
  5. 编辑这个文件,将 SSLCertificateFile 和 SSLCertificateKeyFile 的值修改为你自己的证书(最简单地生成证书的方法是你已经运行 Puppet 至少一次)。

  6. 你还要在 Apache 中启用 Passenger 和 mod_ssl 模块:

    # a2enmod passenger ssl
    
  7. 添加如下的行到你的 /etc/puppet/puppet.conf 文件:

    ssl_client_header = SSL_CLIENT_S_DN
    ssl_client_verify_header = SSL_CLIENT_VERIFY
    
  8. 停止正在运行的 Puppetmaster。

  9. 启动 Apache:

    # /etc/init.d/apache2 restart
    
  10. 如果一切工作正常,你可以像往常一样运行 Puppet:

    # puppet agent --test
    info: Caching catalog for cookbook.bitfieldconsulting.com
    info: Applying configuration version '1294145142'
    notice: Finished catalog run in 0.25 seconds
    

工作原理

Puppet 内置的 web 服务器处理速度相当慢,每次只能处理一个请求,使用 Apache 替换它之后,现在你就可以使用这个高性能多线程的 web 服务器了。 在这种情况下,Puppet 是一个使用 Rack 框架(Rack framework) 的嵌入式应用程序, 这大大提高了运行效率。你应该会发现,使用 "Apache + Passenger" 的配置能处理更多的客户端和更频繁的 Puppet 请求,并且改善了服务器内存的占用, 使用的内存比标准的 Puppetmaster 守护进程占用的内存更少。

更多用法

下面是一个 Puppet 配置清单的示例,用于为你实现上面的处理步骤(基于 Ubuntu 系统):

class puppet::passenger {
    package { [ "apache2-mpm-worker",
                "libapache2-mod-passenger",
                "librack-ruby",
                "libmysql-ruby" ]:
        ensure => installed,
    }

    service { "apache2":
        enable => true,
        ensure => running,
        require => Package["apache2-mpm-worker"],
    }

    package { "rack":
        provider => gem,
        ensure => installed,
    }

    file { [ "/etc/puppet/rack",
             "/etc/puppet/rack/public" ]:
        ensure => directory,
        mode => "755",
    }

    file { "/etc/puppet/rack/config.ru":
        source => "puppet:///modules/puppet/config.ru",
        owner => "puppet",
    }

    file { "/etc/apache2/sites-available/puppetmasterd":
        source => "puppet:///modules/puppet/puppetmasterd.conf",
    }

    file { "/etc/apache2/sites-enabled/puppetmasterd":
        ensure => symlink,
        target => "/etc/apache2/sites-available/puppetmasterd",
    }

    exec { "/usr/sbin/a2enmod ssl":
        creates => "/etc/apache2/mods-enabled/ssl.load",
    }
}

一旦你以 Passenger 方式运行,就可以使用如下命令重新启动 Puppetmaster 应用程序:

# service apache2 restart

为了监视 Passenger 正在运行,可以检查名为 ApplicationPoolServerExecutable 的进程。

你也可以用配置常规 web 应用的方法为 Passenger 实例配置负载均衡。

更多详细信息,或者如果你遇到问题,可以参考 Puppet-on-Passenger 文档: http://projects.puppetlabs.com/projects/1/wiki/Using_Passenger

参见本书