deploy cSphere cloud

安装 controller

curl -SsL -o /tmp/csphere-install.sh https://csphere.cn/static/csphere-install-v2.sh sudo env ROLE=controller CSPHERE_VERSION=1.0.0 /bin/sh /tmp/csphere-install.sh

证书

http://218.205.113.98:1016/containers,

docker exec -it csphere/csphere:1.0.0 /bin/sh

/bin/mongod –config /etc/mongodb.conf

基于Mongodb的应用吗?代码呢?

安装agent curl -SsL -o /tmp/csphere-install.sh https://csphere.cn/static/csphere-install-v2.sh sudo env ROLE=agent CONTROLLER_IP=218.205.113.98 CONTROLLER_PORT=1016 CSPHERE_VERSION=1.0.0 AUTH_KEY=558609c4d98b8f8f89d33cfdb76f1e27c475b1309d683f9208f8d4d06f37e70ed4aca1ef5d0c13a3 SVRPOOLID=565c052b8c5bae000f000003 /bin/sh /tmp/csphere-install.sh

目前仅支持docker提供的host网络和nat网络。自定义网络功能我们会在后续版本中支持。

为什么人家的镜像可以做得这么小?

简洁的扁平化设计风格,秒杀各类传统的管理系统。基于 ES6 和实时数据流技术,希云cSphere 的面板可以实时反馈集群中的任何状态和数据变化,无需频繁刷新。

培训大纲

Docker实践之入门以及Dockerfile

  1. 基本概念
  2. 常用命令
  3. Dockerfile的编写
  4. 构建Docker镜像的(4个经典案例)
  5. 使用Docker部署Wordpress用例

Docker实践之Registry以及持续集成

  1. 搭建私有DockerHub
  2. 自动构建Docker镜像
  3. 通过compose一键部署多个容器
  4. Jenkins与 Docker配合做持续集成
  5. 通过Docker自动集成测试

Docker实践之监控报警以及日志管理

  1. 搭建监控报警系统
  2. 搭建日志管理系统
  3. 模拟访问场景(产生压力)
  4. 收集日志,并图表化展现
  5. 通过普罗米修斯数据库做docker监控,通过ELK做日子收集和展现

Docker实践之网络管理

  1. 熟悉Docker网络模式:nat\host\container\none\overlay 5 种网络
  2. 了解网络模式的特点和使用场景
  3. 使用Docker1.8 experiment版本实现跨越主机通信

Docker实践之持续部署以及弹性 伸缩

  1. 搭建swarm集群,并演示如何与compose结合
  2. 通过compose自动部署应用,并进行扩容缩容

rm /etc/docker/key.json

Demo1

  1. 产品代码relase, 已触发自动构建镜像流程
  2. 镜像构建成功,镜像测试已通过
  3. 测试人员得到通知,可以进行测试
  4. 测试人员执行docker-compose up-d 一键部署好测试环境
  5. 测试已通过,标记镜像状态为可发布

Demo2

  1. 应用1.0版本已发布
  2. 基于1.0版本,现在有新功能添加,2.0需要发布
  3. 测试流程都已完成,需要再次发布

db: container_name: my-db-container image: cshpere/mysql:5.5 ports: - “3306:3360” volumes: - /root/my-db:/var/lib/mysql web: container_name: my-web-container image: cshpere:/hello:2.0 ports: - “80:8080” environment: - DB_HOST=172.17.42.1

docker-compose up -d

Docker实践之存储

  1. 了解Docker Graph存储,包括aufs、devicemapper、overlayfs,掌握每种存储的使用方法,优缺点,以及我们如何选择
  2. 学习Docker如何运行数据类服务,如何用好Volume

数人云

数人云-云时代的操作系统—基于Mesos最成熟企业级容器去 1) 满足业务爆发增长需求,保障业务应用永不掉线 2) 像用一台电脑一样统一管理整个集群 3) 一键部署任何容器\分布式应用

Mesos is the “gold starndard” for large-scale production clusters running containers.

From Google, Beyond Google. 我们善用于国际先进的技术架构分布式操作系统, 管理数以万计服务器节点. 通过提供可靠的分布式操作系统, 我们可以妥善的帮助拥有 后台压力的公司轻松解决问题, 并长期保持后台系统的强大和可靠.

“数人云”云操作系统,是一款部署在公有云或者私有云(IDC)之上的应用运维软件, 旨在帮助用户在云端快速建立并稳定运维一个高性能生产环境。 通过数人云,用户可以快速部署海量的Docker应用,在保障高可用的同时实现秒级的快速伸缩能力; 可以快速搭建并运维Spark、Hadoop MR、Kafka等等集群化应用, 并且保证服务资源和数据均为用户私有。

满足业务爆发增长需求,保障业务应用永不掉线 数人云能根据客户实际业务需求,动态伸缩业务应用实例个数,保障业务应用的高性能,同时提高集群资源利用率。 数人云能自动发现和恢复集群中的故障节点,保障客户业务应用的高可用。

像用一台电脑一样统一管理整个集群 数人云将整个集群的计算存储资源汇聚成一个资源池,让客户像用一台电脑一样管理整个集群,大大简化了集群的管理运维复杂度。 数人云管理的集群为客户的业务应用提供自动化部署、在线升级、灰度发布、秒级动态伸缩等功能,同时完全不影响客户在线业务。

一键部署任何容器 分布式应用 1)一分钟部署复杂的分布式应用 2)一键部署各种客户(容器化)业务应用 3)自动化部署、在线升级、灰度发布等。

金融大数据 轻松应对海量数据的收集、处理、分析 需求描述: 金融行业需要大量数据搜集和处理业务,起支撑系统包括数据收集、日志搜集(Kafka)、数据清洗、数据分析(基于Spark)、OLAP以及离线报表展现等子系统。以前这些系统固定在不同的服务器集群上,资源浪费严重,维护成本很高。

数人云解决方案: 大数据业务处理平台的首选资源管理系统

通过数人云对底层集群进行统一管理,所有业务都运行在同一资源池里。目前流行的金融大数据分析工具,Hadoop和Spark,都是典型的分布式计算平台,非常适合用数人云操作系统来承载。特别是Spark集群,由数人云的核心技术Mesos提供原生支持,是最理想的Spark运行环境。

实施效果: 某Top3的互联网金融公司数据系统使用数人云同时承载其在线和离线数据处理业务,实现离线和在线业务实现混合部署,极大地提高了资源利用率。用原来一半的集群规模,不仅承载了同样的业务,而且还有余量接纳新的分析业务。特别是Spark集群从过去Hadoop Yarn上迁移到Mesos上之后,克服了Spark频繁升级带来得对旧版本Hadoop的兼容性问题,性能更加稳定。

pwd: Shurenyun.com

Yann|廖颜华 2015-12-2 16:53:51 udacity / hujb2000@163.com/udacity.com

Yann|廖颜华 2015-12-2 16:54:15 Coursera hujb2000@163.com/coursera.org

Yann|廖颜华 2015-12-2 16:54:19 edX hujb2000@163.com/courses.edx.org

数人云

数人云

安装 sudo -H OMEGA_ENV=prod bash -c “$(curl -Ls https://raw.githubusercontent.com/Dataman-Cloud/agent-installer/master/install-agent.sh)” -s 295356f241404e37b42411f7afe44b80