关闭 x
IT技术网
    技 采 号
    ITJS.cn - 技术改变世界
    • 实用工具
    • 菜鸟教程
    IT采购网 中国存储网 科技号 CIO智库

    IT技术网

    IT采购网
    • 首页
    • 行业资讯
    • 系统运维
      • 操作系统
        • Windows
        • Linux
        • Mac OS
      • 数据库
        • MySQL
        • Oracle
        • SQL Server
      • 网站建设
    • 人工智能
    • 半导体芯片
    • 笔记本电脑
    • 智能手机
    • 智能汽车
    • 编程语言
    IT技术网 - ITJS.CN
    首页 » 算法设计 »如何利用单台服务器实现10万多个Git仓库托管

    如何利用单台服务器实现10万多个Git仓库托管

    2015-01-07 00:00:00 出处:夏天的森林
    分享

    在单台服务器上就可以托管 10 万多个仓库,GitLab.com 是如何做到的呢?来看 GitLab.com 是如何自建服务和扩展存储来满足这么多仓库的托管。

    以下为译文:

    你想在任何地方免费托管公共/私有仓库吗?可以选择 GitLab.com,我们已经在上面托管过一个单例 GitLab,已有将近 20000 人积极地使用 GitLab 来托管仓库,并且一台服务器就已托管 10 万多个仓库。

    单一服务器

    之前,GitLab.com 托管在亚马逊上,使用的是 AWS 上最高的配置实例。但随着用户数的增长,以及我们只能进行垂直扩展和 CPU 绑定,所以,我们必须寻找 AWS 替代品。

    100K 仓库需要占用好几个 TB 空间,所以,存储能力变得相当重要。因为我们使用的是 git,所以,我们只能选择单一的文件系统,而不是对象存储(比如 S3)。我们希望能够轻松地扩展存储,此外,成千上万个用户在 push 和 pull 他们的代码,这样就会给 CPU 带来一定的负担。因此,我们需要更多的 CPU 核来减轻高负载带来的压力。

    事实证明,我们使用自己的服务器是迄今为止最具性价比的选择了。

    目前,我们有两台独立服务器用来运行 GitLab.com,其中一台是活动的主服务器,另外一台备用。服务器配置如下:

    服务器型号:HP DL180 G6 (2009 年引进) 处理器:2x X5690 (共 24 核) 32GB RAM 12x 2TB HDDs (其中两个用于 root 卷,使用 RAID 1,另外 10 个磁盘使用 RAID 10 ext4 文件系统)

    实际上,我们开始只用了 16 个核,但又增加了 8 核来取代 CPU,从而减少 CPU-bound 加载。

    故障和故障转移

    弃用 AWS 意味着我们不可以再使用任何 AWS 功能,因此,为了预防宕机等现象发生,我们需要进行故障转移。

    我们使用 DRBD 来创建一台主服务器和一台从服务器,其中一个服务器作为应用服务器,并且应该是活动的,假如出现问题,我们会通知 DRBD 来开启另一台服务器作为备用。

    我们的 DRBD 工具以及完成构建,并且提供给我们的用户。

    未来扩展

    GitLab.com 目前在已有的硬件上能够很好的运行,但其正以前所未有的速度在增长。扩展当前的硬件将会非常昂贵,而且并不会轻而易举完成。

    未来,GitLab.com 将会再次托管在 AWS 上面,横向扩展也会变得非常轻松。此外亚马逊刚刚宣布了超过 10TB 的 ESB 卷,这将让我们的移植变得容易。

    上一篇返回首页 下一篇

    声明: 此文观点不代表本站立场;转载务必保留本文链接;版权疑问请联系我们。

    别人在看

    正版 Windows 11产品密钥怎么查找/查看?

    还有3个月,微软将停止 Windows 10 的更新

    Windows 10 终止支持后,企业为何要立即升级?

    Windows 10 将于 2025年10 月终止技术支持,建议迁移到 Windows 11

    Windows 12 发布推迟,微软正全力筹备Windows 11 25H2更新

    Linux 退出 mail的命令是什么

    Linux 提醒 No space left on device,但我的空间看起来还有不少空余呢

    hiberfil.sys文件可以删除吗?了解该文件并手把手教你删除C盘的hiberfil.sys文件

    Window 10和 Windows 11哪个好?答案是:看你自己的需求

    盗版软件成公司里的“隐形炸弹”?老板们的“法务噩梦” 有救了!

    IT头条

    公安部:我国在售汽车搭载的“智驾”系统都不具备“自动驾驶”功能

    02:03

    液冷服务器概念股走强,博汇、润泽等液冷概念股票大涨

    01:17

    亚太地区的 AI 驱动型医疗保健:2025 年及以后的下一步是什么?

    16:30

    智能手机市场风云:iPhone领跑销量榜,华为缺席引争议

    15:43

    大数据算法和“老师傅”经验叠加 智慧化收储粮食尽显“科技范”

    15:17

    技术热点

    商业智能成CIO优先关注点 技术落地方显成效(1)

    用linux安装MySQL时产生问题破解

    JAVA中关于Map的九大问题

    windows 7旗舰版无法使用远程登录如何开启telnet服务

    Android View 事件分发机制详解

    MySQL用户变量的用法

      友情链接:
    • IT采购网
    • 科技号
    • 中国存储网
    • 存储网
    • 半导体联盟
    • 医疗软件网
    • 软件中国
    • ITbrand
    • 采购中国
    • CIO智库
    • 考研题库
    • 法务网
    • AI工具网
    • 电子芯片网
    • 安全库
    • 隐私保护
    • 版权申明
    • 联系我们
    IT技术网 版权所有 © 2020-2025,京ICP备14047533号-20,Power by OK设计网

    在上方输入关键词后,回车键 开始搜索。Esc键 取消该搜索窗口。