V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fromMars1130
1D

分享一下自己身上出现过哪些重大线上事故

  •  6
     
  •   fromMars1130 · 5 天前 · 10423 次点击
    142 条回复    2026-04-19 20:12:31 +08:00
    1  2  
    msy45
        101
    msy45  
       4 天前
    数据库价格单位是分,以为是元了,我直接改的线上数据库,数据错了一天
    还好公司混乱,而且还是线下消费的功能,最后好像就我们开发知道(客户得了优惠都没说🤣)
    elevioux
        102
    elevioux  
       4 天前
    APP 推送没切环境,公推发了 10 几条测试信息
    7gugu
        103
    7gugu  
       4 天前
    react native 发外网,忘记发 jsbundle 只同步了配置,导致外网白屏了
    abobobo
        104
    abobobo  
       4 天前
    积分兑换的时候,1:100 的,忘了微信支付的小数点,搞成了 1:10000 ,被薅了两个当年的新款 iphone ,还好最后退款送积分,把损失拉回来了
    shilianmlxg
        105
    shilianmlxg  
       4 天前
    @runking 这种是不是团队得用知识库,才能解决忘记之前设定的问题
    theroad
        106
    theroad  
       4 天前
    写 SQL 提取现网数据,并发没控制好,把数据库 slave 拉挂了
    tt67wq
        107
    tt67wq  
       4 天前
    把一个环境的服务发现干挂了 20 分钟
    seamonster
        108
    seamonster  
       4 天前   ❤️ 1
    发短信,给几千人每人重复发了十几条短信,后反馈紧急,停了服务
    shuimuwei
        109
    shuimuwei  
       4 天前
    yudao 多租户删除,我不小心把管理员那个主租户删了... 导致其余租户都无法登录了
    AutumnVerse
        110
    AutumnVerse  
       4 天前 via iPhone
    退款脚本,计算退款金额,sql 本来应该是 select sum(price) from xxx where uid=xxx
    测试的时候把 where 条件注释了,上线忘了打开。
    tanx
        111
    tanx  
       4 天前
    @rocmax 所以我更新 都是 update top(1) xx 了,错了也只是一条数据
    xiayebaibi
        112
    xiayebaibi  
       4 天前
    同时操作的 生产 linux 删除列 /bin 目录
    自己操作的 mv 直接把线上文件覆盖掉了。
    fbi007130
        113
    fbi007130  
       4 天前
    多发了一百万 RMB 代金券,没收回,算吗
    teric
        114
    teric  
       4 天前
    17 年在某行对接海关,当时因为没考虑到 0 点跑批,导致多给海关打了 200 多 W ,后面行里面和海关走了一个多月流程才把钱拿回来。
    jiangfkyyy
        115
    jiangfkyyy  
       4 天前
    前公司+年少无知的时候发生的事儿了,
    用户说功能失败,我们不好意思要数据,就把用户的密码临时改一下登录上去看看,结果没写 where ,导致密码都改成 123456
    后面赶紧用备份恢复数据,但是期间新增的用户就没法改密码,用户表后面也多加了一列原密码字段
    corcre
        116
    corcre  
       4 天前
    写 update 没加 where, 生产环境直接加索引卡死了生产数据库之类的🤣
    evan1
        117
    evan1  
    PRO
       4 天前
    @nickxudotme #74 mentor 也是有故事的人
    ZoR
        118
    ZoR  
       4 天前
    菜鸟的时候线上操作数据库 update 没加 where 条件,你懂吧
    Sylphiette
        119
    Sylphiette  
       4 天前
    某一线城市的某机关单位的 xxx 职业线上考试系统,考生正在线上考试呢,我把生产库删了
    ccvip
        120
    ccvip  
       4 天前
    一个运营中的网站项目,需要第三方协助开发模板,需要把现有代码发给协作方(不给数据)

    我就把网站复制了一份出来,在副本中的网站后台删除用户数据。

    结果,网站图片是保存在第三方云服务器里的,删除用户数据的时候,程序代码有设定会自动删除第三方云服务的图片附件

    悲剧了! 运营中的网站所有图片都没了,网站都有备份,第三方云服务的附件没备份,损失巨大!
    ZXCDFGTYU
        121
    ZXCDFGTYU  
       4 天前
    不是我的,是开发的。
    给某单位搞的计费系统,算应付费用的时候应该是在总额上累加,结果开发搞成了每次累加总额...
    就比如说我原来应付费用 100 块,又用了 10 块钱的量,应该是 100+10 ,结果开发搞成了 100+( 100+10 )...

    结果搞的全系统的客户人均欠款 1000+,最高的欠款上万,而且居然有客户硬氪金,充值了好多钱硬挺到服务可用
    mach9452
        122
    mach9452  
       4 天前
    做了商场和秒杀活动,把测试价格发到线上,0.01 卖了几百单
    wxm
        123
    wxm  
       4 天前
    @JiZhiDeboy 联系到那个人不退,或者电话都不接,涉及人太多最后不了了之了。。
    pursuit9
        124
    pursuit9  
       4 天前
    rm -rf *
    fjkfwz406
        125
    fjkfwz406  
       4 天前
    一个查询把线上 ES 搞 OOM 了
    Leeeeex
        126
    Leeeeex  
    PRO
       4 天前
    之前有人把 iOS 的沙盒支付在生产上放开了
    然后被刷走了十几万,后面公司说要起诉,也不知道后续怎么样
    user100saysth
        127
    user100saysth  
       4 天前
    远程调试服务器防火墙策略,打开后
    诶,怎么远程断了
    guch99999
        128
    guch99999  
       4 天前
    我到没有。 分享给同事的 , 他运维,本来是像删除 从库的数据的,登错机器了,把主库删除了, 删除到一半发现了。 被开了
    soleils
        129
    soleils  
       4 天前
    好几个回复都是: "不过我觉得责任不在我"
    YaD2x
        130
    YaD2x  
       4 天前
    服务器重启算吗?之前以为连的是自己服务器 直接 reboot 了。然后等重启 恢复服务 用了一个小时。没有啥损失。
    colom
        131
    colom  
       4 天前
    那会刚进社会,当时做的轧钢产线上的项目,领导说了几次系统在跑的时候不要改程序,我没当回事改掉了,然后程序崩溃,产线直接急停了,还好当时没什么损失,不然后悔一辈子
    he888
        132
    he888  
       4 天前
    刚开始写代码那会儿,上线新功能,测试之后需要删除测试数据,写了 sql 丢给负责人执行,where 条件写错了,删了整表,负责人搞了一晚上,看我都是想骂的。。
    levelworm
        133
    levelworm  
       4 天前 via iPhone
    @villivateur #26
    明确一下是老婆的 80GB 还是 80Gb 的老婆?
    binyu
        134
    binyu  
       4 天前
    用本地代码连线上数据库,登录用户的账号,注释掉密码比对的部分,上线的时候忘记改回来了
    felixcode
        135
    felixcode  
    PRO
       4 天前
    写几个字的标题就能看这么多热闹,赚了
    jedeft
        136
    jedeft  
       4 天前
    测试环境给 app 推送消息,错发给全部生成环境的用户了。
    消息内容是公司上市了,老板接到朋友的恭喜电话时一脸懵逼。
    okjojoc
        137
    okjojoc  
       3 天前
    @hewiefsociety 天啊 20w 刀也太多了 最后谁兜底了 有负什么责任吗 不过说回来公司没有设 limit 也有责任
    erwin985211
        138
    erwin985211  
       3 天前
    不知道算不算我的,我合的的代码,实习生写的,他把一个测试接口发到线上了,导致线上不停弹的报错 msg 。这可能是前端能通的最大的娄子了
    kenshinhu
        139
    kenshinhu  
       3 天前
    最大的一次损失可能是在调试代码时触发了支付接口没了几刀
    hewiefsociety
        140
    hewiefsociety  
       3 天前
    @okjojoc 公司有钱 无所谓 🤭
    sky96111
        141
    sky96111  
       3 天前 via iPhone
    表单信息更新没考虑脱敏,前端拿了脱敏数据来提交更新。一个月后出报表时才发现,几万个姓名和手机号都变了*
    diudiuu
        142
    diudiuu  
       2 天前
    删除生产环境服务器
    1  2  
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1010 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 124ms · UTC 18:58 · PVG 02:58 · LAX 11:58 · JFK 14:58
    ♥ Do have faith in what you're doing.