com.alibaba.dubbo.remoting.RemotingException: java.lang.NoClassDefFoundError 问题排查

记一次有意思的dubbo服务调用java.lang.NoClassDefFoundError问题排查,尽管现在还不清除具体原理是什么,但是问题已经解决。

背景

  1. 这是一个新的项目,重新搭建开发环境,以及运维部署docker环境,jdk采用1.8。
  2. 项目启动正常,没有任何错误日志,日志级别调成DEBUG级别也未发现问题。

异常出现

具体异常

cause: java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
        at net.dubboclub.catmonitor.CatTransaction.createProviderCross(CatTransaction.java:187)
        at net.dubboclub.catmonitor.CatTransaction.invoke(CatTransaction.java:55)
        at com.alibaba.dubbo.rpc.protocol.ProtocolFilterWrapper$1.invoke(ProtocolFilterWrapper.java:69)
        at com.alibaba.dubbo.rpc.filter.ContextFilter.invoke(ContextFilter.java:61)
        at com.alibaba.dubbo.rpc.protocol.ProtocolFilterWrapper$1.invoke(ProtocolFilterWrapper.java:69)
        at com.alibaba.dubbo.rpc.filter.GenericFilter.invoke(GenericFilter.java:132)
        at com.alibaba.dubbo.rpc.protocol.ProtocolFilterWrapper$1.invoke(ProtocolFilterWrapper.java:69)
        at com.alibaba.dubbo.rpc.filter.ClassLoaderFilter.invoke(ClassLoaderFilter.java:38)
        at com.alibaba.dubbo.rpc.protocol.ProtocolFilterWrapper$1.invoke(ProtocolFilterWrapper.java:69)
        at com.alibaba.dubbo.rpc.filter.EchoFilter.invoke(EchoFilter.java:38)
        at com.alibaba.dubbo.rpc.protocol.ProtocolFilterWrapper$1.invoke(ProtocolFilterWrapper.java:69)
        at com.alibaba.dubbo.rpc.protocol.dubbo.DubboProtocol$1.reply(DubboProtocol.java:98)
        at com.alibaba.dubbo.remoting.exchange.support.header.HeaderExchangeHandler.handleRequest(HeaderExchangeHandler.java:98)
        at com.alibaba.dubbo.remoting.exchange.support.header.HeaderExchangeHandler.received(HeaderExchangeHandler.java:170)
        at com.alibaba.dubbo.remoting.transport.DecodeHandler.received(DecodeHandler.java:52)
        at com.alibaba.dubbo.remoting.transport.dispatcher.ChannelEventRunnable.run(ChannelEventRunnable.java:81)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745) 

这个异常抛出在dubbo服务调用方,也就是消费者端,起初以为是消费者端缺少commons-lang:2.6.jar导致,排查发现这个jar包确实是存在的?。。〉俏裁椿岜ㄕ飧鲆斐D??

本地调试

通过本地idea启动生产者与消费者,采用直连的方式dubbo://localhost:20881,发现服务竟然能够正常提供服务?。?!What's up?

运维改变部署环境

本地启动能够正常提供服务,那是不是运维新建的环境有问题呢?It's possible.

  1. 是不是打包出现了问题?
    辛苦运维大哥将服务器上打包的项目拿下来,将服务器端服务kill,在本地启动重新注册到zk上,本地启动消费者(因为网络限制策略,开发部署环境不能连接本机服务),服务并没有出现异常,而是正常提供服务?。?!
  2. 运维开始怀疑是不是自己新建环境有问题了??
    将项目打的包拷贝至宿主机使用java -jar project.jar运行,通过dubbo-admin观察,发现服务注册成功,测试调用发现服务也是正常?。?!
  3. 唯一有问题的就是将服务部署在新的docker环境了。。。
    通过以上2种排查,那剩下的唯一有问题只能是服务+环境
    1. 检查docker环境的jdk环境、classpath环境,均发现正常没有问题。
    2. 检查服务与消费者的网络,发现也是正常没有问题。
    3. 谁能告诉我,这个到底是怎么啦???
  4. 网络搜索到的解决方案
    1. 缺少jar
      这个通过检查maven依赖,打包之后的lib发现jar包确实不少
    2. javassist版本不对
      有网友说是因为javassist的版本不对导致,通过消费者lib包发现,项目中确实存在两个版本的javassist,如下图,请运维将低版本的删除,然后启动,发现服务依旧是不行~~~~
      能试的,我都试了,为什么你要这么折磨我这个小菜逼,?_?
      image.png
  5. 在服务中写个JUnit测试类,通过dubbo引用服务端的服务吧~
    在本地写了一个JUnit测试类,通过<dubbo:reference id="${serverId}" interface="${serviceInterfaceClass}" version="${version}" group="${group}" url="dubbo://${ip}:${port}"/>直连提供者,终于出现了同样的错误~,??,尽管还是不知道怎么解决,但是出现了总比不出现要好,对于bug就是这个样子的。。。
  6. 检查服务提供者的jar依赖
    发现服务提供者的maven依赖并没有
<dependency>
    <groupId>commons-lang</groupId>
    <artifactId>commons-lang</artifactId>
    <version>2.6</version>
</dependency>

会不会就是这个错误呢?有可能的哦!尽管不是很确定,但还是要搞一搞~
将这个依赖添加上,重新打包部署,好期待奇迹出现哦~
运行JUnit测试类,What?! 果然奇迹出现了,竟然没有错误了!服务呢?是否也正常了?Yes! 服务也正常了?。?!

总结

导致这个错误的原因是因为服务提供者没有提供commons-lang:2.6的依赖包,导致了运行时出错,但是这个异常确抛在了消费端,让人一时懵逼以为真的是因为消费者出现了错误!
通过异常堆栈发现,使用StringUtils工具类的是 cat-dubbo-monitor ,项目使用cat监控dubbo服务状态。
至于为什么这个错误会出现在消费者端,而不是生产者端,具体原因还不知道,还请只到的大牛能够给指点一下,非常感谢!!

?著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352

推荐阅读更多精彩内容