这款性能测试工具XRunner真的有那么强大吗?
在这个快速发展的时代,伴随着移动互联、大数据、云计算、AI技术的发展,单一的产品和服务已经不能满足用户多样化需求,多场景的发展,敏捷模式的转变,混合云、微服务架构逐步流行,用户访问的随机性逐渐提升,随之而来的复杂系统性能故障问题发生的可能性也就越来越高。然而,面对系统性能问题,多数IT专业人员缺乏强有力的手段保障应用系统的持续稳定运行,无法定位瓶颈的根源,没有处理性能问题的统一处理流程和最佳实践,很难对企业整体应用性能进行追踪和预警,无法预判性能危机。
国内市场上常用的国外的性能测试工具,协议支持丰富,使用较广泛,并且大多数在国内的网站上有破解版本,但因为是国外软件,不符合信创要求,不能自主可控,不适配国产操作系统,存在合规风险,无法进行产品升级,存在升级隐患。而国内的性能测试工具基本上都是基于国外开源软件二次开发,存在开源许可证协议风险或安全漏洞风险,大都只能支持web,且对操作者技术水平要求高,只能解决部分压测问题。
因此,一款高效易用的性能测试工具——AI性能一体化保障平台XRunner应运而生。
1、概述
XRunner 是一款不基于开源测试软件二次开发的国产自研产品。作为具有极高规模适应性的企业级自动负载测试工具,可以使用XRunner 更早、更准确地进行性能测试。XRunner不仅提供企业级的性能测试能力,而且还具备超大规模并发、全链路压测、云网一体化性能定位等特色功能。
作为具有国际先进水平的新一代国产化性能测试软件套件产品,XRunner在AI自动化、混合云、高性能测试算力等多项关键技术方面取得了重大突破,打破了发达国家在工业级测试软件领域的垄断,是首个全面支持信创环境的高水平性能一体化保障平台,其核心技术获得了广东省科技进步二等奖和十余项发明专利。
XRunner是广州掌动智能科技有限公司自主研发的一款国产性能保障企业版软件,支持永久和订阅两种方式授权。
2、测试对象
XRunner的测试对象是整个应用系统,包括不限于HTTP/HTTPS请求、接口、中间件、数据库、服务器。通过模拟实际用户的操作行为并进行实时性能监测,查找和发现应用系统性能问题。
3、主要功能
1.性能测试
(1)性能测试的国产化行业标准软件
● 使用数以千计的虚拟用户模拟真实用户
● 从一个控制点对系统生成准确的、可衡量和可重复的负载
● 定位系统中的性能瓶颈
(2)确保持续高并发,可重复的流程
● 模拟生产环境工作负载
● 测试广泛的应用
● 识别性能瓶颈
● 诊断根源问题
● 优化部署性能
(3)架构图
XRunner涵盖了脚本生成,场景设置,性能监控,报告生成等全流程功能。
● 压测管理器(XServer):负责性能测试的整体管理和调度。其主要功能包含:
1 项目管理:创建测试项目和测试人员,设定测试人员角色和权限,并在项目中添加/删除成员。
2 用例管理:负责测试脚本的生成和调试,参数文件的维护,外部扩展包的管理。
3 任务管理:负责创建测试场景,制定测试策略,设置监控对象,以及测试计划运行。
4 数据分析:利用收集到的监控数据,进行比较,聚合分析和分类展示,并生成最终测试报告。
● 负载生成器(Load Agent):负责产生虚拟用户,运行性能测试脚本并对被测系统进行性能加压。采取分布式架构,并发执行用户场景,并将统计指标数据及日志返回到XServer。
● 监控代理期(Monitor Agent):可以安装在服务器系统里,也可以采用无代理安装方式,监控服务器系统指标(cpu、内存、I/O、吞吐量等指标),实时将系统运行指标返回给XServer。
2.监控/拨测
支持以下自动化测试:
● HTTP接口监控
定时轮训检测被测系统的接口是否正常,支持告警。
● UI或协议脚本监控
定时轮训检测被测系统的业务(使用浏览器或其他协议)是否正常,支持告警。
● 移动APP业务监控
定时轮训检测被测系统的业务(使用真实手机APP)是否正常,支持告警。
● ping监控
通过ping定时轮训检测被测系统是否正常。
3.代码级根源分析精准定位性能瓶颈
Pinpoint与XRunner集成实现以下功能:
● 系统架构拓扑自动发现
● 从最终用户响应时间到较慢的 方法和SQL查询的交易可追踪性
● 故障快速定位
● 各个调用环节的性能分析
● 数据分析
● 生成服务调用拓扑图
4.支撑性能中心组建方案
XRunner是一个面向全球分布式团队的协作性能测试平台,能够管理多个并发的性能测试项目,无论是在内部部署还是在云中。 通过XRunner Pro.,地理上分散的测试团队跨大规模性能测试项目进行协作,通过集中的web访问、资产共享、实时测试观测和调度,以优化资源利用率,节省时间。
4、性能测试技术特点
1.跨平台能力
纯JAVA实现,能运行在各种不同操作系统,包括Windows,Linux,Mac,完全适配国内信创环境。
2.仿真能力
仿真度就是性能测试工具模拟客户端向服务端下发请求与客户端的相似程度的能力,仿真度越高,测试获得的结果越可信。 XRunner的协议仿真能力几乎可以做到与真实浏览器相同。与业界同类产品相比,是仿真能力最高的产品。
3.同时支持协议模拟和客户端模拟
协议模拟就是通过模拟客户端与服务端的通信协议的交互行为,而客户端模拟是性能测试工具间接的模拟客户端向服务端下发请求协议,它是通过驱动客户端界面操作,由客户端程序向服务端下发请求协议。XRunner是目前业界唯一一款同时支持两种模拟方式的性能测试工具。
4.支持多种协议能力
XRunner支持的协议类型丰富,包括:HTTP/1 (WEB/HTML/API)、HTTP/2 (WEB/HTML/API)、WebService、WebSocket (RFC 6645)、SIP (IMS)、RTSP (VoD)、RTMP、Text (Socket)、Binary (Socket)、JDBC (Database)、FTP/SFTP、JMS、XML、XMPP、IGMP (BTV)、MLD (BTV)、JAVA。是协议支持最全面的国产性能测式工具。
5.自定义协议扩展
通过JAVA api方便实现其他非标协议的压测脚本生成,对使用者全透明。
6.脚本录制
脚本录制支持四种模式(浏览器代理、pcap抓包文件导入、har文件导入、网卡实时抓包、手工创建),支持的浏览器不与具体的版本号绑定更加灵活。
7.脚本调试
脚本调试可以查看到每一步的响应码、时间以及回放与录制时间内容对比,回放完成后可以进行自动关联分析、手工关联以及页面验证等多种手段保证脚本回放的正确性。
8.支持多种并发模型
支持三大模型:线程模型、速率/秒(Caps)、在线用户数/秒,共19种并发模型设置,是业界支持并发模型最多的性能测试工具,适用于多种不同的场景。
9.支持高并发
性能测试:通过部署多台执行机满足高并发性能测试的需求,可以支持百万和千万级别的性能压力测试。相同的并发量,比业界知名的性能测试工具要节省资源,在100并发的场景下,性能指标要优10%。
10.资源监控能力
XRunner支持监控的性能指标非常丰富,几乎包含了客户关心的所有性能指标(支持监控的性能指标数量100+),并支持对虚拟用户分析,包括请求响应时间与事务时间、时间支持90% 80%、第一个Buffer时间、 TCP建立时间。可以帮助测试和开发人员快速的找到被测试系统的问题,通过这些指标可以精确定位性能问题,如:HTTP的首分片时间,可以很好的区分网络问题和服务端问题。
5、核心优势
1.完全自主可控
非开源产品改造,不是基于开源产品换壳产品,全自主开发,自主可控。取得统信操作系统和麒麟操作系统的适配认证;包括各类国产CPU架构(龙芯、鲲鹏、飞腾、申威、兆芯、海光)的适配认证。
2.全线国产化产品支持
对国产数据库、中间件、操作系统进行了针对性适配、一站式压测以及性能基线获取,支持主流网络协议和开发框架,专门的适配开发人员和国产厂家协同开发,确保国产支持力度。
3.强大而灵活的参数化功能
具有广泛的平台支持和良好的编程支持能力,支持Windows、Linux、Unix等交行常见的主流平台;提供发送与接收接口,具有自定义实现接口代码,对请求消息进行处理(如加密、计算),对响应消息进行解析(如解密、提取参数、计算结果)。
4.易用性强
在有限的时间和环境内完成性能测试工作,可以使正式的压力测试工作缩短50%以上的时间。
5.实时的性能数据捕获和呈现
具备功能丰富的服务器监控功能,能够监测系统各层面的每一部件的性能,记录整个系统所有性能数据。
6.方便快捷的性能数据分析和报告
集中收集所有在测试周期中产生的数据,并具备数据分析功能,可以查看到错误日志信息,各种指标的源数据,并自动汇总成为概要报告,而在虚拟用户行为分析上,可以统计输出每个虚拟用户汇总报告、过滤成功或失败用户定位问题,每个URL响应时间、成功率、失败率的统计分析报告,支持输出DNS、TCP、首个分片、完整时间事务的各种响应时间,形成全面的诊断报告。
7.支持代码级诊断
提供应用性能和应用层次根源之间的关联,特别针对J2EE的诊断分析可以鉴别一系列的问题;通过实现监控与代码追踪,以便性能测试出现问题时,快速定位到被测系统代码BUG或性能比较慢的方法。
8.其他特点
脚本执行广泛的环境覆盖、高效的压测能力、灵活的数据驱动能力、自动化的动态关联功能、良好的脚本可扩展性、分布式压力加载模式、支持图形界面级别录制脚本和压力回放、支持音频视频的压力测试。
9.专项特色
● 视频测试解决方案:
提供HLS/DASH/HSS多种HTTP视频技术的自动化测试与性能并发测试;提供RTMP、RTSP、SIP等视频技术的自动化与性能并发测试,助您快速保障视频系统的高质量商用。
● VoIP测试解决方案:
提供SIP、MSRP、H248多种通信协议的自动化测试与性能并发测试;支持音视频媒体流发送与指标分析、IP欺骗的端到端测试能力,助您快速保障VoIP系统的高质量商用。
6、运行环境
跨平台兼容适配,包括windows、linux、国产操作系统。取得统信操作系统和麒麟操作系统的适配认证;包括各类国产CPU架构(龙芯、鲲鹏、飞腾、申威、兆芯、海光)的适配认证。