Android自动化测试中AccessibilityService获取控件信息

发布时间:2020-06-21 15:20:28 作者:zhukev
来源:网络 阅读:3061

原著出处(这里顺便对先驱表示感谢,省得我多走弯路,所以这里直接转载过来,我们没有必要做重新造轮子的事情,既然先驱们已经帮我们把轮子造好了):http://blog.csdn.net/itfootball/article/details/21953763


AccessibilityService为一个响应用户发送AccessibilityEvent事件的服务类,主要用作对于一些辅助功能的实现中。对于某些方面有缺陷的人群,可以通过辅助功能反馈给用户。

        AccessibilityService的介绍,网络上有很多,我就不多做介绍了。我把怎么实现它跟大家分享一下,以及怎么把它跟Android自动化测试扯上关系的学习过程给大家介绍一下。

 

  第一步  编写辅助程序 

 

        创建一个Android项目,创建一个服务类,继承AccessibilityService。

 

[java] view plaincopyAndroid自动化测试中AccessibilityService获取控件信息Android自动化测试中AccessibilityService获取控件信息
  1. import android.accessibilityservice.AccessibilityService;  
  2. import android.accessibilityservice.AccessibilityServiceInfo;  
  3. import android.annotation.SuppressLint;  
  4. import android.util.Log;  
  5. import android.view.accessibility.AccessibilityEvent;  
  6. import android.view.accessibility.AccessibilityNodeInfo;  
  7.   
  8. @SuppressLint("NewApi")  
  9. public class MyAccessibility extends AccessibilityService {  
  10.     private static final String TAG = "MyAccessibility";  
  11.     String[] PACKAGES = { "com.android.settings" };  
  12.   
  13.     @Override  
  14.     protected void onServiceConnected() {  
  15.         Log.i(TAG, "config success!");  
  16.         AccessibilityServiceInfo accessibilityServiceInfo = new AccessibilityServiceInfo();  
  17.         // accessibilityServiceInfo.packageNames = PACKAGES;  
  18.         accessibilityServiceInfo.eventTypes = AccessibilityEvent.TYPES_ALL_MASK;  
  19.         accessibilityServiceInfo.feedbackType = AccessibilityServiceInfo.FEEDBACK_SPOKEN;  
  20.         accessibilityServiceInfo.notificationTimeout = 1000;  
  21.         setServiceInfo(accessibilityServiceInfo);  
  22.     }  
  23.   
  24.     @SuppressLint("NewApi")  
  25.     @Override  
  26.     public void onAccessibilityEvent(AccessibilityEvent event) {  
  27.         // TODO Auto-generated method stub  
  28.         int eventType = event.getEventType();  
  29.         String eventText = "";  
  30.         Log.i(TAG, "==============Start====================");  
  31.         switch (eventType) {  
  32.         case AccessibilityEvent.TYPE_VIEW_CLICKED:  
  33.             eventText = "TYPE_VIEW_CLICKED";  
  34.             break;  
  35.         case AccessibilityEvent.TYPE_VIEW_FOCUSED:  
  36.             eventText = "TYPE_VIEW_FOCUSED";  
  37.             break;  
  38.         case AccessibilityEvent.TYPE_VIEW_LONG_CLICKED:  
  39.             eventText = "TYPE_VIEW_LONG_CLICKED";  
  40.             break;  
  41.         case AccessibilityEvent.TYPE_VIEW_SELECTED:  
  42.             eventText = "TYPE_VIEW_SELECTED";  
  43.             break;  
  44.         case AccessibilityEvent.TYPE_VIEW_TEXT_CHANGED:  
  45.             eventText = "TYPE_VIEW_TEXT_CHANGED";  
  46.             break;  
  47.         case AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED:  
  48.             eventText = "TYPE_WINDOW_STATE_CHANGED";  
  49.             break;  
  50.         case AccessibilityEvent.TYPE_NOTIFICATION_STATE_CHANGED:  
  51.             eventText = "TYPE_NOTIFICATION_STATE_CHANGED";  
  52.             break;  
  53.         case AccessibilityEvent.TYPE_TOUCH_EXPLORATION_GESTURE_END:  
  54.             eventText = "TYPE_TOUCH_EXPLORATION_GESTURE_END";  
  55.             break;  
  56.         case AccessibilityEvent.TYPE_ANNOUNCEMENT:  
  57.             eventText = "TYPE_ANNOUNCEMENT";  
  58.             break;  
  59.         case AccessibilityEvent.TYPE_TOUCH_EXPLORATION_GESTURE_START:  
  60.             eventText = "TYPE_TOUCH_EXPLORATION_GESTURE_START";  
  61.             break;  
  62.         case AccessibilityEvent.TYPE_VIEW_HOVER_ENTER:  
  63.             eventText = "TYPE_VIEW_HOVER_ENTER";  
  64.             break;  
  65.         case AccessibilityEvent.TYPE_VIEW_HOVER_EXIT:  
  66.             eventText = "TYPE_VIEW_HOVER_EXIT";  
  67.             break;  
  68.         case AccessibilityEvent.TYPE_VIEW_SCROLLED:  
  69.             eventText = "TYPE_VIEW_SCROLLED";  
  70.             break;  
  71.         case AccessibilityEvent.TYPE_VIEW_TEXT_SELECTION_CHANGED:  
  72.             eventText = "TYPE_VIEW_TEXT_SELECTION_CHANGED";  
  73.             break;  
  74.         case AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED:  
  75.             eventText = "TYPE_WINDOW_CONTENT_CHANGED";  
  76.             break;  
  77.         }  
  78.         eventText = eventText + ":" + eventType;  
  79.         Log.i(TAG, eventText);  
  80.         Log.i(TAG, "=============END=====================");  
  81.     }  
  82.   
  83.     @Override  
  84.     public void onInterrupt() {  
  85.         // TODO Auto-generated method stub  
  86.   
  87.     }  
  88.   
  89. }  

      

         该服务类继承了3个方法:

        1.onServiceConnected():绑定服务所用方法,一些初始化的操作放在这里面。

        2.onAccessibilityEvent(AccessibilityEvent event):响应AccessibilityEvent的事件,在用户操作的过程中,系统不断的发送sendAccessibiltyEvent(AccessibilityEvent event);然后通过onAccessibilityEvent()可以捕捉到该事件,然后分析。

        3.public void onInterrupt():打断获取事件的过程,本例中暂不适用。

        在onServiceConnected()我们做了一些初始化的工作,通过AccessibilityServiceInfo设置了AccessibilityService的一些参数

       //ccessibilityServiceInfo.packageNames = PACKAGES:响应某个应用的时间,包名为应用的包名;可以用String[]对象传入多包。如果不设置,默认响应所有应用的事件。

        ssibilityServiceInfo.eventTypes = AccessibilityEvent.TYPES_ALL_MASK:响应时间的类型,事件分很多种:单击、长按、滑动等,需要指定,我设置了所有事件都响应:TYPES_ALL_MASK。

        cessibilityServiceInfo.feedbackType = AccessibilityServiceInfo.FEEDBACK_SPOKEN:设置回馈给用户的方式,是语音播出还是振动。这个我们稍后尝试配置一些TTS引擎,让它发音。

        cessibilityServiceInfo.notificationTimeout = 1000:看意思就能明白,响应时间的设置。

        接下来我们要在配置文件AndroidManifest.xml配置该服务:

 

[java] view plaincopyAndroid自动化测试中AccessibilityService获取控件信息Android自动化测试中AccessibilityService获取控件信息
  1. <?xml version="1.0" encoding="utf-8"?>  
  2. <manifest xmlns:android="http://schemas.android.com/apk/res/android"  
  3.     package="com.spreadtrum.accessibilityservice"  
  4.     android:versionCode="1"  
  5.     android:versionName="1.0" >  
  6.   
  7.     <uses-sdk  
  8.         android:minSdkVersion="8"  
  9.         android:targetSdkVersion="17" />  
  10.   
  11.     <application  
  12.         android:allowBackup="true"  
  13.         android:icon="@drawable/ic_launcher"  
  14.         android:label="@string/app_name"  
  15.         android:theme="@style/AppTheme" >  
  16.         <service  
  17.             android:name=".MyAccessibility"  
  18.             android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE" >  
  19.             <intent-filter>  
  20.                 <action android:name="android.accessibilityservice.AccessibilityService" />  
  21.             </intent-filter>  
  22.         </service>  
  23.     </application>  
  24.   
  25. </manifest>  


        这些设置很重要,因为AccessibilityService服务不是用户去开启的。我们无法用startService()方法启动它,所以我连activity都没写。因为它是通过该配置让系统自动识别的,识别成功后,就会在我们手机里面看到该服务,然后需要手动开启该服务(所以千万别粗心写错,我就是因为少写了一个单词,然后安装上app,一直没反应,它也不报错,害我找错找了半天,后来发现是自己的低级错误。)。

        现在我们就可以将应用部署到手机上,部署成功后我们点:设置->辅助功能。找到我们的服务,如图:

 

 

Android自动化测试中AccessibilityService获取控件信息

       

        看到我们的应用会显示在其中,默认是关闭的;如果你在此没看见你的服务,那么你应该核对一下你的配置文件,确保配置正确;点进去,打开该服务。

然后我们就可以随意在你的手机设备上操作,看看log输出:

 

Android自动化测试中AccessibilityService获取控件信息

       

        我们就会看到我们点击的事件,被服务在后台捕捉到了。接下来,我们尝试着从我们捕捉到的时间中获得我们有用的时间,AccessibilityEvent API 中有一个getSource()方法。得到的是AccessibilityNodeInfo,试着获得这个对象。我们看看是什么东西。

 

   第二步 获得控件信息

 

        在调用这个getSource()方法时,需要事先配置一下,也就是需要android:canRetrieveWindowContent="true",这个属性是API14(android4.0)给出的,它的配置方法受限于需要采用XML初始化的方式配置AccessibilityService,也就是我们现在不在onServiceConnected()里配置初始化信息,改在xml里实现。那么我们现在就要将上面的程序修改一下。首先,删除onServiceConnected()的配置(因为getSource()不是所有的操作都有该方法,所以得在特定的方法中实现该方法,我们选择在TYPE_VIEW_CLICKED里实现),修改后的服务类如下:

 

[java] view plaincopyAndroid自动化测试中AccessibilityService获取控件信息Android自动化测试中AccessibilityService获取控件信息
  1. package com.spreadtrum.accessibilityservice;  
  2.   
  3. import android.accessibilityservice.AccessibilityService;  
  4. import android.accessibilityservice.AccessibilityServiceInfo;  
  5. import android.annotation.SuppressLint;  
  6. import android.util.Log;  
  7. import android.view.accessibility.AccessibilityEvent;  
  8. import android.view.accessibility.AccessibilityNodeInfo;  
  9.   
  10. @SuppressLint("NewApi")  
  11. public class MyAccessibility extends AccessibilityService {  
  12.     private static final String TAG = "MyAccessibility";  
  13.     String[] PACKAGES = { "com.android.settings" };  
  14.   
  15.     @Override  
  16.     protected void onServiceConnected() {  
  17.         Log.i(TAG, "config success!");  
  18.     }  
  19.   
  20.     @SuppressLint("NewApi")  
  21.     @Override  
  22.     public void onAccessibilityEvent(AccessibilityEvent event) {  
  23.         // TODO Auto-generated method stub  
  24.         int eventType = event.getEventType();  
  25.         String eventText = "";  
  26.         switch (eventType) {  
  27.         case AccessibilityEvent.TYPE_VIEW_CLICKED:  
  28.             Log.i(TAG, "==============Start====================");  
  29.             eventText = "TYPE_VIEW_CLICKED";  
  30.             AccessibilityNodeInfo noteInfo = event.getSource();  
  31.             Log.i(TAG, noteInfo.toString());  
  32.             Log.i(TAG, "=============END=====================");  
  33.             break;  
  34.         case AccessibilityEvent.TYPE_VIEW_FOCUSED:  
  35.             eventText = "TYPE_VIEW_FOCUSED";  
  36.             break;  
  37.         case AccessibilityEvent.TYPE_VIEW_LONG_CLICKED:  
  38.             eventText = "TYPE_VIEW_LONG_CLICKED";  
  39.             break;  
  40.         case AccessibilityEvent.TYPE_VIEW_SELECTED:  
  41.             eventText = "TYPE_VIEW_SELECTED";  
  42.             break;  
  43.         case AccessibilityEvent.TYPE_VIEW_TEXT_CHANGED:  
  44.             eventText = "TYPE_VIEW_TEXT_CHANGED";  
  45.             break;  
  46.         case AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED:  
  47.             eventText = "TYPE_WINDOW_STATE_CHANGED";  
  48.             break;  
  49.         case AccessibilityEvent.TYPE_NOTIFICATION_STATE_CHANGED:  
  50.             eventText = "TYPE_NOTIFICATION_STATE_CHANGED";  
  51.             break;  
  52.         case AccessibilityEvent.TYPE_TOUCH_EXPLORATION_GESTURE_END:  
  53.             eventText = "TYPE_TOUCH_EXPLORATION_GESTURE_END";  
  54.             break;  
  55.         case AccessibilityEvent.TYPE_ANNOUNCEMENT:  
  56.             eventText = "TYPE_ANNOUNCEMENT";  
  57.             break;  
  58.         case AccessibilityEvent.TYPE_TOUCH_EXPLORATION_GESTURE_START:  
  59.             eventText = "TYPE_TOUCH_EXPLORATION_GESTURE_START";  
  60.             break;  
  61.         case AccessibilityEvent.TYPE_VIEW_HOVER_ENTER:  
  62.             eventText = "TYPE_VIEW_HOVER_ENTER";  
  63.             break;  
  64.         case AccessibilityEvent.TYPE_VIEW_HOVER_EXIT:  
  65.             eventText = "TYPE_VIEW_HOVER_EXIT";  
  66.             break;  
  67.         case AccessibilityEvent.TYPE_VIEW_SCROLLED:  
  68.             eventText = "TYPE_VIEW_SCROLLED";  
  69.             break;  
  70.         case AccessibilityEvent.TYPE_VIEW_TEXT_SELECTION_CHANGED:  
  71.             eventText = "TYPE_VIEW_TEXT_SELECTION_CHANGED";  
  72.             break;  
  73.         case AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED:  
  74.             eventText = "TYPE_WINDOW_CONTENT_CHANGED";  
  75.             break;  
  76.         }  
  77.     }  
  78.   
  79.     @Override  
  80.     public void onInterrupt() {  
  81.         // TODO Auto-generated method stub  
  82.   
  83.     }  
  84.   
  85. }  

      

        然后我们要在res文件写创建一个XML文件夹,里面新建accessibility.xml配置文件。

 

Android自动化测试中AccessibilityService获取控件信息

      

        在accessibility.xml配置一些属性:

 

[java] view plaincopyAndroid自动化测试中AccessibilityService获取控件信息Android自动化测试中AccessibilityService获取控件信息
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"  
  3.     android:accessibilityEventTypes="typeViewClicked|typeViewFocused"  
  4.     android:accessibilityFeedbackType="feedbackSpoken"  
  5.     android:notificationTimeout="100"   
  6.     android:canRetrieveWindowContent="true"  
  7.     />  

       

        重点就是标红的这一句,这样我们就能在程序中得到AccessibilityNodeInfo对象。然后在AndroidManifest.xml配置文件里引用该XML文件:

 

[html] view plaincopyAndroid自动化测试中AccessibilityService获取控件信息Android自动化测试中AccessibilityService获取控件信息
  1. <?xml version="1.0" encoding="utf-8"?>  
  2. <manifest xmlns:android="http://schemas.android.com/apk/res/android"  
  3.     package="com.spreadtrum.accessibilityservice"  
  4.     android:versionCode="1"  
  5.     android:versionName="1.0" >  
  6.   
  7.     <uses-sdk  
  8.         android:minSdkVersion="8"  
  9.         android:targetSdkVersion="17" />  
  10.   
  11.     <application  
  12.         android:allowBackup="true"  
  13.         android:icon="@drawable/ic_launcher"  
  14.         android:label="@string/app_name"  
  15.         android:theme="@style/AppTheme" >  
  16.         <service  
  17.             android:name=".MyAccessibility"  
  18.             android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE" >  
  19.             <intent-filter>  
  20.                 <action android:name="android.accessibilityservice.AccessibilityService" />  
  21.             </intent-filter>  
  22.   
  23.             <meta-data  
  24.                 android:name="android.accessibilityservice"  
  25.                 android:resource="@xml/accessibility" />  
  26.         </service>  
  27.     </application>  
  28.   
  29. </manifest>  

       

         然后我们部署应用到手机设备,看输出情况:

 

Android自动化测试中AccessibilityService获取控件信息

 

        注意:

        在你配置成功后,有可能会报空指针错误,但有可能你已经配置正确,只是你点的对象有问题。因为在API文档中有一句话:如果发起的窗口事件仍然是活动的窗口,该调用将会返回一个对象,否则,会返回null!所以首先确保你刚开始点击的那个控件所在的窗口要是活动的状态,不然也会报null。例如:我刚开始点击HOME界面的所有应用按钮进入到应用的列表,这时候就会报错,如果你是点击通讯录触发服务的,就没问题;原理我也不太清楚,所以不敢大放厥词,反正在一个应用中来回点是没问题的;这个随着深入的了解后,相信会有答案的。


第三步 获得所有窗体控件

已经做到了获得控件信息,但是AccessibilityEvent.getSource()得到的是被点击的单体对象。我们需要获得是整个窗口的对象,在API16中AccessibilityService新引入的方法getRootInActiveWindow()可以满足我们的要求,所以我们用这个方法得到整个窗口,然后遍历得到所有子节点。

[java] view plaincopyAndroid自动化测试中AccessibilityService获取控件信息Android自动化测试中AccessibilityService获取控件信息
  1. AccessibilityNodeInfo rowNode = getRootInActiveWindow();  
  2.   if (rowNode == null) {  
  3.    Log.i(TAG, "noteInfo is null");  
  4.    return;  
  5.   } else {  
  6.    recycle(rowNode);  
  7.   }  
  8.   Log.i(TAG, "==============================================");  


其中循环的方法recycle():

[java] view plaincopyAndroid自动化测试中AccessibilityService获取控件信息Android自动化测试中AccessibilityService获取控件信息
  1. public void recycle(AccessibilityNodeInfo info) {  
  2.         if (info.getChildCount() == 0) {  
  3.             Log.i(TAG, "child widget----------------------------" + info.getClassName());  
  4.             Log.i(TAG, "showDialog:" + info.canOpenPopup());  
  5.             Log.i(TAG, "Text:" + info.getText());  
  6.             Log.i(TAG, "windowId:" + info.getWindowId());  
  7.         } else {  
  8.             for (int i = 0; i < info.getChildCount(); i++) {  
  9.                 if(info.getChild(i)!=null){  
  10.                     recycle(info.getChild(i));  
  11.                 }  
  12.             }  
  13.         }  
  14.     }  

打印输出的信息有:控件名、是否点击弹出对话框、窗口ID;你还可以查看API里的方法,获得你想要的信息。

部署到手机上,测试结果如下:

Android自动化测试中AccessibilityService获取控件信息


总结

 

三种方式学习完了,对比一下各种方式的优缺点!

 

Android自动化测试中AccessibilityService获取控件信息


推荐阅读:
  1. AccessibilityService
  2. android中获取wifi信息

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

uiautomation uiautomator accessibilityservice

上一篇:java怎么判断字符串为日期

下一篇:centos 7部署oracle 12c rac 上菜了

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》