公开(公告)号：US08176476B2

公开(公告)日：2012-05-08

申请号：US11818611

申请日：2007-06-15

申请人： Yantao Li ,  Adnan Azfar Mahmud ,  Wenli Zhu ,  Haidong Zhang ,  Shuguang Ye ,  Bing Sun ,  Qiang Wang ,  Yingnong Dang ,  Guowei Liu ,  Min Wang ,  Jian Wang

发明人： Yantao Li ,  Adnan Azfar Mahmud ,  Wenli Zhu ,  Haidong Zhang ,  Shuguang Ye ,  Bing Sun ,  Qiang Wang ,  Yingnong Dang ,  Guowei Liu ,  Min Wang ,  Jian Wang

IPC分类号： G06F9/44

CPC分类号： G06F11/3414 ,  G06F11/3438 ,  G06F11/3447 ,  G06F11/3476

摘要： Described is a technology by which software instrumentation data collected from user program sessions are analyzed to output an analysis report or the like via example methods and an architecture configured for efficient operation. A client component queries a service for analysis related information. To process the query, the service works with a data manager, and via a high dimensional analysis component may use information processed from the software instrumentation data, such as in the form of one or more inverted indexes and/or raw value files. The service may include a usage analysis component, a feature recognition component that locates features from command sequences, a user recognition component and/or a program reliability component. One or more counterpart components at the client may generate analysis reports or the like based on the query results. The client also may maintain user libraries and feature libraries to facilitate analyses.

摘要翻译： 描述了通过对用户程序会话收集的软件仪表数据进行分析以通过示例方法和配置为有效操作的架构来输出分析报告等的技术。 客户端组件向服务查询分析相关信息。 为了处理查询，该服务与数据管理器一起工作，并且通过高维分析组件可以使用从软件工具数据处理的信息，例如以一个或多个反向索引和/或原始值文件的形式。 该服务可以包括使用分析组件，从命令序列定位特征的特征识别组件，用户识别组件和/或程序可靠性组件。 客户端上的一个或多个对应组件可以基于查询结果生成分析报告等。 客户端还可以维护用户库和功能库，以便于分析。

公开(公告)号：US07739666B2

公开(公告)日：2010-06-15

申请号：US11818610

申请日：2007-06-15

申请人： Wenli Zhu ,  Yantao Li ,  Qiang Wang ,  Haidong Zhang ,  Bing Sun ,  Shuguang Ye ,  Min Wang ,  Jian Wang

发明人： Wenli Zhu ,  Yantao Li ,  Qiang Wang ,  Haidong Zhang ,  Bing Sun ,  Shuguang Ye ,  Min Wang ,  Jian Wang

IPC分类号： G06F9/44

CPC分类号： G06F11/321 ,  G06F11/328 ,  G06F11/3414 ,  G06F11/3466 ,  G06F11/3604 ,  G06F2201/81 ,  G06F2201/865 ,  G06F2201/88

摘要： Described is a technology by which software instrumentation data collected from user program sessions are analyzed, including by determining program usage metrics and/or command usage metrics. Information representative of the program usage metrics and/or the command usage metrics is output, such as in the form of a report. The software instrumentation data may be further analyzed, such as to determine at least one usage trend over time, and to determine user groups. For example, a usage subset of sessions that meet specified session usage criteria based on a set of session data may be located, along with a subset of users based on users whose sessions meet specified user criteria. The usage and user subsets may be combined via Boolean logic to produce a result set.

摘要翻译： 描述了通过其分析从用户程序会话收集的软件仪表数据的技术，包括通过确定程序使用度量和/或命令使用度量。 输出代表程序使用度量和/或命令使用度量的信息，例如以报告的形式。 可以进一步分析软件测试数据，例如确定随时间的至少一个使用趋势，并确定用户组。 例如，可以基于一组会话数据来满足指定的会话使用准则的会话的使用子集，以及基于其会话满足指定用户标准的用户的用户子集。 使用和用户子集可以通过布尔逻辑组合以产生结果集。

公开(公告)号：US20080313633A1

公开(公告)日：2008-12-18

申请号：US11818600

申请日：2007-06-15

申请人： Wenli Zhu ,  Yantao Li ,  Qiang Wang ,  Min Wang ,  Adnan Azfar Mahmud ,  Jian Wang ,  Haidong Zhang ,  Bing Sun ,  Guowei Liu ,  Shuguang Ye

发明人： Wenli Zhu ,  Yantao Li ,  Qiang Wang ,  Min Wang ,  Adnan Azfar Mahmud ,  Jian Wang ,  Haidong Zhang ,  Bing Sun ,  Guowei Liu ,  Shuguang Ye

IPC分类号： G06F9/46

CPC分类号： G06F11/3466 ,  G06F2201/865

摘要： Described is a technology for analyzing usage of a software program's features. Software instrumentation data is during actual user program usage sessions. The collected data is then processed to determine various feature usage counts and other information, cross-feature usage (e.g., among users who use a feature, how many use another feature or program), and characteristics of feature users, e.g., how long, how much, how often and how extensive feature users use a program. Session analysis may be performed to provide information about the number of sessions in which a set of features occur. Feature usage trends over time may also be determined via analysis. A user interface is described for facilitating selection of one or more features to analyze, for facilitating selection of a group of users, and/or for outputting results corresponding to the analysis.

摘要翻译： 描述了一种用于分析软件程序功能的使用的技术。 软件测试数据是在实际的用户程序使用会话期间。 然后处理所收集的数据以确定各种特征使用计数和其他信息，交叉特征使用（例如，在使用特征的用户中，使用另一个特征或程序的用户数量）以及特征用户的特征，例如多长时间， 用户使用程序多少，多长时间以及广泛的功能。 可以执行会话分析以提供关于一组特征出现的会话数量的信息。 随着时间的推移，功能使用趋势也可以通过分析来确定。 描述用户界面以便于选择一个或多个特征以分析，以便于选择一组用户，和/或用于输出对应于该分析的结果。

公开(公告)号：US07747988B2

公开(公告)日：2010-06-29

申请号：US11818600

申请日：2007-06-15

申请人： Wenli Zhu ,  Yantao Li ,  Qiang Wang ,  Haidong Zhang ,  Bing Sun ,  Guowei Liu ,  Shuguang Ye ,  Min Wang ,  Adan Azfar Mahmud ,  Jian Wang

发明人： Wenli Zhu ,  Yantao Li ,  Qiang Wang ,  Haidong Zhang ,  Bing Sun ,  Guowei Liu ,  Shuguang Ye ,  Min Wang ,  Adan Azfar Mahmud ,  Jian Wang

IPC分类号： G06F9/44

CPC分类号： G06F11/3466 ,  G06F2201/865

摘要： Described is a technology for analyzing usage of a software program's features. Software instrumentation data is collected during actual user program usage sessions. The collected data is then processed to determine various feature usage counts and other information, cross-feature usage (e.g., among users who use a feature, how many use another feature or program), and characteristics of feature users, e.g., how long, how much, how often and how extensive feature users use a program. Session analysis may be performed to provide information about the number of sessions in which a set of features occur. Feature usage trends over time may also be determined via analysis. A user interface is described for facilitating selection of one or more features to analyze, for facilitating selection of a group of users, and/or for outputting results corresponding to the analysis.

摘要翻译： 描述了一种用于分析软件程序功能的使用的技术。 在实际用户程序使用会话期间收集软件仪器数据。 然后处理所收集的数据以确定各种特征使用计数和其他信息，交叉特征使用（例如，在使用特征的用户中，使用另一个特征或程序的用户数量）以及特征用户的特征，例如多长时间， 用户使用程序多少，多长时间以及广泛的功能。 可以执行会话分析以提供关于一组特征出现的会话数量的信息。 随着时间的推移，功能使用趋势也可以通过分析来确定。 描述用户界面以便于选择一个或多个特征以分析，以便于选择一组用户，和/或用于输出对应于该分析的结果。

公开(公告)号：US20080313617A1

公开(公告)日：2008-12-18

申请号：US11818610

申请日：2007-06-15

申请人： Wenli Zhu ,  Yantao Li ,  Qiang Wang ,  Haidong Zhang ,  Bing Sun ,  Shuguang Ye ,  Min Wang ,  Jian Wang

发明人： Wenli Zhu ,  Yantao Li ,  Qiang Wang ,  Haidong Zhang ,  Bing Sun ,  Shuguang Ye ,  Min Wang ,  Jian Wang

IPC分类号： G06F9/44

CPC分类号： G06F11/321 ,  G06F11/328 ,  G06F11/3414 ,  G06F11/3466 ,  G06F11/3604 ,  G06F2201/81 ,  G06F2201/865 ,  G06F2201/88

摘要： Described is a technology by which software instrumentation data collected from user program sessions are analyzed, including by determining program usage metrics and/or command usage metrics. Information representative of the program usage metrics and/or the command usage metrics is output, such as in the form of a report. The software instrumentation data may be further analyzed, such as to determine at least one usage trend over time, and to determine user groups. For example, a usage subset of sessions that meet specified session usage criteria based on a set of session data may be located, along with a subset of users based on users whose sessions meet specified user criteria. The usage and user subsets may be combined via Boolean logic to produce a result set.

摘要翻译： 描述了通过其分析从用户程序会话收集的软件仪表数据的技术，包括通过确定程序使用度量和/或命令使用度量。 输出代表程序使用度量和/或命令使用度量的信息，例如以报告的形式。 可以进一步分析软件测试数据，例如确定随时间的至少一个使用趋势，并确定用户组。 例如，可以基于一组会话数据来满足指定的会话使用准则的会话的使用子集，以及基于其会话满足指定用户标准的用户的用户子集。 使用和用户子集可以通过布尔逻辑组合以产生结果集。

公开(公告)号：US20080312899A1

公开(公告)日：2008-12-18

申请号：US11818596

申请日：2007-06-15

申请人： Yantao Li ,  Bing Sun ,  Shuguang Ye ,  Guowei Liu ,  Wenli Zhu ,  Haidong Zhang ,  Min Wang ,  Jian Wang

发明人： Yantao Li ,  Bing Sun ,  Shuguang Ye ,  Guowei Liu ,  Wenli Zhu ,  Haidong Zhang ,  Min Wang ,  Jian Wang

IPC分类号： G06F9/45 ,  G06F3/048

CPC分类号： G06F11/28

摘要： Described is a technology by which software program feature usage is located within a sequence of commands collected during program usage sessions. For example, feature generally corresponds to a series of commands, such as copy and paste. A visual modeling component is controlled via drag-and-drop operations to describe a feature model, which is then compiled by a compiler into a finite state machine. Noise models may be used to exclude any command in the sequence that is irrelevant to the feature usage. A recognition process uses the finite state machine to locate program feature usage within the sequence of recorded commands by matching command sub-sequences corresponding to the feature model via the state machine. An analyzer may then use the located matches to provide an analysis report on feature usage.

摘要翻译： 描述了软件程序特征使用位于在程序使用会话期间收集的一系列命令中的技术。 例如，特征通常对应于一系列命令，例如复制和粘贴。 视觉建模组件通过拖放操作进行控制，以描述特征模型，然后将其由编译器编译成有限状态机。 噪声模型可用于排除序列中与特征使用无关的任何命令。 识别过程使用有限状态机通过状态机匹配与特征模型对应的命令子序列来定位记录命令序列内的节目特征使用。 然后，分析仪可以使用定位的匹配来提供关于特征使用的分析报告。

公开(公告)号：US07680645B2

公开(公告)日：2010-03-16

申请号：US11818596

申请日：2007-06-15

申请人： Yantao Li ,  Bing Sun ,  Shuguang Ye ,  Guowei Liu ,  Wenli Zhu ,  Haidong Zhang ,  Min Wang ,  Jian Wang

发明人： Yantao Li ,  Bing Sun ,  Shuguang Ye ,  Guowei Liu ,  Wenli Zhu ,  Haidong Zhang ,  Min Wang ,  Jian Wang

IPC分类号： G06F9/45

CPC分类号： G06F11/28

摘要： Described is a technology by which software program feature usage is located within a sequence of commands collected during program usage sessions. For example, feature generally corresponds to a series of commands, such as copy and paste. A visual modeling component is controlled via drag-and-drop operations to describe a feature model, which is then compiled by a compiler into a finite state machine. Noise models may be used to exclude any command in the sequence that is irrelevant to the feature usage. A recognition process uses the finite state machine to locate program feature usage within the sequence of recorded commands by matching command sub-sequences corresponding to the feature model via the state machine. An analyzer may then use the located matches to provide an analysis report on feature usage.

摘要翻译： 描述了软件程序特征使用位于在程序使用会话期间收集的一系列命令中的技术。 例如，特征通常对应于一系列命令，例如复制和粘贴。 视觉建模组件通过拖放操作进行控制，以描述特征模型，然后将其由编译器编译成有限状态机。 噪声模型可用于排除序列中与特征使用无关的任何命令。 识别过程使用有限状态机通过状态机匹配与特征模型对应的命令子序列来定位记录命令序列内的节目特征使用。 然后，分析仪可以使用定位的匹配来提供关于特征使用的分析报告。

公开(公告)号：US07765216B2

公开(公告)日：2010-07-27

申请号：US11818607

申请日：2007-06-15

申请人： Yantao Li ,  Guowei Liu ,  Haidong Zhang ,  Adnan Azfar Mahmud ,  Bing Sun ,  Min Wang ,  Wenli Zhu ,  Jian Wang

发明人： Yantao Li ,  Guowei Liu ,  Haidong Zhang ,  Adnan Azfar Mahmud ,  Bing Sun ,  Min Wang ,  Wenli Zhu ,  Jian Wang

IPC分类号： G06F17/30

CPC分类号： G06F17/30592

摘要： Described is a technology by which high dimensional data may be efficiently analyzed, including by filtering, grouping, aggregating and/or sorting operations to provide an analysis result. For efficiency in the analysis, an inverted index may be built (e.g., as part of filtering), and/or a hash structure (e.g., as part of grouping). Analysis parameters specify dimensions, on which union and/or intersection operations are performed to provide a final dataset. The analysis tool provides a user interface for inputting analysis parameters and outputting information corresponding to an analysis result. The analysis tool may sort the information corresponding to the analysis result, e.g., to output the topmost or bottommost results.

摘要翻译： 描述了可以通过过滤，分组，聚合和/或排序操作来有效地分析高维度数据以提供分析结果的技术。 为了分析的效率，可以构建反向索引（例如，作为过滤的一部分）和/或散列结构（例如，作为分组的一部分）。 分析参数指定维度，执行联合和/或交集操作以提供最终数据集。 分析工具提供用于输入分析参数并输出与分析结果相对应的信息的用户界面。 分析工具可以对与分析结果相对应的信息进行排序，例如输出最上面或最底部的结果。

公开(公告)号：US20080313184A1

公开(公告)日：2008-12-18

申请号：US11818607

申请日：2007-06-15

申请人： Yantao Li ,  Guowei Liu ,  Haidong Zhang ,  Adnan Azfar Mahmud ,  Bing Sun ,  Min Wang ,  Wenli Zhu ,  Jian Wang

发明人： Yantao Li ,  Guowei Liu ,  Haidong Zhang ,  Adnan Azfar Mahmud ,  Bing Sun ,  Min Wang ,  Wenli Zhu ,  Jian Wang

IPC分类号： G06F17/30

CPC分类号： G06F17/30592

摘要： Described is a technology by which high dimensional data may be efficiently analyzed, including by filtering, grouping, aggregating and/or sorting operations to provide an analysis result. For efficiency in the analysis, an inverted index may be built (e.g., as part of filtering), and/or a hash structure (e.g., as part of grouping). Analysis parameters specify dimensions, on which union and/or intersection operations are performed to provide a final dataset. The analysis tool provides a user interface for inputting analysis parameters and outputting information corresponding to an analysis result. The analysis tool may sort the information corresponding to the analysis result, e.g., to output the topmost or bottommost results.

摘要翻译： 描述了可以通过过滤，分组，聚合和/或排序操作来有效地分析高维度数据以提供分析结果的技术。 为了分析的效率，可以构建反向索引（例如，作为过滤的一部分）和/或散列结构（例如，作为分组的一部分）。 分析参数指定维度，执行联合和/或交集操作以提供最终数据集。 分析工具提供用于输入分析参数并输出与分析结果相对应的信息的用户界面。 分析工具可以对与分析结果相对应的信息进行排序，例如输出最上面或最底部的结果。

公开(公告)号：US20080313507A1

公开(公告)日：2008-12-18

申请号：US11818612

申请日：2007-06-15

申请人： Adnan Azfar Mahmud ,  Yingnong Dang ,  Haidong Zhang ,  Qiang Wang ,  Wenli Zhu ,  Yantao Li ,  Jian Wang

发明人： Adnan Azfar Mahmud ,  Yingnong Dang ,  Haidong Zhang ,  Qiang Wang ,  Wenli Zhu ,  Yantao Li ,  Jian Wang

IPC分类号： G06F11/07

CPC分类号： G06F11/3616 ,  G06F11/008 ,  G06F11/366

摘要： Described is a technology by which software instrumentation data collected during software program usage sessions is analyzed to identify potential problems with software program usage, such as based on frequency of problem occurrence during the usage sessions. Reliability metrics may be calculated from the information. Failure data additionally collected during the usage sessions may be accessed to derive details that correspond to the potential problems. In one example, the information may be analyzed to determine which alerts and/or asserts occurred most often, and/or to determine a relationship between user interface control operations (e.g., clicks and usage of commands) and alerts or asserts.

摘要翻译： 描述了在软件程序使用会话期间收集的软件仪器数据被分析以识别软件程序使用的潜在问题的技术，例如基于在使用会话期间发生问题的频率。 可以从信息中计算出可靠性指标。 可以访问在使用过程中另外收集的故障数据，以获得与潜在问题相对应的细节。 在一个示例中，可以分析信息以确定最常发生哪些警报和/或断言，和/或确定用户界面控制操作（例如，点击和命令的使用）以及警报或断言之间的关系。