公开(公告)号：CN117725985A

公开(公告)日：2024-03-19

申请号：CN202410171178.6

申请日：2024-02-06

Applicant: 之江实验室

Inventor： 张杨 ,  王超 ,  陈卫 ,  陈振宇 ,  王永恒 ,  郑黄河 ,  恽爽 ,  曾洪海 ,  连建晓 ,  王梦丝 ,  路游 ,  周春来 ,  鲁艺

IPC: G06N3/092 ,  G06F30/27

Abstract: 本说明书公开了一种强化学习模型训练和业务执行方法、装置及电子设备。所述方法包括：获取用户针对指定业务场景构建的强化学习环境数据；响应于用户的指定操作，确定用户基于强化学习环境数据选择的目标智能体，并确定目标智能体的智能体配置信息；在预设算法库中确定出目标强化学习算法；基于目标智能体、智能体配置信息以及目标强化学习算法，构建强化学习模型，并对强化学习模型进行仿真，并将仿真过程中产生的数据存入经验回放池；根据从经验回放池中获取的训练数据以及奖励函数信息对强化学习模型进行训练。本方案极大的降低了用户的使用门槛，充分满足了用户对强化学习环境的多样化需求。

公开(公告)号：CN117252234B

公开(公告)日：2024-03-01

申请号：CN202311531148.3

申请日：2023-11-16

Applicant: 之江实验室

Inventor： 金星 ,  王永恒 ,  王超 ,  张文浩 ,  王震 ,  张杨 ,  陈卫 ,  曾洪海 ,  杨亚飞 ,  连建晓 ,  鲁艺 ,  王梦丝

IPC: G06N3/006 ,  G06N7/01

Abstract: 本说明书公开了一种基于非合作博弈的策略生成方法及装置，通过构建目标用户对应的图数据，针对每个智能体，根据该智能体的被观测概率以及背叛参数，确定该智能体的背叛行为策略。根据各邻居智能体的背叛行为策略和各邻居智能体的被观测概率，通过该智能体的惩罚参数，确定该智能体分别对各邻居智能体的第一惩罚行为策略。进而参考各智能体在背叛行为策略和第一惩罚行为策略的影响下，更新该智能体的背叛参数和惩罚参数，用于确定各智能体的行为策略。从上述方法可以看出，通过构建目标用户对应的图数据，参考了与目标用户相关用户的行为策略的影响，以及实时更新目标用户的惩罚参数和背叛参数，得到的行为策略，更准确、实效性强。(56)对比文件Marco Casari等.Decentralizedmanagement of common property resources:experiments with a centuries-oldinstitution.Journal of Economic Behavior& Organization.2003,全文.裴华艳;闫光辉;王焕民.基于行为惩罚的合作演化研究.兰州交通大学学报.2020,(02),全文.王浩云;张顺颐;赵振东;马燕玲.基于不完全信息博弈的P2P网络节点行为策略模型.应用科学学报.2008,(05),全文.于建业;王元卓;靳小龙;程学旗.基于社交演化博弈的社交网络用户信息分享行为演化分析.电子学报.2018,(01),全文.谢逢洁;武小平;崔文田;陈子凤.博弈参与水平对无标度网络上合作行为演化的影响.中国管理科学.2017,(05),全文.

公开(公告)号：CN117035122B

公开(公告)日：2024-01-26

申请号：CN202311293168.1

申请日：2023-10-08

Applicant: 之江实验室

Inventor： 王永恒 ,  董子铭 ,  曾洪海 ,  肖恒进 ,  巫英才 ,  王超 ,  陈卫 ,  邵彬 ,  韩珺婷 ,  鲁艺 ,  金星 ,  张杨

IPC: G06N20/00

Abstract: 本说明书公开了一种强化学习模型构建方法、装置、存储介质及电子设备。可以通过指定强化学习模型框架中为用户提供的各种类型不同的组件，使得用户仅需要选择组件、配置组件初始的参数和变量、编辑函数体组件中的逻辑、配置行为时间规则后，通过触发JEP执行器运行代码从而训练用户定义的强化学习模型，从而可以提升用户构建强化学习模型的效率。

公开(公告)号：CN117252234A

公开(公告)日：2023-12-19

申请号：CN202311531148.3

申请日：2023-11-16

Applicant: 之江实验室

Inventor： 金星 ,  王永恒 ,  王超 ,  张文浩 ,  王震 ,  张杨 ,  陈卫 ,  曾洪海 ,  杨亚飞 ,  连建晓 ,  鲁艺 ,  王梦丝

IPC: G06N3/006 ,  G06N7/01

Abstract: 本说明书公开了一种基于非合作博弈的策略生成方法及装置，通过构建目标用户对应的图数据，针对每个智能体，根据该智能体的被观测概率以及背叛参数，确定该智能体的背叛行为策略。根据各邻居智能体的背叛行为策略和各邻居智能体的被观测概率，通过该智能体的惩罚参数，确定该智能体分别对各邻居智能体的第一惩罚行为策略。进而参考各智能体在背叛行为策略和第一惩罚行为策略的影响下，更新该智能体的背叛参数和惩罚参数，用于确定各智能体的行为策略。从上述方法可以看出，通过构建目标用户对应的图数据，参考了与目标用户相关用户的行为策略的影响，以及实时更新目标用户的惩罚参数和背叛参数，得到的行为策略，更准确、实效性强。

公开(公告)号：CN116883633B

公开(公告)日：2023-12-12

申请号：CN202311151151.2

申请日：2023-09-07

Applicant: 之江实验室

Inventor： 王超 ,  连建晓 ,  王永恒 ,  巫英才 ,  陈卫 ,  恽爽 ,  侯锦辉 ,  曾洪海 ,  董子铭 ,  金星 ,  段曼妮

IPC: G06T19/00 ,  G06F16/29

Abstract: 本发明公开了一种基于GIS模拟智能体移动及可调速的可视化方法和装置，包括：基于智能体的坐标在地图上创建所有智能体；设定周期，获取每个智能体在每个周期的坐标信息，比较当前周期与上一周期的坐标，确定智能体是否移动，若移动，则保存该智能体在当前周期的起始坐标和目标坐标；初始化移动智能体运动前的状态，设定运动速度和单周期运动步数并计算当前周期的运动时长和单步运动时长，从而计算当前周期移动智能体的运动路径；按照运动路径在地图上模拟智能体的移动；则每个移动智能体连续多周期的运动路径即可在GIS地图上模拟智能体的移动并可视化。本发明将带有地理坐标信息的智能体真实映射到GIS地图上；且移动过程可视化的速度支持灵活设置。

公开(公告)号：CN117032903A

公开(公告)日：2023-11-10

申请号：CN202311285975.9

申请日：2023-10-07

Applicant: 之江实验室

Inventor： 曾洪海 ,  周春来 ,  恽爽 ,  王超 ,  王永恒 ,  巫英才 ,  陈卫 ,  连建晓 ,  鲁艺 ,  邵彬 ,  韩珺婷 ,  肖恒进 ,  沈镇方

IPC: G06F9/455 ,  G06F11/36

Abstract: 本说明书公开了一种仿真调试方法、装置、存储介质及电子设备。仿真调试方法包括：对目标业务场景进行建模，得到用于实现业务场景模型的仿真程序，并确定所述仿真程序中包含的各逻辑块；确定预设的各监控变量以及各逻辑断点；接收前端发送的调试指令，针对每个逻辑块，若执行针对该逻辑块的调试动作过程中触发逻辑断点，则暂停对后续的逻辑块进行调试，并将该逻辑块所触发的逻辑断点处对应的各监控变量值发送给前端；在用户根据各监控变量值判断调试未出现异常后，接收用户通过前端发送的继续调试指令，以继续执行针对后续逻辑块的调试动作，直至所有逻辑块均被调试完成，得到调试后的仿真程序。

公开(公告)号：CN116484768A

公开(公告)日：2023-07-25

申请号：CN202310598800.7

申请日：2023-05-25

Applicant: 之江实验室 ,  浙江大学

Inventor： 郑黄河 ,  王永恒 ,  曾洪海 ,  王超 ,  巫英才 ,  金星 ,  恽爽 ,  陈卫 ,  连建晓 ,  王梦丝 ,  邵彬 ,  刘冰洁 ,  段曼妮

IPC: G06F30/28 ,  G06F111/10 ,  G06F113/08 ,  G06F119/14

Abstract: 本说明书公开了一种系统动力学模型构建方法及装置，可以将用于构建系统动力学模型的各结构组件对应的配置代码语句和处理代码语句单独分割出来，可以使用户在需要构建系统动力学模型时，仅需要对各组件的主要参数进行配置，从而可以根据用户配置的参数实时生成由用户选定的指定编程语言编写的配置代码语句和处理代码语句，并基于生成的配置代码语句和处理代码语句构建系统动力学模型，进而可以提升系统动力学模型的构建效率。

公开(公告)号：CN308690712S

公开(公告)日：2024-06-18

申请号：CN202330429831.0

申请日：2023-07-10

Applicant: 之江实验室

Designer： 于榕 ,  鲁艺 ,  韩珺婷 ,  王永恒 ,  王超 ,  陈卫 ,  连建晓 ,  顾月琴 ,  刘冰洁 ,  曾洪海

Abstract: 1.本外观设计产品的名称：带模型信息展示图形用户界面的显示屏幕面板。
2.本外观设计产品的用途：用于显示界面。
3.本外观设计产品的设计要点：在于产品屏幕中的图形用户界面内容。
4.最能表明设计要点的图片或照片：设计1主视图。
5.指定设计1为基本设计。
6.图形用户界面的用途：界面用于电脑、平板。
本设计的图形用户界面用于展示模型信息。
7.图形用户界面的变化状态说明：设计1‑设计10主视图为模型信息展示界面。
界面左侧显示有菜单栏；界面的右侧显示有具体配置信息栏；界面的上方显示有工具栏，工具栏下方显示有信息拓展框。
界面的中部可用于展示具体的内容画面的画面展示区域。
通过点击菜单栏、具体配置信息栏、工具栏中的任意位置，均可进行界面的跳转。
在设计2、设计3、设计5‑设计7、设计9和设计10中，画面展示区域的左侧包括用于显示地图信息的地域信息展示展示框。
在设计3、设计6、设计7、设计10中，画面展示区域的左侧包括一个或者多个用于演化图展示框。
通过点击演化图展示框或者点击地域信息展示展示框均可进行界面的跳转。
8.省略视图原因：显示屏幕面板是惯常设计，省略其他视图。

公开(公告)号：CN308457557S

公开(公告)日：2024-02-06

申请号：CN202330429837.8

申请日：2023-07-10

Applicant: 之江实验室

Designer： 王超 ,  王永恒 ,  陈卫 ,  张杨 ,  金星 ,  连建晓 ,  曾洪海 ,  郑黄河 ,  于榕

Abstract: 1.本外观设计产品的名称：带画布地图展示图形用户界面的显示屏幕面板。
2.本外观设计产品的用途：用于显示界面。
3.本外观设计产品的设计要点：在于产品屏幕中的图形用户界面内容。
4.最能表明设计要点的图片或照片：设计1主视图。
5.指定设计1为基本设计。
6.图形用户界面的用途：界面用于电脑、平板。本设计的图形用户界面用于展示画布地
图。
7.图形用户界面的变化状态说明：设计1‑设计10主视图为画布地图展示界面。界面左
侧显示有模型管理栏。界面的右侧显示有模型配置信息栏，界面的上方显示有工具栏。界面
的中部可用于展示具体的内容画面的画面展示区域。通过点击界面左侧模型管理栏或界面
右侧的模型配置信息栏的任意位置，均可进行界面的跳转。在设计1、设计2、设计3、设计4、
设计5和设计6中，画面展示区域的左侧包括画布地图的地域信息展示框，画布地图显示点
状位置，画面展示区域的右侧包括一个或者多个用于演化图展示框；在设计7中，画面展示
区域的右侧包括画布地图的地域信息展示框，画布地图显示点状位置，画面展示区域的左
侧包括一个或者多个用于演化图展示框；在设计8、设计9和设计10中，画布地图显示片状区
域。通过点击画布地图的任意位置，均可进行界面的跳转。省略视图原因：显示屏幕面板是
惯常设计，省略其他视图。
5

公开(公告)号：CN308457558S

公开(公告)日：2024-02-06

申请号：CN202330429839.7

申请日：2023-07-10

Applicant: 之江实验室

Designer： 王永恒 ,  王超 ,  张杨 ,  邵彬 ,  刘冰洁 ,  陈卫 ,  周春来 ,  于榕 ,  曾洪海 ,  金星

Abstract: 1.本外观设计产品的名称：带画布与模型管理展示图形用户界面的显示屏幕面板。
2.本外观设计产品的用途：用于显示界面。
3.本外观设计产品的设计要点：在于产品屏幕中的图形用户界面内容。
4.最能表明设计要点的图片或照片：设计1主视图。
5.指定设计1为基本设计。
6.图形用户界面的用途：界面用于电脑、平板。本设计的图形用户界面用于展示画布与
模型管理。
7.图形用户界面的变化状态说明：设计1‑设计9主视图为画布与模型管理展示界面。界
面左侧显示有模型管理栏。界面的右侧显示有模型配置信息栏，界面的上方显示有工具栏。
界面的中部可用于展示具体的内容画面的画面展示区域。通过点击界面左侧模型管理栏或
界面右侧的模型配置信息栏的任意位置，均可进行界面的跳转。在设计1、设计2、设计3和设
计4中，画面展示区域的右侧包括一个或者多个用于演化图展示框；在设计6、设计7和设计8
中，界面右侧的模型配置信息栏包括居民、政府、企业和行为规则信息展示框；在设计9中，
画面展示区域的左侧包括一个或者多个用于演化图展示框；通过点击模型管理栏、模型配
置信息栏的任意位置，均可进行界面的跳转。省略视图原因：显示屏幕面板是惯常设计，省
略其他视图。
5