导读

区块链和强化学习的结合为安全高效的救援提供了更多帮助，本篇文章使用强化学习优化共享过程中的数据质量及支付策略，提供更安全、更有价值的共享，前面我们分享了方案的基本设计，本文，我们着重分享基于RL的策略制定以及实验等内容。

接下来让我们一起走进今天的文章吧！

LVBS: Lightweight Vehicular Blockchain for Secure Data Sharing in Disaster Rescue

作者：Zhou Su, Yuntao Wang等

时间：2020

地址：10.1109/TDSC.2020.2980255

回顾

前面我们翻译了论文的引言、相关工作和方案基本设计等。这篇文章接着上一篇文章内容开始。

5

基于RL的最优策略制定

在实际网络中，无人机或地面车辆要准确估计效用计算中的所有系统参数(如距离、速度、时延灵敏度、成本参数等)是一个很大的挑战。为了解决这个问题，对于数据消费者和数据提供者，可以使用RL技术通过试验来获得他们的最佳策略，而不需要明确地知道系统参数。在本节中，我们首先分别制定数据消费者和数据贡献者的效用函数。然后，基于Q学习，分析了动态网络中双方的最优策略。

1、数据消费者效用函数

2、数据贡献者的效用函数

3、基于Q学习的支付策略

4、基于Q学习的QoDS策略

1、仿真设置

2、数值结果

图2为合法节点和恶意节点在进行各种行为时的信用值随时间的演化。在此模拟中，合法节点在每一轮共识轮中始终参与投票，恶意节点在每一轮共识轮中继续执行不投票行为。从图2可以看出，积极行为可以增加节点的信用值，而消极行为一旦被发现，则会显著降低节点的信用值。原因在于，由于消极行为被赋以较高的惩罚因子，节点的信用下降幅度较大，即使在后续的共识轮中表现诚实，也无法快速从检测到的消极行为中恢复。另外，由于在信用计算中存在时间衰减，以前的积极或消极行为的影响会随着时间的推移而衰减，目的是激励节点在最近的时间内进行诚实行为。

图4和图5分别显示了数据消费者和数据贡献者基于Q学习的支付和QoDS策略决策过程随时间的演变。在此模拟中，数据贡献者的成本参数设置为  。从图4和图5可以看出，本文提出的方案可以有效地激励数据贡献者以较低的报酬提供高质量的数据。此外，数据消费者的支付策略和数据贡献者的QoDS策略都收敛于稳定值。具体来说，在图4中，数据消费者的支付额首先下降，并随着时间的增长达到一个稳定值。原因在于，初始的高支付激励了数据贡献者的高QoDS，而数据消费者打算减少支付以提高其效用。在图5中，数据贡献者的QoDS先增加后趋于稳定。这是因为数据贡献者根据数据消费者的支付策略，不断追求最优的QoDS策略，使其效用最大化。

图6描述了数据消费者和数据贡献者的平均效用随Q学习随时间的演变。在这个模拟过程中， 

7

结论与未来工作

在本文中，我们开发了一个用于无人机辅助车辆灾难救援的安全数据共享框架LVBS。首先，我们介绍了三种类型的攻击，并研究了相应的防御措施，以实现灾区安全高效的数据共享。其次，通过部署轻量级车辆区块链，开发了一种分散的错误行为跟踪和数据事务记录机制，以安全、不可变的方式记录节点的错误行为和数据事务，保护网络免受对手的攻击。再次，设计了一种基于信用的DPoS共识算法，该算法根据节点行为动态调整信用值，提高了共识效率，提高了节点在投票过程中的参与和协调能力，增强了被选证人的安全性。此外，本文还提出了一种基于rl的两层算法，用于在数据交易过程中，在不清楚整个网络的情况下调度数据提供者和数据消费者的最优质量和支付策略。仿真结果表明，与传统方案相比，该方案能够激励参与者合法行为，在数据共享中获得更强的一致性安全性、收敛策略和更高的QoDS。

在未来的工作中，我们将通过加速学习速度和设计基于多智能体RL的激励机制来扩展这项工作。此外，基于区块链中大量可追踪的不当行为，我们计划开发一种快速的不当行为检测方法，通过深度学习方法加强我们的LVBS。

 

长按二维码关注