关于响应式编程ReactiveX,RxGo
  lh6O4DgR0ZQ8 2023年11月19日 21 0

ReactiveX,简称为 Rx,是一个异步编程的 API。与 callback(回调)、promise(JS 提供这种方式)和 deferred(Python 的 twisted 网络编程库就是使用这种方式)这些异步编程方式有所不同,Rx 是基于事件流的。这里的事件可以是系统中产生或变化的任何东西,在代码中我们一般用对象表示。在 Rx 中,事件流被称为 Observable(可观察的,被观察者)。事件流需要被 Observer(观察者)处理才有意义。

ReactiveX 是一个专注于异步编程与控制可观察数据(或者事件)流的API。它组合了观察者模式,迭代器模式和函数式编程的优秀思想。它是一套API,针对不同的编程语言会有不同的实现,比如 RxJS, RxJava, RxGo

ReactiveX官网:https://reactivex.io/

ReactiveX仓库:https://github.com/ReactiveX

RxGo 是 Rx 的 Go 语言实现。借助于 Go 语言简洁的语法和强大的并发支持(goroutine、channel),Rx 与 Go 语言的结合非常完美。

pipelines (官方博客:https://blog.golang.org/pipelines)是 Go 基础的并发编程模型。其中包含,fan-in——多个 goroutine 产生数据,一个goroutine 处理数据,fan-out——一个 goroutine 产生数据,多个 goroutine 处理数据,fan-inout——多个 goroutine 产生数据,多个 goroutine 处理数据。它们都是通过 channel 连接。RxGo 的实现就是基于 pipelines 的理念,并且提供了方便易用的包装和强大的扩展。

通常来说,Go写异步程序很容易,完全可以自己封装实现,而RxGo的封装更加标准化,遵循了 ReactiveX 规范,易于理解。

RxGo: https://github.com/ReactiveX/RxGo

go get -u github.com/reactivex/rxgo/v2

简单使用 func t1() { observable := rxgo.Just(1, 2, 3, 4, 5)() ch := observable.Observe() for item := range ch { fmt.Println(item.V) } } 1 2 3 4 5 6 7 使用 RxGo 的一般流程如下:

使用相关的 Operator 创建 Observable,Operator 就是用来创建 Observable 的。这些术语都比较难贴切地翻译,而且英文也很好懂,就不强行翻译了; 中间各个阶段可以使用过滤操作筛选出我们想要的数据,使用转换操作对数据进行转换; 调用 Observable 的Observe()方法,该方法返回一个<- chan rxgo.Item。然后for range遍历即可。 实际上rxgo.Item还可以包含错误。所以在使用时,我们应该做一层判断

func t2() { observable := rxgo.Just(1, 2, errors.New("unknown"), 4, 5)() ch := observable.Observe() for item := range ch { if item.Error() { fmt.Println("Error:", item.E) } else { fmt.Println(item.V) } } } 1 2 3 4 5 6 7 8 9 10 11 除了使用for range之外,我们还可以调用 Observable 的ForEach()方法来实现遍历。ForEach()接受 3 个回调函数:

NextFunc:类型为func (v interface {}),处理数据; ErrFunc:类型为func (err error),处理错误; CompletedFunc:类型为func (),Observable 完成时调用。 func t3() { observable := rxgo.Just(1, 2, 3, 4, 5)() <-observable.ForEach(func(v interface{}) { fmt.Println("onNext:", v) }, func(err error) { fmt.Println("onError:", err) }, func() { fmt.Println("onComplete") }) } 1 2 3 4 5 6 7 8 9 10 onNext: 1 onNext: 2 onNext: 3 onNext: 4 onNext: 5 onComplete 1 2 3 4 5 6 ForEach()实际上是在 goroutine 里执行的,它返回一个接收通知的 channel。当 Observable 数据发送完毕时,该 channel 会关闭。所以如果要等待ForEach()执行完成,我们需要使用<-。上面的示例中如果去掉<-,可能就没有输出了,因为主 goroutine 结束了,整个程序就退出了。

创建 Observable 上面使用最简单的方式创建 Observable:直接调用Just()方法传入一系列数据。下面再介绍几种创建 Observable 的方式。

Create 传入一个[]rxgo.Producer的切片,其中rxgo.Producer的类型为func(ctx context.Context, next chan<- Item)。我们可以在代码中调用rxgo.Of(value)生成数据,rxgo.Error(err)生成错误,然后发送到next通道中:

func t4() { observable := rxgo.Create([]rxgo.Producer{ func(ctx context.Context, next chan<- rxgo.Item) { next <- rxgo.Of(1) }, func(ctx context.Context, next chan<- rxgo.Item) { next <- rxgo.Of(2) next <- rxgo.Error(errors.New("unknown")) next <- rxgo.Of(4) next <- rxgo.Of(5) }, }) <-observable.ForEach(func(v interface{}) { fmt.Println("onNext:", v) }, func(err error) { fmt.Println("onError:", err) }, func() { fmt.Println("onComplete") }) }

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 FromChannel 直接从一个已存在的<-chan rxgo.Item对象中创建 Observable:

func t5() { ch := make(chan rxgo.Item) // no buffer go func() { for i := 1; i <= 5; i++ { ch <- rxgo.Of(i) } close(ch) }()

observable := rxgo.FromChannel(ch)
<-observable.ForEach(func(v interface{}) {
	fmt.Println("onNext:", v)
}, func(err error) {
	fmt.Println("onError:", err)
}, func() {
	fmt.Println("onComplete")
})

}

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 注意:通道需要手动调用close()关闭,上面Create()方法内部rxgo自动帮我们执行了这个步骤。

Interval 以传入的时间间隔生成一个无穷的数字序列,从 0 开始

func t6() { observable := rxgo.Interval(rxgo.WithDuration(3 * time.Second)) for item := range observable.Observe() { fmt.Println(item.V) } } 1 2 3 4 5 6 Range 生成一个范围内的数字,达到最大值就结束,不包含右值

func t7() { observable := rxgo.Range(0, 5) for item := range observable.Observe() { fmt.Println(item.V) } } 1 2 3 4 5 6 Repeat 每隔指定时间,重复一次该序列,一共重复指定次数:

func t8() { observable := rxgo.Just(1, 2, 3)() // 每隔指定时间,重复一次该序列,一共重复指定次数 observable = observable.Repeat(5, rxgo.WithDuration(5*time.Second)) for item := range observable.Observe() { fmt.Println(item.V) } } 1 2 3 4 5 6 7 8 Start 可以给Start方法传入[]rxgo.Supplier作为参数,它可以包含任意数量的rxgo.Supplier类型。rxgo.Supplier的底层类型为 func(ctx context.Context) Item

func t9() { observable := rxgo.Start([]rxgo.Supplier{ func(ctx context.Context) rxgo.Item { return rxgo.Of(1) }, func(ctx context.Context) rxgo.Item { return rxgo.Of(2) }, func(ctx context.Context) rxgo.Item { return rxgo.Of(3) }, }) for item := range observable.Observe() { fmt.Println(item.V) } }

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Observable 分类 根据数据在何处生成,Observable 被分为 Hot 和 Cold 两种类型(类比热启动和冷启动)。数据在其它地方生成的被成为 Hot Observable。相反,在 Observable 内部生成数据的就是 Cold Observable。

使用上面介绍的方法创建的实际上都是 Hot Observable。

ch := make(chan rxgo.Item) go func() { for i := 0; i < 3; i++ { ch <- rxgo.Of(i) } close(ch) }()

observable := rxgo.FromChannel(ch)

for item := range observable.Observe() { fmt.Println(item.V) }

for item := range observable.Observe() { fmt.Println(item.V) }

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 上面创建的是 Hot Observable。但是有个问题,第一次Observe()消耗了所有的数据,第二个就没有数据输出了。

而 Cold Observable 就不会有这个问题,因为它创建的流是独立于每个观察者的。即每次调用Observe()都创建一个新的 channel。我们使用Defer()方法创建 Cold Observable,它的参数与Create()方法一样。

Defer func t10() { // Defer does not create the Observable until the observer subscribes, // and creates a fresh Observable for each observer. // // Cold Observable: 也就是在 subscribe 的时候才去生产数据流; // 与之相反的是 Hot Observable,也就是在创建 Observable 的时候就同时创建了数据流, // 这样第一次 subscribe 的时候就把数据消耗完了,再次 subscribe 是没有数据的,前面的 // 例子都是 Hot Observable. observable := rxgo.Defer([]rxgo.Producer{func(_ context.Context, ch chan<- rxgo.Item) { for i := 0; i < 3; i++ { ch <- rxgo.Of(i) } }})

// 有数据
for item := range observable.Observe() {
	fmt.Println(item.V)
}
// 有数据
for item := range observable.Observe() {
	fmt.Println(item.V)
}

}

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 0 1 2 0 1 2 1 2 3 4 5 6 可连接的 Observable 可连接的(Connectable)Observable 对普通的 Observable 进行了一层组装。调用它的Observe()方法时并不会立刻产生数据。使用它,我们可以等所有的观察者都准备就绪了(即调用了Observe()方法)之后,再调用其Connect()方法开始生成数据。我们通过两个示例比较使用普通的 Observable 和可连接的 Observable 有何不同。

普通的:

func t11() { ch := make(chan rxgo.Item) go func() { for i := 1; i <= 3; i++ { ch <- rxgo.Of(i) } close(ch) }()

// 普通的 Observable,只要有一个观察者注册成功就会释放数据
observable := rxgo.FromChannel(ch)

// 注册观察者1
observable.DoOnNext(func(i interface{}) {
	fmt.Printf("First observer: %d\n", i)
})

time.Sleep(3 * time.Second)
fmt.Println("before subscribe second observer")

// 注册观察者2
observable.DoOnNext(func(i interface{}) {
	fmt.Printf("Second observer: %d\n", i)
})

time.Sleep(3 * time.Second)

}

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 上例中我们使用DoOnNext()方法来注册观察者。由于DoOnNext()方法是异步执行的,所以为了等待结果输出,在最后增加了一行time.Sleep。运行:

First observer: 1 First observer: 2 First observer: 3 before subscribe second observer 1 2 3 4 由输出可以看出,注册第一个观察者之后就开始产生数据了。

我们通过在创建 Observable 的方法中指定rxgo.WithPublishStrategy()选项就可以创建可连接的 Observable:

func t12() { ch := make(chan rxgo.Item) go func() { for i := 1; i <= 3; i++ { ch <- rxgo.Of(i) } close(ch) }()

// 可连接的 Observable
observable := rxgo.FromChannel(ch, rxgo.WithPublishStrategy())

// 注册观察者1
observable.DoOnNext(func(i interface{}) {
	fmt.Printf("First observer: %d\n", i)
})

time.Sleep(3 * time.Second)
fmt.Println("before subscribe second observer")

// 注册观察者2
observable.DoOnNext(func(i interface{}) {
	fmt.Printf("Second observer: %d\n", i)
})

// 通知 Observable,意味着所有的观察者已经注册完毕,才开始释放数据
// 另外,可连接的 Observable 是 Cold Observable,即每个观察者都会收到一份相同的拷贝。
observable.Connect(context.Background())

time.Sleep(5 * time.Second)

fmt.Println("over.")

}

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 before subscribe second observer Second observer: 1 First observer: 1 First observer: 2 First observer: 3 Second observer: 2 Second observer: 3 over. 1 2 3 4 5 6 7 8 上面是等两个观察者都注册之后,并且手动调用了 Observable 的Connect()方法才产生数据。而且可连接的 Observable 有一个特性:它是 Cold Observable !!!,即每个观察者都会收到一份相同的拷贝。

其他常用操作符 Map 转换操作符,Map()方法简单修改它收到的rxgo.Item然后发送到下一个阶段(转换或过滤)。Map()接受一个类型为func (context.Context, interface{}) (interface{}, error)的函数。第二个参数就是rxgo.Item中的数据,返回转换后的数据。如果出错,则返回错误。

func t13() { observable := rxgo.Just(1, 2, 3)() // Map 转换或者过滤 // 如果出现一个 error,整个数据流都是无效的 observable = observable.Map(func(ctx context.Context, v interface{}) (interface{}, error) { // vv := v.(int) // if vv%2 == 0 { // return vv * 2, nil // } else { // return vv, errors.New("Error") // }

return v.(int) * 2, nil
}).Map(func(ctx context.Context, v interface{}) (interface{}, error) {
	return v.(int) + 1, nil
})

for item := range observable.Observe() {
	fmt.Println(item.V)
}

}

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 Marshal Marshal对经过它的数据进行一次Marshal。这个Marshal可以是json.Marshal/proto.Marshal,甚至我们自己写的Marshal函数。它接受一个类型为func(interface{}) ([]byte, error)的函数用于对数据进行处理。

type User struct { Name string json:"name" Age int json:"age" }

func t14() { observable := rxgo.Just( User{ Name: "dj", Age: 18, }, User{ Name: "jw", Age: 20, }, )()

observable = observable.Marshal(json.Marshal)

for item := range observable.Observe() {
	fmt.Println(string(item.V.([]byte)))
}

}

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 Unmarshal func t15() { observable := rxgo.Just( {"name":"dj","age":18}, {"name":"jw","age":20}, )()

observable = observable.Map(func(_ context.Context, i interface{}) (interface{}, error) {
	return []byte(i.(string)), nil
}).Unmarshal(json.Unmarshal, func() interface{} {
	return &User{}
})

for item := range observable.Observe() {
	fmt.Println(item.V)
}

}

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Buffer Buffer按照一定的规则收集接收到的数据,然后一次性发送出去(作为切片),而不是收到一个发送一个。有 3 种类型的Buffer:

BufferWithCount(n):每收到n个数据发送一次,最后一次可能少于n个; BufferWithTime(n):发送在一个时间间隔n内收到的数据; BufferWithTimeOrCount(d, n):收到n个数据,或经过d时间间隔,发送当前收到的数据。 func t16() { observable := rxgo.Just(1, 2, 3, 4)().BufferWithCount(3) for item := range observable.Observe() { fmt.Println(item.V) // item.V 此时是切片类型 } } 1 2 3 4 5 6 [1 2 3] [4] 1 2 GroupBy GroupBy根据传入一个 Hash 函数,为每个不同的结果分别创建新的 Observable。换句话说,GroupBy生成一个数据类型为 Observable 的 Observable。

func t17() { count := 3

observable := rxgo.Range(0, 10).GroupBy(count, func(item rxgo.Item) int {
	return item.V.(int) % count
}, rxgo.WithBufferedChannel(10))

for subObservable := range observable.Observe() {
	fmt.Println("New observable:")

	for item := range subObservable.V.(rxgo.Observable).Observe() {
		fmt.Printf("item: %v\n", item.V)
	}
}

} 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 New observable: item: 0 item: 3 item: 6 item: 9 New observable: item: 1 item: 4 item: 7 New observable: item: 2 item: 5 item: 8 1 2 3 4 5 6 7 8 9 10 11 12 13 注意rxgo.WithBufferedChannel(10)的使用,由于我们的数字是连续生成的,依次为 0->1->2->…->9->10。而 Observable 默认是惰性的,即由Observe()驱动。内层的Observe()在返回一个 0 之后就等待下一个数,但是下一个数 1 不在此 Observable 中。所以会陷入死锁。使用rxgo.WithBufferedChannel(10),设置它们之间的连接 channel 缓冲区大小为 10,这样即使我们未取出 channel 里面的数字,上游还是能发送数字进来。

并行操作 默认情况下,这些转换操作都是串行的,即只有一个 goroutine 负责执行转换函数。我们也可以使用rxgo.WithPool(n)选项设置运行n个 goroutine,或者rxgo.WitCPUPool()选项设置运行与逻辑 CPU 数量相等的 goroutine。

func t18() { observable := rxgo.Range(1, 20)

observable = observable.Map(func(_ context.Context, i interface{}) (interface{}, error) {
	time.Sleep(time.Duration(rand.Int31()))
	return i.(int)*2 + 1, nil
}, rxgo.WithCPUPool())

for item := range observable.Observe() {
	fmt.Println(item.V)
}

} 1 2 3 4 5 6 7 8 9 10 11 12 由于是并行,所以输出顺序就不确定了。为了让不确定性更明显一点,我在代码中加了一行time.Sleep。

Filter Filter()接受一个类型为func (i interface{}) bool的参数,通过的数据使用这个函数断言,返回true的将发送给下一个阶段。否则,丢弃。

func t19() { observable := rxgo.Range(1, 10)

observable = observable.Filter(func(i interface{}) bool {
	return i.(int)%2 == 0
})

for item := range observable.Observe() {
	fmt.Println(item.V)
}

} 1 2 3 4 5 6 7 8 9 10 11 ElementAt ElementAt()只发送指定索引的数据,如ElementAt(2)只发送索引为 2 的数据,即第 3 个数据。

func t20() { observable := rxgo.Just(0, 1, 2, 3, 4)().ElementAt(2)

for item := range observable.Observe() {
	fmt.Println(item.V)
}

} 1 2 3 4 5 6 7 Debounce Debounce()比较有意思,它收到数据后还会等待指定的时间间隔,后续间隔内没有收到其他数据才会发送刚开始的数据。

func t21() { ch := make(chan rxgo.Item)

go func() {
	ch <- rxgo.Of(1)
	time.Sleep(2 * time.Second)
	ch <- rxgo.Of(2)
	ch <- rxgo.Of(3)
	time.Sleep(2 * time.Second)
	close(ch)
}()

observable := rxgo.FromChannel(ch).Debounce(rxgo.WithDuration(1 * time.Second))
for item := range observable.Observe() {
	fmt.Println(item.V)
}

}

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 上面示例,先收到 1,然后 2s 内没收到数据,所以发送 1。接着收到了数据 2,由于马上又收到了 3,所以 2 不会发送。收到 3 之后 2s 内没有收到数据,发送了 3。所以最后输出为 1,3。

Distinct Distinct()会记录它发送的所有数据,它不会发送重复的数据。由于数据格式多样,Distinct()要求我们提供一个函数,根据原数据返回一个唯一标识码(有点类似哈希值)。基于这个标识码去重。

func t22() { observable := rxgo.Just(1, 2, 2, 3, 3, 4, 4)(). Distinct(func(_ context.Context, i interface{}) (interface{}, error) { return i, nil }) for item := range observable.Observe() { fmt.Println(item.V) } } 1 2 3 4 5 6 7 8 9 Skip 跳过前面若干个数据

func t23() { observable := rxgo.Just(1, 2, 3, 4, 5)().Skip(2) for item := range observable.Observe() { fmt.Println(item.V) } } 1 2 3 4 5 6 Take 只取前面若干个数据

func t24() { observable := rxgo.Just(1, 2, 3, 4, 5)().Take(2) for item := range observable.Observe() { fmt.Println(item.V) } } 1 2 3 4 5 6 选项 rxgo.Option rxgo 提供的大部分方法的最后一个参数是一个可变长的选项类型。这是 Go 中特有的、经典的选项设计模式。我们前面已经使用了:

rxgo.WithBufferedChannel(10):设置 channel 的缓存大小; rxgo.WithPool(n) / rxgo.WithCpuPool():使用多个 goroutine 执行转换操作; rxgo.WithPublishStrategy():使用发布策略,即创建可连接的 Observable。 除此之外,rxgo 还提供了很多其他选项。

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月19日 0

暂无评论

推荐阅读
  gBkHYLY8jvYd   2023年12月09日   29   0   0 cii++数据
lh6O4DgR0ZQ8