Compare commits
125 Commits
Author | SHA1 | Date |
---|---|---|
Василий Толстов | 3eebfb5b11 | |
Василий Толстов | fa1427014c | |
Василий Толстов | 62074965ee | |
Василий Толстов | 9c8fbb2202 | |
Василий Толстов | 7c0a5f5e2a | |
Василий Толстов | b08f5321b0 | |
Василий Толстов | cc0f24e012 | |
Василий Толстов | 307a08f50c | |
Василий Толстов | edc93e8c37 | |
Василий Толстов | 391813c260 | |
Василий Толстов | 1a1459dd0e | |
Василий Толстов | 4e99680c30 | |
Василий Толстов | 92a3a547b8 | |
Василий Толстов | 849c462037 | |
Василий Толстов | 54a55c83e2 | |
Василий Толстов | 781dee03db | |
Василий Толстов | 26dd2eb405 | |
Василий Толстов | 3a21069b86 | |
Василий Толстов | add3ce478c | |
Кирилл Горбунов | c3de003e4a | |
Василий Толстов | 7b7cf18a65 | |
Василий Толстов | 1bcf71c189 | |
Василий Толстов | c320d8e518 | |
Василий Толстов | b5f8316b57 | |
Василий Толстов | d7ddd912a8 | |
Василий Толстов | c020d90cb4 | |
Василий Толстов | db47b62159 | |
Денис Евстигнеев | 8254456c8b | |
Денис Евстигнеев | c2808679c3 | |
Василий Толстов | f418235c16 | |
Василий Толстов | 67ba7b3753 | |
Василий Толстов | e48d7cadf9 | |
Василий Толстов | c906186011 | |
Василий Толстов | dc0ff91b83 | |
Василий Толстов | e739c2d438 | |
Василий Толстов | bf4a036652 | |
Василий Толстов | f83a29eb67 | |
Василий Толстов | aef7f53d88 | |
Василий Толстов | 02c8e4fb7f | |
Василий Толстов | f5693bd940 | |
Денис Евстигнеев | 701afb7bea | |
Денис Евстигнеев | 019b407e74 | |
Василий Толстов | f29a346434 | |
Василий Толстов | 27db1876c0 | |
Василий Толстов | f66ac9736b | |
Василий Толстов | ed7972a1fa | |
Василий Толстов | 2cc004b01c | |
Василий Толстов | df951e5daf | |
Василий Толстов | 5bec0cef03 | |
Василий Толстов | 34940b68d7 | |
Василий Толстов | 1c57127128 | |
Василий Толстов | a4dd1a494c | |
Василий Толстов | 60e5e42167 | |
Василий Толстов | b519b61fff | |
Василий Толстов | f62b26eda3 | |
Василий Толстов | 13eda451da | |
Василий Толстов | 89cad06121 | |
Василий Толстов | 0bebf3d59f | |
Василий Толстов | 01e05e8df6 | |
Василий Толстов | 2b69a4f51c | |
Василий Толстов | 4af2b077dd | |
Василий Толстов | de4418189d | |
Василий Толстов | 2c44550897 | |
Василий Толстов | 99b8a3c950 | |
Василий Толстов | 4c7e1607d4 | |
Василий Толстов | 897be419b4 | |
Василий Толстов | 81b9a4341f | |
Василий Толстов | d3bb2f7236 | |
Василий Толстов | 97fd62cb21 | |
Василий Толстов | 3cd8bc33d6 | |
Василий Толстов | f6f67af8d0 | |
Василий Толстов | 2d5acaca2f | |
Василий Толстов | 0674df3d9f | |
Василий Толстов | 2c282825ce | |
Василий Толстов | e87ff942bb | |
Василий Толстов | 0459ea0613 | |
Денис Евстигнеев | d44a75d074 | |
Кирилл Горбунов | ccf92eb84d | |
Василий Толстов | 6baf1f2744 | |
Василий Толстов | 8e2eafde9c | |
Василий Толстов | c2b97b0f20 | |
Василий Толстов | 1db017d966 | |
Василий Толстов | debf8cb03d | |
Василий Толстов | 1dc9c1891f | |
Василий Толстов | 930859a537 | |
Василий Толстов | 3141f1ed8b | |
Василий Толстов | 47943cfb05 | |
Василий Толстов | ed4e9d54b1 | |
Василий Толстов | b4b8583594 | |
Василий Толстов | fb43e8c58c | |
Василий Толстов | 8863c10ef4 | |
Василий Толстов | 8058095bcc | |
Василий Толстов | 092f5d96b1 | |
Василий Толстов | 84552513f7 | |
Василий Толстов | 80a2db264e | |
Василий Толстов | 0be09c8b3e | |
Василий Толстов | 047f479e1b | |
Василий Толстов | 8f757c953e | |
Василий Толстов | 5f1c673a24 | |
Василий Толстов | 6794ea9871 | |
Василий Толстов | 089e7b6812 | |
Василий Толстов | 1c703f0f0c | |
Василий Толстов | d167c8c67c | |
Василий Толстов | df4f96a2d8 | |
Василий Толстов | fac3b20bd4 | |
Василий Толстов | 7c6bd98498 | |
Василий Толстов | 23e1174f25 | |
Василий Толстов | 52bed214cf | |
Василий Толстов | 64c4f5f47e | |
Василий Толстов | 036c612137 | |
Василий Толстов | ca80e3ecf2 | |
Василий Толстов | 18e7bb41ca | |
Василий Толстов | 8e72fb1c35 | |
Василий Толстов | 17f21a03f4 | |
Василий Толстов | a076d43a26 | |
Василий Толстов | de6efaee0b | |
Василий Толстов | 9e0e657003 | |
Василий Толстов | be5f9ab77f | |
Василий Толстов | 144dca0cae | |
Василий Толстов | 75173560e3 | |
Василий Толстов | 9b3bccd1f1 | |
Василий Толстов | ce125b77c1 | |
Василий Толстов | 2ee8d4ed46 | |
Василий Толстов | f58781d076 | |
Василий Толстов | e1af4aa3a4 |
|
@ -10,15 +10,15 @@ jobs:
|
||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
steps:
|
steps:
|
||||||
- name: setup-go
|
- name: setup-go
|
||||||
uses: https://gitea.com/actions/setup-go@v3
|
uses: actions/setup-go@v3
|
||||||
with:
|
with:
|
||||||
go-version: 1.18
|
go-version: 1.21
|
||||||
- name: checkout
|
- name: checkout
|
||||||
uses: https://gitea.com/actions/checkout@v3
|
uses: actions/checkout@v3
|
||||||
- name: deps
|
- name: deps
|
||||||
run: go get -v -d ./...
|
run: go get -v -d ./...
|
||||||
- name: lint
|
- name: lint
|
||||||
uses: https://github.com/golangci/golangci-lint-action@v3.4.0
|
uses: https://github.com/golangci/golangci-lint-action@v3.4.0
|
||||||
continue-on-error: true
|
continue-on-error: true
|
||||||
with:
|
with:
|
||||||
version: v1.52
|
version: v1.52
|
||||||
|
|
|
@ -10,14 +10,14 @@ jobs:
|
||||||
runs-on: ubuntu-latest
|
runs-on: ubuntu-latest
|
||||||
steps:
|
steps:
|
||||||
- name: checkout
|
- name: checkout
|
||||||
uses: https://gitea.com/actions/checkout@v3
|
uses: actions/checkout@v3
|
||||||
- name: setup-go
|
- name: setup-go
|
||||||
uses: https://gitea.com/actions/setup-go@v3
|
uses: actions/setup-go@v3
|
||||||
with:
|
with:
|
||||||
go-version: 1.18
|
go-version: 1.21
|
||||||
- name: deps
|
- name: deps
|
||||||
run: go get -v -t -d ./...
|
run: go get -v -t -d ./...
|
||||||
- name: test
|
- name: test
|
||||||
env:
|
env:
|
||||||
INTEGRATION_TESTS: yes
|
INTEGRATION_TESTS: yes
|
||||||
run: go test -mod readonly -v ./...
|
run: go test -mod readonly -v ./...
|
||||||
|
|
|
@ -1,6 +1,8 @@
|
||||||
# Develop tools
|
# Develop tools
|
||||||
/.vscode/
|
/.vscode/
|
||||||
/.idea/
|
/.idea/
|
||||||
|
.idea
|
||||||
|
.vscode
|
||||||
|
|
||||||
# Binaries for programs and plugins
|
# Binaries for programs and plugins
|
||||||
*.exe
|
*.exe
|
||||||
|
@ -13,6 +15,7 @@
|
||||||
_obj
|
_obj
|
||||||
_test
|
_test
|
||||||
_build
|
_build
|
||||||
|
.DS_Store
|
||||||
|
|
||||||
# Architecture specific extensions/prefixes
|
# Architecture specific extensions/prefixes
|
||||||
*.[568vq]
|
*.[568vq]
|
||||||
|
|
|
@ -4,19 +4,22 @@ package broker // import "go.unistack.org/micro/v3/broker"
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
"errors"
|
"errors"
|
||||||
|
"time"
|
||||||
|
|
||||||
"go.unistack.org/micro/v3/codec"
|
"go.unistack.org/micro/v3/codec"
|
||||||
"go.unistack.org/micro/v3/metadata"
|
"go.unistack.org/micro/v3/metadata"
|
||||||
)
|
)
|
||||||
|
|
||||||
// DefaultBroker default memory broker
|
// DefaultBroker default memory broker
|
||||||
var DefaultBroker = NewBroker()
|
var DefaultBroker Broker = NewBroker()
|
||||||
|
|
||||||
var (
|
var (
|
||||||
// ErrNotConnected returns when broker used but not connected yet
|
// ErrNotConnected returns when broker used but not connected yet
|
||||||
ErrNotConnected = errors.New("broker not connected")
|
ErrNotConnected = errors.New("broker not connected")
|
||||||
// ErrDisconnected returns when broker disconnected
|
// ErrDisconnected returns when broker disconnected
|
||||||
ErrDisconnected = errors.New("broker disconnected")
|
ErrDisconnected = errors.New("broker disconnected")
|
||||||
|
// DefaultGracefulTimeout
|
||||||
|
DefaultGracefulTimeout = 5 * time.Second
|
||||||
)
|
)
|
||||||
|
|
||||||
// Broker is an interface used for asynchronous messaging.
|
// Broker is an interface used for asynchronous messaging.
|
||||||
|
@ -45,6 +48,17 @@ type Broker interface {
|
||||||
String() string
|
String() string
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type (
|
||||||
|
FuncPublish func(ctx context.Context, topic string, msg *Message, opts ...PublishOption) error
|
||||||
|
HookPublish func(next FuncPublish) FuncPublish
|
||||||
|
FuncBatchPublish func(ctx context.Context, msgs []*Message, opts ...PublishOption) error
|
||||||
|
HookBatchPublish func(next FuncBatchPublish) FuncBatchPublish
|
||||||
|
FuncSubscribe func(ctx context.Context, topic string, h Handler, opts ...SubscribeOption) (Subscriber, error)
|
||||||
|
HookSubscribe func(next FuncSubscribe) FuncSubscribe
|
||||||
|
FuncBatchSubscribe func(ctx context.Context, topic string, h BatchHandler, opts ...SubscribeOption) (Subscriber, error)
|
||||||
|
HookBatchSubscribe func(next FuncBatchSubscribe) FuncBatchSubscribe
|
||||||
|
)
|
||||||
|
|
||||||
// Handler is used to process messages via a subscription of a topic.
|
// Handler is used to process messages via a subscription of a topic.
|
||||||
type Handler func(Event) error
|
type Handler func(Event) error
|
||||||
|
|
||||||
|
@ -74,6 +88,8 @@ type BatchHandler func(Events) error
|
||||||
|
|
||||||
// Event is given to a subscription handler for processing
|
// Event is given to a subscription handler for processing
|
||||||
type Event interface {
|
type Event interface {
|
||||||
|
// Context return context.Context for event
|
||||||
|
Context() context.Context
|
||||||
// Topic returns event topic
|
// Topic returns event topic
|
||||||
Topic() string
|
Topic() string
|
||||||
// Message returns broker message
|
// Message returns broker message
|
||||||
|
|
|
@ -4,8 +4,10 @@ import (
|
||||||
"context"
|
"context"
|
||||||
"sync"
|
"sync"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/broker"
|
||||||
"go.unistack.org/micro/v3/logger"
|
"go.unistack.org/micro/v3/logger"
|
||||||
"go.unistack.org/micro/v3/metadata"
|
"go.unistack.org/micro/v3/metadata"
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
maddr "go.unistack.org/micro/v3/util/addr"
|
maddr "go.unistack.org/micro/v3/util/addr"
|
||||||
"go.unistack.org/micro/v3/util/id"
|
"go.unistack.org/micro/v3/util/id"
|
||||||
mnet "go.unistack.org/micro/v3/util/net"
|
mnet "go.unistack.org/micro/v3/util/net"
|
||||||
|
@ -13,9 +15,13 @@ import (
|
||||||
)
|
)
|
||||||
|
|
||||||
type memoryBroker struct {
|
type memoryBroker struct {
|
||||||
subscribers map[string][]*memorySubscriber
|
funcPublish broker.FuncPublish
|
||||||
addr string
|
funcBatchPublish broker.FuncBatchPublish
|
||||||
opts Options
|
funcSubscribe broker.FuncSubscribe
|
||||||
|
funcBatchSubscribe broker.FuncBatchSubscribe
|
||||||
|
subscribers map[string][]*memorySubscriber
|
||||||
|
addr string
|
||||||
|
opts broker.Options
|
||||||
sync.RWMutex
|
sync.RWMutex
|
||||||
connected bool
|
connected bool
|
||||||
}
|
}
|
||||||
|
@ -24,20 +30,20 @@ type memoryEvent struct {
|
||||||
err error
|
err error
|
||||||
message interface{}
|
message interface{}
|
||||||
topic string
|
topic string
|
||||||
opts Options
|
opts broker.Options
|
||||||
}
|
}
|
||||||
|
|
||||||
type memorySubscriber struct {
|
type memorySubscriber struct {
|
||||||
ctx context.Context
|
ctx context.Context
|
||||||
exit chan bool
|
exit chan bool
|
||||||
handler Handler
|
handler broker.Handler
|
||||||
batchhandler BatchHandler
|
batchhandler broker.BatchHandler
|
||||||
id string
|
id string
|
||||||
topic string
|
topic string
|
||||||
opts SubscribeOptions
|
opts broker.SubscribeOptions
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryBroker) Options() Options {
|
func (m *memoryBroker) Options() broker.Options {
|
||||||
return m.opts
|
return m.opts
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -46,6 +52,12 @@ func (m *memoryBroker) Address() string {
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryBroker) Connect(ctx context.Context) error {
|
func (m *memoryBroker) Connect(ctx context.Context) error {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
return ctx.Err()
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
|
||||||
m.Lock()
|
m.Lock()
|
||||||
defer m.Unlock()
|
defer m.Unlock()
|
||||||
|
|
||||||
|
@ -70,6 +82,12 @@ func (m *memoryBroker) Connect(ctx context.Context) error {
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryBroker) Disconnect(ctx context.Context) error {
|
func (m *memoryBroker) Disconnect(ctx context.Context) error {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
return ctx.Err()
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
|
||||||
m.Lock()
|
m.Lock()
|
||||||
defer m.Unlock()
|
defer m.Unlock()
|
||||||
|
|
||||||
|
@ -81,27 +99,54 @@ func (m *memoryBroker) Disconnect(ctx context.Context) error {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryBroker) Init(opts ...Option) error {
|
func (m *memoryBroker) Init(opts ...broker.Option) error {
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
o(&m.opts)
|
o(&m.opts)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
m.funcPublish = m.fnPublish
|
||||||
|
m.funcBatchPublish = m.fnBatchPublish
|
||||||
|
m.funcSubscribe = m.fnSubscribe
|
||||||
|
m.funcBatchSubscribe = m.fnBatchSubscribe
|
||||||
|
|
||||||
|
m.opts.Hooks.EachNext(func(hook options.Hook) {
|
||||||
|
switch h := hook.(type) {
|
||||||
|
case broker.HookPublish:
|
||||||
|
m.funcPublish = h(m.funcPublish)
|
||||||
|
case broker.HookBatchPublish:
|
||||||
|
m.funcBatchPublish = h(m.funcBatchPublish)
|
||||||
|
case broker.HookSubscribe:
|
||||||
|
m.funcSubscribe = h(m.funcSubscribe)
|
||||||
|
case broker.HookBatchSubscribe:
|
||||||
|
m.funcBatchSubscribe = h(m.funcBatchSubscribe)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryBroker) Publish(ctx context.Context, topic string, msg *Message, opts ...PublishOption) error {
|
func (m *memoryBroker) Publish(ctx context.Context, topic string, msg *broker.Message, opts ...broker.PublishOption) error {
|
||||||
msg.Header.Set(metadata.HeaderTopic, topic)
|
return m.funcPublish(ctx, topic, msg, opts...)
|
||||||
return m.publish(ctx, []*Message{msg}, opts...)
|
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryBroker) BatchPublish(ctx context.Context, msgs []*Message, opts ...PublishOption) error {
|
func (m *memoryBroker) fnPublish(ctx context.Context, topic string, msg *broker.Message, opts ...broker.PublishOption) error {
|
||||||
|
msg.Header.Set(metadata.HeaderTopic, topic)
|
||||||
|
return m.publish(ctx, []*broker.Message{msg}, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *memoryBroker) BatchPublish(ctx context.Context, msgs []*broker.Message, opts ...broker.PublishOption) error {
|
||||||
|
return m.funcBatchPublish(ctx, msgs, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *memoryBroker) fnBatchPublish(ctx context.Context, msgs []*broker.Message, opts ...broker.PublishOption) error {
|
||||||
return m.publish(ctx, msgs, opts...)
|
return m.publish(ctx, msgs, opts...)
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryBroker) publish(ctx context.Context, msgs []*Message, opts ...PublishOption) error {
|
func (m *memoryBroker) publish(ctx context.Context, msgs []*broker.Message, opts ...broker.PublishOption) error {
|
||||||
m.RLock()
|
m.RLock()
|
||||||
if !m.connected {
|
if !m.connected {
|
||||||
m.RUnlock()
|
m.RUnlock()
|
||||||
return ErrNotConnected
|
return broker.ErrNotConnected
|
||||||
}
|
}
|
||||||
m.RUnlock()
|
m.RUnlock()
|
||||||
|
|
||||||
|
@ -111,9 +156,9 @@ func (m *memoryBroker) publish(ctx context.Context, msgs []*Message, opts ...Pub
|
||||||
case <-ctx.Done():
|
case <-ctx.Done():
|
||||||
return ctx.Err()
|
return ctx.Err()
|
||||||
default:
|
default:
|
||||||
options := NewPublishOptions(opts...)
|
options := broker.NewPublishOptions(opts...)
|
||||||
|
|
||||||
msgTopicMap := make(map[string]Events)
|
msgTopicMap := make(map[string]broker.Events)
|
||||||
for _, v := range msgs {
|
for _, v := range msgs {
|
||||||
p := &memoryEvent{opts: m.opts}
|
p := &memoryEvent{opts: m.opts}
|
||||||
|
|
||||||
|
@ -188,11 +233,15 @@ func (m *memoryBroker) publish(ctx context.Context, msgs []*Message, opts ...Pub
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryBroker) BatchSubscribe(ctx context.Context, topic string, handler BatchHandler, opts ...SubscribeOption) (Subscriber, error) {
|
func (m *memoryBroker) BatchSubscribe(ctx context.Context, topic string, handler broker.BatchHandler, opts ...broker.SubscribeOption) (broker.Subscriber, error) {
|
||||||
|
return m.funcBatchSubscribe(ctx, topic, handler, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *memoryBroker) fnBatchSubscribe(ctx context.Context, topic string, handler broker.BatchHandler, opts ...broker.SubscribeOption) (broker.Subscriber, error) {
|
||||||
m.RLock()
|
m.RLock()
|
||||||
if !m.connected {
|
if !m.connected {
|
||||||
m.RUnlock()
|
m.RUnlock()
|
||||||
return nil, ErrNotConnected
|
return nil, broker.ErrNotConnected
|
||||||
}
|
}
|
||||||
m.RUnlock()
|
m.RUnlock()
|
||||||
|
|
||||||
|
@ -201,7 +250,7 @@ func (m *memoryBroker) BatchSubscribe(ctx context.Context, topic string, handler
|
||||||
return nil, err
|
return nil, err
|
||||||
}
|
}
|
||||||
|
|
||||||
options := NewSubscribeOptions(opts...)
|
options := broker.NewSubscribeOptions(opts...)
|
||||||
|
|
||||||
sub := &memorySubscriber{
|
sub := &memorySubscriber{
|
||||||
exit: make(chan bool, 1),
|
exit: make(chan bool, 1),
|
||||||
|
@ -233,11 +282,15 @@ func (m *memoryBroker) BatchSubscribe(ctx context.Context, topic string, handler
|
||||||
return sub, nil
|
return sub, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryBroker) Subscribe(ctx context.Context, topic string, handler Handler, opts ...SubscribeOption) (Subscriber, error) {
|
func (m *memoryBroker) Subscribe(ctx context.Context, topic string, handler broker.Handler, opts ...broker.SubscribeOption) (broker.Subscriber, error) {
|
||||||
|
return m.funcSubscribe(ctx, topic, handler, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *memoryBroker) fnSubscribe(ctx context.Context, topic string, handler broker.Handler, opts ...broker.SubscribeOption) (broker.Subscriber, error) {
|
||||||
m.RLock()
|
m.RLock()
|
||||||
if !m.connected {
|
if !m.connected {
|
||||||
m.RUnlock()
|
m.RUnlock()
|
||||||
return nil, ErrNotConnected
|
return nil, broker.ErrNotConnected
|
||||||
}
|
}
|
||||||
m.RUnlock()
|
m.RUnlock()
|
||||||
|
|
||||||
|
@ -246,7 +299,7 @@ func (m *memoryBroker) Subscribe(ctx context.Context, topic string, handler Hand
|
||||||
return nil, err
|
return nil, err
|
||||||
}
|
}
|
||||||
|
|
||||||
options := NewSubscribeOptions(opts...)
|
options := broker.NewSubscribeOptions(opts...)
|
||||||
|
|
||||||
sub := &memorySubscriber{
|
sub := &memorySubscriber{
|
||||||
exit: make(chan bool, 1),
|
exit: make(chan bool, 1),
|
||||||
|
@ -290,12 +343,12 @@ func (m *memoryEvent) Topic() string {
|
||||||
return m.topic
|
return m.topic
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryEvent) Message() *Message {
|
func (m *memoryEvent) Message() *broker.Message {
|
||||||
switch v := m.message.(type) {
|
switch v := m.message.(type) {
|
||||||
case *Message:
|
case *broker.Message:
|
||||||
return v
|
return v
|
||||||
case []byte:
|
case []byte:
|
||||||
msg := &Message{}
|
msg := &broker.Message{}
|
||||||
if err := m.opts.Codec.Unmarshal(v, msg); err != nil {
|
if err := m.opts.Codec.Unmarshal(v, msg); err != nil {
|
||||||
if m.opts.Logger.V(logger.ErrorLevel) {
|
if m.opts.Logger.V(logger.ErrorLevel) {
|
||||||
m.opts.Logger.Error(m.opts.Context, "[memory]: failed to unmarshal: %v", err)
|
m.opts.Logger.Error(m.opts.Context, "[memory]: failed to unmarshal: %v", err)
|
||||||
|
@ -320,7 +373,7 @@ func (m *memoryEvent) SetError(err error) {
|
||||||
m.err = err
|
m.err = err
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memorySubscriber) Options() SubscribeOptions {
|
func (m *memorySubscriber) Options() broker.SubscribeOptions {
|
||||||
return m.opts
|
return m.opts
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -334,9 +387,9 @@ func (m *memorySubscriber) Unsubscribe(ctx context.Context) error {
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewBroker return new memory broker
|
// NewBroker return new memory broker
|
||||||
func NewBroker(opts ...Option) Broker {
|
func NewBroker(opts ...broker.Option) broker.Broker {
|
||||||
return &memoryBroker{
|
return &memoryBroker{
|
||||||
opts: NewOptions(opts...),
|
opts: broker.NewOptions(opts...),
|
||||||
subscribers: make(map[string][]*memorySubscriber),
|
subscribers: make(map[string][]*memorySubscriber),
|
||||||
}
|
}
|
||||||
}
|
}
|
|
@ -5,6 +5,7 @@ import (
|
||||||
"fmt"
|
"fmt"
|
||||||
"testing"
|
"testing"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/broker"
|
||||||
"go.unistack.org/micro/v3/metadata"
|
"go.unistack.org/micro/v3/metadata"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -12,6 +13,10 @@ func TestMemoryBatchBroker(t *testing.T) {
|
||||||
b := NewBroker()
|
b := NewBroker()
|
||||||
ctx := context.Background()
|
ctx := context.Background()
|
||||||
|
|
||||||
|
if err := b.Init(); err != nil {
|
||||||
|
t.Fatalf("Unexpected init error %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
if err := b.Connect(ctx); err != nil {
|
if err := b.Connect(ctx); err != nil {
|
||||||
t.Fatalf("Unexpected connect error %v", err)
|
t.Fatalf("Unexpected connect error %v", err)
|
||||||
}
|
}
|
||||||
|
@ -19,7 +24,7 @@ func TestMemoryBatchBroker(t *testing.T) {
|
||||||
topic := "test"
|
topic := "test"
|
||||||
count := 10
|
count := 10
|
||||||
|
|
||||||
fn := func(evts Events) error {
|
fn := func(evts broker.Events) error {
|
||||||
return evts.Ack()
|
return evts.Ack()
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -28,9 +33,9 @@ func TestMemoryBatchBroker(t *testing.T) {
|
||||||
t.Fatalf("Unexpected error subscribing %v", err)
|
t.Fatalf("Unexpected error subscribing %v", err)
|
||||||
}
|
}
|
||||||
|
|
||||||
msgs := make([]*Message, 0, count)
|
msgs := make([]*broker.Message, 0, count)
|
||||||
for i := 0; i < count; i++ {
|
for i := 0; i < count; i++ {
|
||||||
message := &Message{
|
message := &broker.Message{
|
||||||
Header: map[string]string{
|
Header: map[string]string{
|
||||||
metadata.HeaderTopic: topic,
|
metadata.HeaderTopic: topic,
|
||||||
"foo": "bar",
|
"foo": "bar",
|
||||||
|
@ -58,6 +63,10 @@ func TestMemoryBroker(t *testing.T) {
|
||||||
b := NewBroker()
|
b := NewBroker()
|
||||||
ctx := context.Background()
|
ctx := context.Background()
|
||||||
|
|
||||||
|
if err := b.Init(); err != nil {
|
||||||
|
t.Fatalf("Unexpected init error %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
if err := b.Connect(ctx); err != nil {
|
if err := b.Connect(ctx); err != nil {
|
||||||
t.Fatalf("Unexpected connect error %v", err)
|
t.Fatalf("Unexpected connect error %v", err)
|
||||||
}
|
}
|
||||||
|
@ -65,7 +74,7 @@ func TestMemoryBroker(t *testing.T) {
|
||||||
topic := "test"
|
topic := "test"
|
||||||
count := 10
|
count := 10
|
||||||
|
|
||||||
fn := func(p Event) error {
|
fn := func(p broker.Event) error {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -74,9 +83,9 @@ func TestMemoryBroker(t *testing.T) {
|
||||||
t.Fatalf("Unexpected error subscribing %v", err)
|
t.Fatalf("Unexpected error subscribing %v", err)
|
||||||
}
|
}
|
||||||
|
|
||||||
msgs := make([]*Message, 0, count)
|
msgs := make([]*broker.Message, 0, count)
|
||||||
for i := 0; i < count; i++ {
|
for i := 0; i < count; i++ {
|
||||||
message := &Message{
|
message := &broker.Message{
|
||||||
Header: map[string]string{
|
Header: map[string]string{
|
||||||
metadata.HeaderTopic: topic,
|
metadata.HeaderTopic: topic,
|
||||||
"foo": "bar",
|
"foo": "bar",
|
|
@ -0,0 +1,128 @@
|
||||||
|
package broker
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"strings"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
|
)
|
||||||
|
|
||||||
|
type NoopBroker struct {
|
||||||
|
funcPublish FuncPublish
|
||||||
|
funcBatchPublish FuncBatchPublish
|
||||||
|
funcSubscribe FuncSubscribe
|
||||||
|
funcBatchSubscribe FuncBatchSubscribe
|
||||||
|
opts Options
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewBroker(opts ...Option) *NoopBroker {
|
||||||
|
b := &NoopBroker{opts: NewOptions(opts...)}
|
||||||
|
b.funcPublish = b.fnPublish
|
||||||
|
b.funcBatchPublish = b.fnBatchPublish
|
||||||
|
b.funcSubscribe = b.fnSubscribe
|
||||||
|
b.funcBatchSubscribe = b.fnBatchSubscribe
|
||||||
|
|
||||||
|
return b
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) Name() string {
|
||||||
|
return b.opts.Name
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) String() string {
|
||||||
|
return "noop"
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) Options() Options {
|
||||||
|
return b.opts
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) Init(opts ...Option) error {
|
||||||
|
for _, opt := range opts {
|
||||||
|
opt(&b.opts)
|
||||||
|
}
|
||||||
|
|
||||||
|
b.funcPublish = b.fnPublish
|
||||||
|
b.funcBatchPublish = b.fnBatchPublish
|
||||||
|
b.funcSubscribe = b.fnSubscribe
|
||||||
|
b.funcBatchSubscribe = b.fnBatchSubscribe
|
||||||
|
|
||||||
|
b.opts.Hooks.EachNext(func(hook options.Hook) {
|
||||||
|
switch h := hook.(type) {
|
||||||
|
case HookPublish:
|
||||||
|
b.funcPublish = h(b.funcPublish)
|
||||||
|
case HookBatchPublish:
|
||||||
|
b.funcBatchPublish = h(b.funcBatchPublish)
|
||||||
|
case HookSubscribe:
|
||||||
|
b.funcSubscribe = h(b.funcSubscribe)
|
||||||
|
case HookBatchSubscribe:
|
||||||
|
b.funcBatchSubscribe = h(b.funcBatchSubscribe)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) Connect(_ context.Context) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) Disconnect(_ context.Context) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) Address() string {
|
||||||
|
return strings.Join(b.opts.Addrs, ",")
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) fnBatchPublish(_ context.Context, _ []*Message, _ ...PublishOption) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) BatchPublish(ctx context.Context, msgs []*Message, opts ...PublishOption) error {
|
||||||
|
return b.funcBatchPublish(ctx, msgs, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) fnPublish(_ context.Context, _ string, _ *Message, _ ...PublishOption) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) Publish(ctx context.Context, topic string, msg *Message, opts ...PublishOption) error {
|
||||||
|
return b.funcPublish(ctx, topic, msg, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
type NoopSubscriber struct {
|
||||||
|
ctx context.Context
|
||||||
|
topic string
|
||||||
|
handler Handler
|
||||||
|
batchHandler BatchHandler
|
||||||
|
opts SubscribeOptions
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) fnBatchSubscribe(ctx context.Context, topic string, handler BatchHandler, opts ...SubscribeOption) (Subscriber, error) {
|
||||||
|
return &NoopSubscriber{ctx: ctx, topic: topic, opts: NewSubscribeOptions(opts...), batchHandler: handler}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) BatchSubscribe(ctx context.Context, topic string, handler BatchHandler, opts ...SubscribeOption) (Subscriber, error) {
|
||||||
|
return b.funcBatchSubscribe(ctx, topic, handler, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) fnSubscribe(ctx context.Context, topic string, handler Handler, opts ...SubscribeOption) (Subscriber, error) {
|
||||||
|
return &NoopSubscriber{ctx: ctx, topic: topic, opts: NewSubscribeOptions(opts...), handler: handler}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (b *NoopBroker) Subscribe(ctx context.Context, topic string, handler Handler, opts ...SubscribeOption) (Subscriber, error) {
|
||||||
|
return b.funcSubscribe(ctx, topic, handler, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *NoopSubscriber) Options() SubscribeOptions {
|
||||||
|
return s.opts
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *NoopSubscriber) Topic() string {
|
||||||
|
return s.topic
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *NoopSubscriber) Unsubscribe(_ context.Context) error {
|
||||||
|
return nil
|
||||||
|
}
|
|
@ -0,0 +1,35 @@
|
||||||
|
package broker
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"testing"
|
||||||
|
)
|
||||||
|
|
||||||
|
type testHook struct {
|
||||||
|
f bool
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *testHook) Publish1(fn FuncPublish) FuncPublish {
|
||||||
|
return func(ctx context.Context, topic string, msg *Message, opts ...PublishOption) error {
|
||||||
|
t.f = true
|
||||||
|
return fn(ctx, topic, msg, opts...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestNoopHook(t *testing.T) {
|
||||||
|
h := &testHook{}
|
||||||
|
|
||||||
|
b := NewBroker(Hooks(HookPublish(h.Publish1)))
|
||||||
|
|
||||||
|
if err := b.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := b.Publish(context.TODO(), "", nil); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if !h.f {
|
||||||
|
t.Fatal("hook not works")
|
||||||
|
}
|
||||||
|
}
|
|
@ -8,7 +8,9 @@ import (
|
||||||
"go.unistack.org/micro/v3/codec"
|
"go.unistack.org/micro/v3/codec"
|
||||||
"go.unistack.org/micro/v3/logger"
|
"go.unistack.org/micro/v3/logger"
|
||||||
"go.unistack.org/micro/v3/meter"
|
"go.unistack.org/micro/v3/meter"
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
"go.unistack.org/micro/v3/register"
|
"go.unistack.org/micro/v3/register"
|
||||||
|
"go.unistack.org/micro/v3/sync"
|
||||||
"go.unistack.org/micro/v3/tracer"
|
"go.unistack.org/micro/v3/tracer"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -36,17 +38,25 @@ type Options struct {
|
||||||
Name string
|
Name string
|
||||||
// Addrs holds the broker address
|
// Addrs holds the broker address
|
||||||
Addrs []string
|
Addrs []string
|
||||||
|
// Wait waits for a collection of goroutines to finish
|
||||||
|
Wait *sync.WaitGroup
|
||||||
|
// GracefulTimeout contains time to wait to finish in flight requests
|
||||||
|
GracefulTimeout time.Duration
|
||||||
|
// Hooks can be run before broker Publish/BatchPublish and
|
||||||
|
// Subscribe/BatchSubscribe methods
|
||||||
|
Hooks options.Hooks
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewOptions create new Options
|
// NewOptions create new Options
|
||||||
func NewOptions(opts ...Option) Options {
|
func NewOptions(opts ...Option) Options {
|
||||||
options := Options{
|
options := Options{
|
||||||
Register: register.DefaultRegister,
|
Register: register.DefaultRegister,
|
||||||
Logger: logger.DefaultLogger,
|
Logger: logger.DefaultLogger,
|
||||||
Context: context.Background(),
|
Context: context.Background(),
|
||||||
Meter: meter.DefaultMeter,
|
Meter: meter.DefaultMeter,
|
||||||
Codec: codec.DefaultCodec,
|
Codec: codec.DefaultCodec,
|
||||||
Tracer: tracer.DefaultTracer,
|
Tracer: tracer.DefaultTracer,
|
||||||
|
GracefulTimeout: DefaultGracefulTimeout,
|
||||||
}
|
}
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
o(&options)
|
o(&options)
|
||||||
|
@ -224,6 +234,13 @@ func Name(n string) Option {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// Hooks sets hook runs before action
|
||||||
|
func Hooks(h ...options.Hook) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.Hooks = append(o.Hooks, h...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
// SubscribeContext set context
|
// SubscribeContext set context
|
||||||
func SubscribeContext(ctx context.Context) SubscribeOption {
|
func SubscribeContext(ctx context.Context) SubscribeOption {
|
||||||
return func(o *SubscribeOptions) {
|
return func(o *SubscribeOptions) {
|
||||||
|
|
|
@ -44,6 +44,17 @@ type Client interface {
|
||||||
String() string
|
String() string
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type (
|
||||||
|
FuncCall func(ctx context.Context, req Request, rsp interface{}, opts ...CallOption) error
|
||||||
|
HookCall func(next FuncCall) FuncCall
|
||||||
|
FuncStream func(ctx context.Context, req Request, opts ...CallOption) (Stream, error)
|
||||||
|
HookStream func(next FuncStream) FuncStream
|
||||||
|
FuncPublish func(ctx context.Context, msg Message, opts ...PublishOption) error
|
||||||
|
HookPublish func(next FuncPublish) FuncPublish
|
||||||
|
FuncBatchPublish func(ctx context.Context, msg []Message, opts ...PublishOption) error
|
||||||
|
HookBatchPublish func(next FuncBatchPublish) FuncBatchPublish
|
||||||
|
)
|
||||||
|
|
||||||
// Message is the interface for publishing asynchronously
|
// Message is the interface for publishing asynchronously
|
||||||
type Message interface {
|
type Message interface {
|
||||||
Topic() string
|
Topic() string
|
||||||
|
|
|
@ -1,26 +0,0 @@
|
||||||
package client
|
|
||||||
|
|
||||||
import (
|
|
||||||
"context"
|
|
||||||
"testing"
|
|
||||||
"time"
|
|
||||||
)
|
|
||||||
|
|
||||||
func TestNewClientCallOptions(t *testing.T) {
|
|
||||||
var flag bool
|
|
||||||
w := func(fn CallFunc) CallFunc {
|
|
||||||
flag = true
|
|
||||||
return fn
|
|
||||||
}
|
|
||||||
c := NewClientCallOptions(NewClient(),
|
|
||||||
WithAddress("127.0.0.1"),
|
|
||||||
WithCallWrapper(w),
|
|
||||||
WithRequestTimeout(1*time.Millisecond),
|
|
||||||
WithRetries(0),
|
|
||||||
WithBackoff(BackoffInterval(10*time.Millisecond, 100*time.Millisecond)),
|
|
||||||
)
|
|
||||||
_ = c.Call(context.TODO(), c.NewRequest("service", "endpoint", nil), nil)
|
|
||||||
if !flag {
|
|
||||||
t.Fatalf("NewClientCallOptions not works")
|
|
||||||
}
|
|
||||||
}
|
|
174
client/noop.go
174
client/noop.go
|
@ -3,13 +3,18 @@ package client
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
"fmt"
|
"fmt"
|
||||||
|
"os"
|
||||||
|
"strconv"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
"go.unistack.org/micro/v3/broker"
|
"go.unistack.org/micro/v3/broker"
|
||||||
"go.unistack.org/micro/v3/codec"
|
"go.unistack.org/micro/v3/codec"
|
||||||
"go.unistack.org/micro/v3/errors"
|
"go.unistack.org/micro/v3/errors"
|
||||||
"go.unistack.org/micro/v3/metadata"
|
"go.unistack.org/micro/v3/metadata"
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
"go.unistack.org/micro/v3/selector"
|
"go.unistack.org/micro/v3/selector"
|
||||||
|
"go.unistack.org/micro/v3/semconv"
|
||||||
|
"go.unistack.org/micro/v3/tracer"
|
||||||
)
|
)
|
||||||
|
|
||||||
// DefaultCodecs will be used to encode/decode data
|
// DefaultCodecs will be used to encode/decode data
|
||||||
|
@ -18,7 +23,11 @@ var DefaultCodecs = map[string]codec.Codec{
|
||||||
}
|
}
|
||||||
|
|
||||||
type noopClient struct {
|
type noopClient struct {
|
||||||
opts Options
|
funcPublish FuncPublish
|
||||||
|
funcBatchPublish FuncBatchPublish
|
||||||
|
funcCall FuncCall
|
||||||
|
funcStream FuncStream
|
||||||
|
opts Options
|
||||||
}
|
}
|
||||||
|
|
||||||
type noopMessage struct {
|
type noopMessage struct {
|
||||||
|
@ -39,16 +48,14 @@ type noopRequest struct {
|
||||||
|
|
||||||
// NewClient returns new noop client
|
// NewClient returns new noop client
|
||||||
func NewClient(opts ...Option) Client {
|
func NewClient(opts ...Option) Client {
|
||||||
nc := &noopClient{opts: NewOptions(opts...)}
|
n := &noopClient{opts: NewOptions(opts...)}
|
||||||
// wrap in reverse
|
|
||||||
|
|
||||||
c := Client(nc)
|
n.funcCall = n.fnCall
|
||||||
|
n.funcStream = n.fnStream
|
||||||
|
n.funcPublish = n.fnPublish
|
||||||
|
n.funcBatchPublish = n.fnBatchPublish
|
||||||
|
|
||||||
for i := len(nc.opts.Wrappers); i > 0; i-- {
|
return n
|
||||||
c = nc.opts.Wrappers[i-1](c)
|
|
||||||
}
|
|
||||||
|
|
||||||
return c
|
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopClient) Name() string {
|
func (n *noopClient) Name() string {
|
||||||
|
@ -100,10 +107,13 @@ func (n *noopResponse) Read() ([]byte, error) {
|
||||||
return nil, nil
|
return nil, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
type noopStream struct{}
|
type noopStream struct {
|
||||||
|
err error
|
||||||
|
ctx context.Context
|
||||||
|
}
|
||||||
|
|
||||||
func (n *noopStream) Context() context.Context {
|
func (n *noopStream) Context() context.Context {
|
||||||
return context.Background()
|
return n.ctx
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopStream) Request() Request {
|
func (n *noopStream) Request() Request {
|
||||||
|
@ -131,15 +141,21 @@ func (n *noopStream) RecvMsg(interface{}) error {
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopStream) Error() error {
|
func (n *noopStream) Error() error {
|
||||||
return nil
|
return n.err
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopStream) Close() error {
|
func (n *noopStream) Close() error {
|
||||||
return nil
|
if sp, ok := tracer.SpanFromContext(n.ctx); ok && sp != nil {
|
||||||
|
if n.err != nil {
|
||||||
|
sp.SetStatus(tracer.SpanStatusError, n.err.Error())
|
||||||
|
}
|
||||||
|
sp.Finish()
|
||||||
|
}
|
||||||
|
return n.err
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopStream) CloseSend() error {
|
func (n *noopStream) CloseSend() error {
|
||||||
return nil
|
return n.err
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopMessage) Topic() string {
|
func (n *noopMessage) Topic() string {
|
||||||
|
@ -172,6 +188,25 @@ func (n *noopClient) Init(opts ...Option) error {
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
o(&n.opts)
|
o(&n.opts)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
n.funcCall = n.fnCall
|
||||||
|
n.funcStream = n.fnStream
|
||||||
|
n.funcPublish = n.fnPublish
|
||||||
|
n.funcBatchPublish = n.fnBatchPublish
|
||||||
|
|
||||||
|
n.opts.Hooks.EachNext(func(hook options.Hook) {
|
||||||
|
switch h := hook.(type) {
|
||||||
|
case HookCall:
|
||||||
|
n.funcCall = h(n.funcCall)
|
||||||
|
case HookStream:
|
||||||
|
n.funcStream = h(n.funcStream)
|
||||||
|
case HookPublish:
|
||||||
|
n.funcPublish = h(n.funcPublish)
|
||||||
|
case HookBatchPublish:
|
||||||
|
n.funcBatchPublish = h(n.funcBatchPublish)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -184,6 +219,31 @@ func (n *noopClient) String() string {
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopClient) Call(ctx context.Context, req Request, rsp interface{}, opts ...CallOption) error {
|
func (n *noopClient) Call(ctx context.Context, req Request, rsp interface{}, opts ...CallOption) error {
|
||||||
|
ts := time.Now()
|
||||||
|
n.opts.Meter.Counter(semconv.ClientRequestInflight, "endpoint", req.Endpoint()).Inc()
|
||||||
|
var sp tracer.Span
|
||||||
|
ctx, sp = n.opts.Tracer.Start(ctx, req.Endpoint()+" rpc-client",
|
||||||
|
tracer.WithSpanKind(tracer.SpanKindClient),
|
||||||
|
tracer.WithSpanLabels("endpoint", req.Endpoint()),
|
||||||
|
)
|
||||||
|
err := n.funcCall(ctx, req, rsp, opts...)
|
||||||
|
n.opts.Meter.Counter(semconv.ClientRequestInflight, "endpoint", req.Endpoint()).Dec()
|
||||||
|
te := time.Since(ts)
|
||||||
|
n.opts.Meter.Summary(semconv.ClientRequestLatencyMicroseconds, "endpoint", req.Endpoint()).Update(te.Seconds())
|
||||||
|
n.opts.Meter.Histogram(semconv.ClientRequestDurationSeconds, "endpoint", req.Endpoint()).Update(te.Seconds())
|
||||||
|
|
||||||
|
if me := errors.FromError(err); me == nil {
|
||||||
|
sp.Finish()
|
||||||
|
n.opts.Meter.Counter(semconv.ClientRequestTotal, "endpoint", req.Endpoint(), "status", "success", "code", strconv.Itoa(int(200))).Inc()
|
||||||
|
} else {
|
||||||
|
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
||||||
|
n.opts.Meter.Counter(semconv.ClientRequestTotal, "endpoint", req.Endpoint(), "status", "failure", "code", strconv.Itoa(int(me.Code))).Inc()
|
||||||
|
}
|
||||||
|
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopClient) fnCall(ctx context.Context, req Request, rsp interface{}, opts ...CallOption) error {
|
||||||
// make a copy of call opts
|
// make a copy of call opts
|
||||||
callOpts := n.opts.CallOptions
|
callOpts := n.opts.CallOptions
|
||||||
for _, opt := range opts {
|
for _, opt := range opts {
|
||||||
|
@ -212,11 +272,8 @@ func (n *noopClient) Call(ctx context.Context, req Request, rsp interface{}, opt
|
||||||
}
|
}
|
||||||
|
|
||||||
// make copy of call method
|
// make copy of call method
|
||||||
hcall := n.call
|
hcall := func(ctx context.Context, addr string, req Request, rsp interface{}, opts CallOptions) error {
|
||||||
|
return nil
|
||||||
// wrap the call in reverse
|
|
||||||
for i := len(callOpts.CallWrappers); i > 0; i-- {
|
|
||||||
hcall = callOpts.CallWrappers[i-1](hcall)
|
|
||||||
}
|
}
|
||||||
|
|
||||||
// use the router passed as a call option, or fallback to the rpc clients router
|
// use the router passed as a call option, or fallback to the rpc clients router
|
||||||
|
@ -315,10 +372,6 @@ func (n *noopClient) Call(ctx context.Context, req Request, rsp interface{}, opt
|
||||||
return gerr
|
return gerr
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopClient) call(ctx context.Context, addr string, req Request, rsp interface{}, opts CallOptions) error {
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
func (n *noopClient) NewRequest(service, endpoint string, req interface{}, opts ...RequestOption) Request {
|
func (n *noopClient) NewRequest(service, endpoint string, req interface{}, opts ...RequestOption) Request {
|
||||||
return &noopRequest{service: service, endpoint: endpoint}
|
return &noopRequest{service: service, endpoint: endpoint}
|
||||||
}
|
}
|
||||||
|
@ -329,6 +382,31 @@ func (n *noopClient) NewMessage(topic string, msg interface{}, opts ...MessageOp
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopClient) Stream(ctx context.Context, req Request, opts ...CallOption) (Stream, error) {
|
func (n *noopClient) Stream(ctx context.Context, req Request, opts ...CallOption) (Stream, error) {
|
||||||
|
ts := time.Now()
|
||||||
|
n.opts.Meter.Counter(semconv.ClientRequestInflight, "endpoint", req.Endpoint()).Inc()
|
||||||
|
var sp tracer.Span
|
||||||
|
ctx, sp = n.opts.Tracer.Start(ctx, req.Endpoint()+" rpc-client",
|
||||||
|
tracer.WithSpanKind(tracer.SpanKindClient),
|
||||||
|
tracer.WithSpanLabels("endpoint", req.Endpoint()),
|
||||||
|
)
|
||||||
|
stream, err := n.funcStream(ctx, req, opts...)
|
||||||
|
n.opts.Meter.Counter(semconv.ClientRequestInflight, "endpoint", req.Endpoint()).Dec()
|
||||||
|
te := time.Since(ts)
|
||||||
|
n.opts.Meter.Summary(semconv.ClientRequestLatencyMicroseconds, "endpoint", req.Endpoint()).Update(te.Seconds())
|
||||||
|
n.opts.Meter.Histogram(semconv.ClientRequestDurationSeconds, "endpoint", req.Endpoint()).Update(te.Seconds())
|
||||||
|
|
||||||
|
if me := errors.FromError(err); me == nil {
|
||||||
|
sp.Finish()
|
||||||
|
n.opts.Meter.Counter(semconv.ClientRequestTotal, "endpoint", req.Endpoint(), "status", "success", "code", strconv.Itoa(int(200))).Inc()
|
||||||
|
} else {
|
||||||
|
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
||||||
|
n.opts.Meter.Counter(semconv.ClientRequestTotal, "endpoint", req.Endpoint(), "status", "failure", "code", strconv.Itoa(int(me.Code))).Inc()
|
||||||
|
}
|
||||||
|
|
||||||
|
return stream, err
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopClient) fnStream(ctx context.Context, req Request, opts ...CallOption) (Stream, error) {
|
||||||
var err error
|
var err error
|
||||||
|
|
||||||
// make a copy of call opts
|
// make a copy of call opts
|
||||||
|
@ -469,14 +547,22 @@ func (n *noopClient) Stream(ctx context.Context, req Request, opts ...CallOption
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopClient) stream(ctx context.Context, addr string, req Request, opts CallOptions) (Stream, error) {
|
func (n *noopClient) stream(ctx context.Context, addr string, req Request, opts CallOptions) (Stream, error) {
|
||||||
return &noopStream{}, nil
|
return &noopStream{ctx: ctx}, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopClient) BatchPublish(ctx context.Context, ps []Message, opts ...PublishOption) error {
|
func (n *noopClient) BatchPublish(ctx context.Context, ps []Message, opts ...PublishOption) error {
|
||||||
|
return n.funcBatchPublish(ctx, ps, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopClient) fnBatchPublish(ctx context.Context, ps []Message, opts ...PublishOption) error {
|
||||||
return n.publish(ctx, ps, opts...)
|
return n.publish(ctx, ps, opts...)
|
||||||
}
|
}
|
||||||
|
|
||||||
func (n *noopClient) Publish(ctx context.Context, p Message, opts ...PublishOption) error {
|
func (n *noopClient) Publish(ctx context.Context, p Message, opts ...PublishOption) error {
|
||||||
|
return n.funcPublish(ctx, p, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopClient) fnPublish(ctx context.Context, p Message, opts ...PublishOption) error {
|
||||||
return n.publish(ctx, []Message{p}, opts...)
|
return n.publish(ctx, []Message{p}, opts...)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -485,21 +571,34 @@ func (n *noopClient) publish(ctx context.Context, ps []Message, opts ...PublishO
|
||||||
|
|
||||||
msgs := make([]*broker.Message, 0, len(ps))
|
msgs := make([]*broker.Message, 0, len(ps))
|
||||||
|
|
||||||
|
// get proxy
|
||||||
|
exchange := ""
|
||||||
|
if v, ok := os.LookupEnv("MICRO_PROXY"); ok {
|
||||||
|
exchange = v
|
||||||
|
}
|
||||||
|
// get the exchange
|
||||||
|
if len(options.Exchange) > 0 {
|
||||||
|
exchange = options.Exchange
|
||||||
|
}
|
||||||
|
|
||||||
|
omd, ok := metadata.FromOutgoingContext(ctx)
|
||||||
|
if !ok {
|
||||||
|
omd = metadata.New(0)
|
||||||
|
}
|
||||||
|
|
||||||
for _, p := range ps {
|
for _, p := range ps {
|
||||||
md, ok := metadata.FromOutgoingContext(ctx)
|
md := metadata.Copy(omd)
|
||||||
if !ok {
|
|
||||||
md = metadata.New(0)
|
|
||||||
}
|
|
||||||
md[metadata.HeaderContentType] = p.ContentType()
|
md[metadata.HeaderContentType] = p.ContentType()
|
||||||
|
|
||||||
topic := p.Topic()
|
topic := p.Topic()
|
||||||
|
if len(exchange) > 0 {
|
||||||
// get the exchange
|
topic = exchange
|
||||||
if len(options.Exchange) > 0 {
|
|
||||||
topic = options.Exchange
|
|
||||||
}
|
}
|
||||||
|
|
||||||
md[metadata.HeaderTopic] = topic
|
md[metadata.HeaderTopic] = topic
|
||||||
|
iter := p.Metadata().Iterator()
|
||||||
|
var k, v string
|
||||||
|
for iter.Next(&k, &v) {
|
||||||
|
md.Set(k, v)
|
||||||
|
}
|
||||||
|
|
||||||
var body []byte
|
var body []byte
|
||||||
|
|
||||||
|
@ -524,6 +623,13 @@ func (n *noopClient) publish(ctx context.Context, ps []Message, opts ...PublishO
|
||||||
msgs = append(msgs, &broker.Message{Header: md, Body: body})
|
msgs = append(msgs, &broker.Message{Header: md, Body: body})
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if len(msgs) == 1 {
|
||||||
|
return n.opts.Broker.Publish(ctx, msgs[0].Header[metadata.HeaderTopic], msgs[0],
|
||||||
|
broker.PublishContext(options.Context),
|
||||||
|
broker.PublishBodyOnly(options.BodyOnly),
|
||||||
|
)
|
||||||
|
}
|
||||||
|
|
||||||
return n.opts.Broker.BatchPublish(ctx, msgs,
|
return n.opts.Broker.BatchPublish(ctx, msgs,
|
||||||
broker.PublishContext(options.Context),
|
broker.PublishContext(options.Context),
|
||||||
broker.PublishBodyOnly(options.BodyOnly),
|
broker.PublishBodyOnly(options.BodyOnly),
|
||||||
|
|
|
@ -0,0 +1,35 @@
|
||||||
|
package client
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"testing"
|
||||||
|
)
|
||||||
|
|
||||||
|
type testHook struct {
|
||||||
|
f bool
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *testHook) Publish(fn FuncPublish) FuncPublish {
|
||||||
|
return func(ctx context.Context, msg Message, opts ...PublishOption) error {
|
||||||
|
t.f = true
|
||||||
|
return fn(ctx, msg, opts...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestNoopHook(t *testing.T) {
|
||||||
|
h := &testHook{}
|
||||||
|
|
||||||
|
c := NewClient(Hooks(HookPublish(h.Publish)))
|
||||||
|
|
||||||
|
if err := c.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := c.Publish(context.TODO(), c.NewMessage("", nil, MessageContentType("application/octet-stream"))); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if !h.f {
|
||||||
|
t.Fatal("hook not works")
|
||||||
|
}
|
||||||
|
}
|
|
@ -12,6 +12,7 @@ import (
|
||||||
"go.unistack.org/micro/v3/metadata"
|
"go.unistack.org/micro/v3/metadata"
|
||||||
"go.unistack.org/micro/v3/meter"
|
"go.unistack.org/micro/v3/meter"
|
||||||
"go.unistack.org/micro/v3/network/transport"
|
"go.unistack.org/micro/v3/network/transport"
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
"go.unistack.org/micro/v3/register"
|
"go.unistack.org/micro/v3/register"
|
||||||
"go.unistack.org/micro/v3/router"
|
"go.unistack.org/micro/v3/router"
|
||||||
"go.unistack.org/micro/v3/selector"
|
"go.unistack.org/micro/v3/selector"
|
||||||
|
@ -59,6 +60,9 @@ type Options struct {
|
||||||
PoolTTL time.Duration
|
PoolTTL time.Duration
|
||||||
// ContextDialer used to connect
|
// ContextDialer used to connect
|
||||||
ContextDialer func(context.Context, string) (net.Conn, error)
|
ContextDialer func(context.Context, string) (net.Conn, error)
|
||||||
|
// Hooks can be run before broker Publish/BatchPublish and
|
||||||
|
// Subscribe/BatchSubscribe methods
|
||||||
|
Hooks options.Hooks
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewCallOptions creates new call options struct
|
// NewCallOptions creates new call options struct
|
||||||
|
@ -92,8 +96,6 @@ type CallOptions struct {
|
||||||
Address []string
|
Address []string
|
||||||
// SelectOptions selector options
|
// SelectOptions selector options
|
||||||
SelectOptions []selector.SelectOption
|
SelectOptions []selector.SelectOption
|
||||||
// CallWrappers call wrappers
|
|
||||||
CallWrappers []CallWrapper
|
|
||||||
// StreamTimeout stream timeout
|
// StreamTimeout stream timeout
|
||||||
StreamTimeout time.Duration
|
StreamTimeout time.Duration
|
||||||
// RequestTimeout request timeout
|
// RequestTimeout request timeout
|
||||||
|
@ -185,7 +187,7 @@ func NewOptions(opts ...Option) Options {
|
||||||
options := Options{
|
options := Options{
|
||||||
Context: context.Background(),
|
Context: context.Background(),
|
||||||
ContentType: DefaultContentType,
|
ContentType: DefaultContentType,
|
||||||
Codecs: make(map[string]codec.Codec),
|
Codecs: DefaultCodecs,
|
||||||
CallOptions: CallOptions{
|
CallOptions: CallOptions{
|
||||||
Context: context.Background(),
|
Context: context.Background(),
|
||||||
Backoff: DefaultBackoff,
|
Backoff: DefaultBackoff,
|
||||||
|
@ -306,20 +308,6 @@ func Selector(s selector.Selector) Option {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// Wrap adds a wrapper to the list of options passed into the client
|
|
||||||
func Wrap(w Wrapper) Option {
|
|
||||||
return func(o *Options) {
|
|
||||||
o.Wrappers = append(o.Wrappers, w)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// WrapCall adds a wrapper to the list of CallFunc wrappers
|
|
||||||
func WrapCall(cw ...CallWrapper) Option {
|
|
||||||
return func(o *Options) {
|
|
||||||
o.CallOptions.CallWrappers = append(o.CallOptions.CallWrappers, cw...)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// Backoff is used to set the backoff function used when retrying Calls
|
// Backoff is used to set the backoff function used when retrying Calls
|
||||||
func Backoff(fn BackoffFunc) Option {
|
func Backoff(fn BackoffFunc) Option {
|
||||||
return func(o *Options) {
|
return func(o *Options) {
|
||||||
|
@ -450,13 +438,6 @@ func WithAddress(a ...string) CallOption {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// WithCallWrapper is a CallOption which adds to the existing CallFunc wrappers
|
|
||||||
func WithCallWrapper(cw ...CallWrapper) CallOption {
|
|
||||||
return func(o *CallOptions) {
|
|
||||||
o.CallWrappers = append(o.CallWrappers, cw...)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// WithBackoff is a CallOption which overrides that which
|
// WithBackoff is a CallOption which overrides that which
|
||||||
// set in Options.CallOptions
|
// set in Options.CallOptions
|
||||||
func WithBackoff(fn BackoffFunc) CallOption {
|
func WithBackoff(fn BackoffFunc) CallOption {
|
||||||
|
@ -591,3 +572,10 @@ func RequestContentType(ct string) RequestOption {
|
||||||
o.ContentType = ct
|
o.ContentType = ct
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// Hooks sets hook runs before action
|
||||||
|
func Hooks(h ...options.Hook) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.Hooks = append(o.Hooks, h...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
|
@ -0,0 +1,41 @@
|
||||||
|
package cluster
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/metadata"
|
||||||
|
)
|
||||||
|
|
||||||
|
// Message sent to member in cluster
|
||||||
|
type Message interface {
|
||||||
|
// Header returns message headers
|
||||||
|
Header() metadata.Metadata
|
||||||
|
// Body returns broker message may be []byte slice or some go struct or interface
|
||||||
|
Body() interface{}
|
||||||
|
}
|
||||||
|
|
||||||
|
type Node interface {
|
||||||
|
// Name returns node name
|
||||||
|
Name() string
|
||||||
|
// Address returns node address
|
||||||
|
Address() string
|
||||||
|
// Metadata returns node metadata
|
||||||
|
Metadata() metadata.Metadata
|
||||||
|
}
|
||||||
|
|
||||||
|
// Cluster interface used for cluster communication across nodes
|
||||||
|
type Cluster interface {
|
||||||
|
// Join is used to take an existing members and performing state sync
|
||||||
|
Join(ctx context.Context, addr ...string) error
|
||||||
|
// Leave broadcast a leave message and stop listeners
|
||||||
|
Leave(ctx context.Context) error
|
||||||
|
// Ping is used to probe live status of the node
|
||||||
|
Ping(ctx context.Context, node Node, payload []byte) error
|
||||||
|
// Members returns the cluster members
|
||||||
|
Members() ([]Node, error)
|
||||||
|
// Broadcast send message for all members in cluster, if filter is not nil, nodes may be filtered
|
||||||
|
// by key/value pairs
|
||||||
|
Broadcast(ctx context.Context, msg Message, filter ...string) error
|
||||||
|
// Unicast send message to single member in cluster
|
||||||
|
Unicast(ctx context.Context, node Node, msg Message) error
|
||||||
|
}
|
|
@ -13,7 +13,7 @@ type Validator interface {
|
||||||
}
|
}
|
||||||
|
|
||||||
// DefaultConfig default config
|
// DefaultConfig default config
|
||||||
var DefaultConfig = NewConfig()
|
var DefaultConfig Config = NewConfig()
|
||||||
|
|
||||||
// DefaultWatcherMinInterval default min interval for poll changes
|
// DefaultWatcherMinInterval default min interval for poll changes
|
||||||
var DefaultWatcherMinInterval = 5 * time.Second
|
var DefaultWatcherMinInterval = 5 * time.Second
|
||||||
|
@ -50,6 +50,13 @@ type Config interface {
|
||||||
String() string
|
String() string
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type (
|
||||||
|
FuncLoad func(ctx context.Context, opts ...LoadOption) error
|
||||||
|
HookLoad func(next FuncLoad) FuncLoad
|
||||||
|
FuncSave func(ctx context.Context, opts ...SaveOption) error
|
||||||
|
HookSave func(next FuncSave) FuncSave
|
||||||
|
)
|
||||||
|
|
||||||
// Watcher is the config watcher
|
// Watcher is the config watcher
|
||||||
type Watcher interface {
|
type Watcher interface {
|
||||||
// Next blocks until update happens or error returned
|
// Next blocks until update happens or error returned
|
||||||
|
|
|
@ -7,13 +7,18 @@ import (
|
||||||
"strings"
|
"strings"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
"github.com/imdario/mergo"
|
"dario.cat/mergo"
|
||||||
|
"github.com/google/uuid"
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
|
mid "go.unistack.org/micro/v3/util/id"
|
||||||
rutil "go.unistack.org/micro/v3/util/reflect"
|
rutil "go.unistack.org/micro/v3/util/reflect"
|
||||||
mtime "go.unistack.org/micro/v3/util/time"
|
mtime "go.unistack.org/micro/v3/util/time"
|
||||||
)
|
)
|
||||||
|
|
||||||
type defaultConfig struct {
|
type defaultConfig struct {
|
||||||
opts Options
|
funcLoad FuncLoad
|
||||||
|
funcSave FuncSave
|
||||||
|
opts Options
|
||||||
}
|
}
|
||||||
|
|
||||||
func (c *defaultConfig) Options() Options {
|
func (c *defaultConfig) Options() Options {
|
||||||
|
@ -29,6 +34,18 @@ func (c *defaultConfig) Init(opts ...Option) error {
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
|
c.funcLoad = c.fnLoad
|
||||||
|
c.funcSave = c.fnSave
|
||||||
|
|
||||||
|
c.opts.Hooks.EachNext(func(hook options.Hook) {
|
||||||
|
switch h := hook.(type) {
|
||||||
|
case HookLoad:
|
||||||
|
c.funcLoad = h(c.funcLoad)
|
||||||
|
case HookSave:
|
||||||
|
c.funcSave = h(c.funcSave)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
|
||||||
if err := DefaultAfterInit(c.opts.Context, c); err != nil && !c.opts.AllowFail {
|
if err := DefaultAfterInit(c.opts.Context, c); err != nil && !c.opts.AllowFail {
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
@ -37,7 +54,17 @@ func (c *defaultConfig) Init(opts ...Option) error {
|
||||||
}
|
}
|
||||||
|
|
||||||
func (c *defaultConfig) Load(ctx context.Context, opts ...LoadOption) error {
|
func (c *defaultConfig) Load(ctx context.Context, opts ...LoadOption) error {
|
||||||
if err := DefaultBeforeLoad(ctx, c); err != nil && !c.opts.AllowFail {
|
return c.funcLoad(ctx, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *defaultConfig) fnLoad(ctx context.Context, opts ...LoadOption) error {
|
||||||
|
var err error
|
||||||
|
|
||||||
|
if c.opts.SkipLoad != nil && c.opts.SkipLoad(ctx, c) {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
if err = DefaultBeforeLoad(ctx, c); err != nil && !c.opts.AllowFail {
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -124,6 +151,20 @@ func fillValue(value reflect.Value, val string) error {
|
||||||
}
|
}
|
||||||
value.Set(reflect.ValueOf(v))
|
value.Set(reflect.ValueOf(v))
|
||||||
case reflect.String:
|
case reflect.String:
|
||||||
|
switch val {
|
||||||
|
case "micro:generate uuid":
|
||||||
|
uid, err := uuid.NewRandom()
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
val = uid.String()
|
||||||
|
case "micro:generate id":
|
||||||
|
uid, err := mid.New()
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
val = uid
|
||||||
|
}
|
||||||
value.Set(reflect.ValueOf(val))
|
value.Set(reflect.ValueOf(val))
|
||||||
case reflect.Float32:
|
case reflect.Float32:
|
||||||
v, err := strconv.ParseFloat(val, 32)
|
v, err := strconv.ParseFloat(val, 32)
|
||||||
|
@ -213,6 +254,7 @@ func fillValue(value reflect.Value, val string) error {
|
||||||
}
|
}
|
||||||
value.Set(reflect.ValueOf(v))
|
value.Set(reflect.ValueOf(v))
|
||||||
}
|
}
|
||||||
|
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -276,6 +318,14 @@ func fillValues(valueOf reflect.Value, tname string) error {
|
||||||
}
|
}
|
||||||
|
|
||||||
func (c *defaultConfig) Save(ctx context.Context, opts ...SaveOption) error {
|
func (c *defaultConfig) Save(ctx context.Context, opts ...SaveOption) error {
|
||||||
|
return c.funcSave(ctx, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (c *defaultConfig) fnSave(ctx context.Context, opts ...SaveOption) error {
|
||||||
|
if c.opts.SkipSave != nil && c.opts.SkipSave(ctx, c) {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
if err := DefaultBeforeSave(ctx, c); err != nil {
|
if err := DefaultBeforeSave(ctx, c); err != nil {
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
@ -295,7 +345,7 @@ func (c *defaultConfig) Name() string {
|
||||||
return c.opts.Name
|
return c.opts.Name
|
||||||
}
|
}
|
||||||
|
|
||||||
func (c *defaultConfig) Watch(ctx context.Context, opts ...WatchOption) (Watcher, error) {
|
func (c *defaultConfig) Watch(_ context.Context, _ ...WatchOption) (Watcher, error) {
|
||||||
return nil, ErrWatcherNotImplemented
|
return nil, ErrWatcherNotImplemented
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -305,5 +355,9 @@ func NewConfig(opts ...Option) Config {
|
||||||
if len(options.StructTag) == 0 {
|
if len(options.StructTag) == 0 {
|
||||||
options.StructTag = "default"
|
options.StructTag = "default"
|
||||||
}
|
}
|
||||||
return &defaultConfig{opts: options}
|
c := &defaultConfig{opts: options}
|
||||||
|
c.funcLoad = c.fnLoad
|
||||||
|
c.funcSave = c.fnSave
|
||||||
|
|
||||||
|
return c
|
||||||
}
|
}
|
||||||
|
|
|
@ -7,6 +7,7 @@ import (
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
"go.unistack.org/micro/v3/config"
|
"go.unistack.org/micro/v3/config"
|
||||||
|
mid "go.unistack.org/micro/v3/util/id"
|
||||||
mtime "go.unistack.org/micro/v3/util/time"
|
mtime "go.unistack.org/micro/v3/util/time"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -14,9 +15,12 @@ type cfg struct {
|
||||||
StringValue string `default:"string_value"`
|
StringValue string `default:"string_value"`
|
||||||
IgnoreValue string `json:"-"`
|
IgnoreValue string `json:"-"`
|
||||||
StructValue *cfgStructValue
|
StructValue *cfgStructValue
|
||||||
IntValue int `default:"99"`
|
IntValue int `default:"99"`
|
||||||
DurationValue time.Duration `default:"10s"`
|
DurationValue time.Duration `default:"10s"`
|
||||||
MDurationValue mtime.Duration `default:"10s"`
|
MDurationValue mtime.Duration `default:"10s"`
|
||||||
|
MapValue map[string]bool `default:"key1=true,key2=false"`
|
||||||
|
UUIDValue string `default:"micro:generate uuid"`
|
||||||
|
IDValue string `default:"micro:generate id"`
|
||||||
}
|
}
|
||||||
|
|
||||||
type cfgStructValue struct {
|
type cfgStructValue struct {
|
||||||
|
@ -37,6 +41,35 @@ func (c *cfgStructValue) Validate() error {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type testHook struct {
|
||||||
|
f bool
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *testHook) Load(fn config.FuncLoad) config.FuncLoad {
|
||||||
|
return func(ctx context.Context, opts ...config.LoadOption) error {
|
||||||
|
t.f = true
|
||||||
|
return fn(ctx, opts...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestHook(t *testing.T) {
|
||||||
|
h := &testHook{}
|
||||||
|
|
||||||
|
c := config.NewConfig(config.Struct(h), config.Hooks(config.HookLoad(h.Load)))
|
||||||
|
|
||||||
|
if err := c.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := c.Load(context.TODO()); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if !h.f {
|
||||||
|
t.Fatal("hook not works")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
func TestDefault(t *testing.T) {
|
func TestDefault(t *testing.T) {
|
||||||
ctx := context.Background()
|
ctx := context.Background()
|
||||||
conf := &cfg{IntValue: 10}
|
conf := &cfg{IntValue: 10}
|
||||||
|
@ -67,6 +100,21 @@ func TestDefault(t *testing.T) {
|
||||||
if conf.StringValue != "after_load" {
|
if conf.StringValue != "after_load" {
|
||||||
t.Fatal("AfterLoad option not working")
|
t.Fatal("AfterLoad option not working")
|
||||||
}
|
}
|
||||||
|
if len(conf.MapValue) != 2 {
|
||||||
|
t.Fatalf("map value invalid: %#+v\n", conf.MapValue)
|
||||||
|
}
|
||||||
|
|
||||||
|
if conf.UUIDValue == "" {
|
||||||
|
t.Fatalf("uuid value empty")
|
||||||
|
} else if len(conf.UUIDValue) != 36 {
|
||||||
|
t.Fatalf("uuid value invalid: %s", conf.UUIDValue)
|
||||||
|
}
|
||||||
|
|
||||||
|
if conf.IDValue == "" {
|
||||||
|
t.Fatalf("id value empty")
|
||||||
|
} else if len(conf.IDValue) != mid.DefaultSize {
|
||||||
|
t.Fatalf("id value invalid: %s", conf.IDValue)
|
||||||
|
}
|
||||||
_ = conf
|
_ = conf
|
||||||
// t.Logf("%#+v\n", conf)
|
// t.Logf("%#+v\n", conf)
|
||||||
}
|
}
|
||||||
|
|
|
@ -7,6 +7,7 @@ import (
|
||||||
"go.unistack.org/micro/v3/codec"
|
"go.unistack.org/micro/v3/codec"
|
||||||
"go.unistack.org/micro/v3/logger"
|
"go.unistack.org/micro/v3/logger"
|
||||||
"go.unistack.org/micro/v3/meter"
|
"go.unistack.org/micro/v3/meter"
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
"go.unistack.org/micro/v3/tracer"
|
"go.unistack.org/micro/v3/tracer"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -42,6 +43,12 @@ type Options struct {
|
||||||
AfterInit []func(context.Context, Config) error
|
AfterInit []func(context.Context, Config) error
|
||||||
// AllowFail flag to allow fail in config source
|
// AllowFail flag to allow fail in config source
|
||||||
AllowFail bool
|
AllowFail bool
|
||||||
|
// SkipLoad runs only if condition returns true
|
||||||
|
SkipLoad func(context.Context, Config) bool
|
||||||
|
// SkipSave runs only if condition returns true
|
||||||
|
SkipSave func(context.Context, Config) bool
|
||||||
|
// Hooks can be run before/after config Save/Load
|
||||||
|
Hooks options.Hooks
|
||||||
}
|
}
|
||||||
|
|
||||||
// Option function signature
|
// Option function signature
|
||||||
|
@ -68,9 +75,9 @@ type LoadOption func(o *LoadOptions)
|
||||||
// LoadOptions struct
|
// LoadOptions struct
|
||||||
type LoadOptions struct {
|
type LoadOptions struct {
|
||||||
Struct interface{}
|
Struct interface{}
|
||||||
|
Context context.Context
|
||||||
Override bool
|
Override bool
|
||||||
Append bool
|
Append bool
|
||||||
Context context.Context
|
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewLoadOptions create LoadOptions struct with provided opts
|
// NewLoadOptions create LoadOptions struct with provided opts
|
||||||
|
@ -284,3 +291,10 @@ func WatchStruct(src interface{}) WatchOption {
|
||||||
o.Struct = src
|
o.Struct = src
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// Hooks sets hook runs before action
|
||||||
|
func Hooks(h ...options.Hook) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.Hooks = append(o.Hooks, h...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
|
@ -0,0 +1,157 @@
|
||||||
|
package database
|
||||||
|
|
||||||
|
import (
|
||||||
|
"crypto/tls"
|
||||||
|
"errors"
|
||||||
|
"fmt"
|
||||||
|
"net/url"
|
||||||
|
"strings"
|
||||||
|
)
|
||||||
|
|
||||||
|
var (
|
||||||
|
ErrInvalidDSNAddr = errors.New("invalid dsn addr")
|
||||||
|
ErrInvalidDSNUnescaped = errors.New("dsn must be escaped")
|
||||||
|
ErrInvalidDSNNoSlash = errors.New("dsn must contains slash")
|
||||||
|
)
|
||||||
|
|
||||||
|
type Config struct {
|
||||||
|
TLSConfig *tls.Config
|
||||||
|
Username string
|
||||||
|
Password string
|
||||||
|
Scheme string
|
||||||
|
Host string
|
||||||
|
Port string
|
||||||
|
Database string
|
||||||
|
Params []string
|
||||||
|
}
|
||||||
|
|
||||||
|
func (cfg *Config) FormatDSN() string {
|
||||||
|
var s strings.Builder
|
||||||
|
|
||||||
|
if len(cfg.Scheme) > 0 {
|
||||||
|
s.WriteString(cfg.Scheme + "://")
|
||||||
|
}
|
||||||
|
// [username[:password]@]
|
||||||
|
if len(cfg.Username) > 0 {
|
||||||
|
s.WriteString(cfg.Username)
|
||||||
|
if len(cfg.Password) > 0 {
|
||||||
|
s.WriteByte(':')
|
||||||
|
s.WriteString(url.PathEscape(cfg.Password))
|
||||||
|
}
|
||||||
|
s.WriteByte('@')
|
||||||
|
}
|
||||||
|
|
||||||
|
// [host:port]
|
||||||
|
if len(cfg.Host) > 0 {
|
||||||
|
s.WriteString(cfg.Host)
|
||||||
|
if len(cfg.Port) > 0 {
|
||||||
|
s.WriteByte(':')
|
||||||
|
s.WriteString(cfg.Port)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// /dbname
|
||||||
|
s.WriteByte('/')
|
||||||
|
s.WriteString(url.PathEscape(cfg.Database))
|
||||||
|
|
||||||
|
for i := 0; i < len(cfg.Params); i += 2 {
|
||||||
|
if i == 0 {
|
||||||
|
s.WriteString("?")
|
||||||
|
} else {
|
||||||
|
s.WriteString("&")
|
||||||
|
}
|
||||||
|
s.WriteString(cfg.Params[i])
|
||||||
|
s.WriteString("=")
|
||||||
|
s.WriteString(cfg.Params[i+1])
|
||||||
|
}
|
||||||
|
|
||||||
|
return s.String()
|
||||||
|
}
|
||||||
|
|
||||||
|
func ParseDSN(dsn string) (*Config, error) {
|
||||||
|
cfg := &Config{}
|
||||||
|
|
||||||
|
// [user[:password]@][net[(addr)]]/dbname[?param1=value1¶mN=valueN]
|
||||||
|
// Find last '/' that goes before dbname
|
||||||
|
foundSlash := false
|
||||||
|
for i := len(dsn) - 1; i >= 0; i-- {
|
||||||
|
if dsn[i] == '/' {
|
||||||
|
foundSlash = true
|
||||||
|
var j, k int
|
||||||
|
|
||||||
|
// left part is empty if i <= 0
|
||||||
|
if i > 0 {
|
||||||
|
// Find the first ':' in dsn
|
||||||
|
for j = i; j >= 0; j-- {
|
||||||
|
if dsn[j] == ':' {
|
||||||
|
cfg.Scheme = dsn[0:j]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// [username[:password]@][host]
|
||||||
|
// Find the last '@' in dsn[:i]
|
||||||
|
for j = i; j >= 0; j-- {
|
||||||
|
if dsn[j] == '@' {
|
||||||
|
// username[:password]
|
||||||
|
// Find the second ':' in dsn[:j]
|
||||||
|
for k = 0; k < j; k++ {
|
||||||
|
if dsn[k] == ':' {
|
||||||
|
if cfg.Scheme == dsn[:k] {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
var err error
|
||||||
|
cfg.Password, err = url.PathUnescape(dsn[k+1 : j])
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
cfg.Username = dsn[len(cfg.Scheme)+3 : k]
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
for k = j + 1; k < i; k++ {
|
||||||
|
if dsn[k] == ':' {
|
||||||
|
cfg.Host = dsn[j+1 : k]
|
||||||
|
cfg.Port = dsn[k+1 : i]
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
// dbname[?param1=value1&...¶mN=valueN]
|
||||||
|
// Find the first '?' in dsn[i+1:]
|
||||||
|
for j = i + 1; j < len(dsn); j++ {
|
||||||
|
if dsn[j] == '?' {
|
||||||
|
parts := strings.Split(dsn[j+1:], "&")
|
||||||
|
cfg.Params = make([]string, 0, len(parts)*2)
|
||||||
|
for _, p := range parts {
|
||||||
|
k, v, found := strings.Cut(p, "=")
|
||||||
|
if !found {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
cfg.Params = append(cfg.Params, k, v)
|
||||||
|
}
|
||||||
|
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
var err error
|
||||||
|
dbname := dsn[i+1 : j]
|
||||||
|
if cfg.Database, err = url.PathUnescape(dbname); err != nil {
|
||||||
|
return nil, fmt.Errorf("invalid dbname %q: %w", dbname, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if !foundSlash && len(dsn) > 0 {
|
||||||
|
return nil, ErrInvalidDSNNoSlash
|
||||||
|
}
|
||||||
|
|
||||||
|
return cfg, nil
|
||||||
|
}
|
|
@ -0,0 +1,31 @@
|
||||||
|
package database
|
||||||
|
|
||||||
|
import (
|
||||||
|
"net/url"
|
||||||
|
"testing"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestParseDSN(t *testing.T) {
|
||||||
|
cfg, err := ParseDSN("postgres://username:p@ssword#@host:12345/dbname?key1=val2&key2=val2")
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
if cfg.Password != "p@ssword#" {
|
||||||
|
t.Fatalf("parsing error")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestFormatDSN(t *testing.T) {
|
||||||
|
src := "postgres://username:p@ssword#@host:12345/dbname?key1=val2&key2=val2"
|
||||||
|
cfg, err := ParseDSN(src)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
dst, err := url.PathUnescape(cfg.FormatDSN())
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
if src != dst {
|
||||||
|
t.Fatalf("\n%s\n%s", src, dst)
|
||||||
|
}
|
||||||
|
}
|
142
errors/errors.go
142
errors/errors.go
|
@ -4,11 +4,17 @@ package errors // import "go.unistack.org/micro/v3/errors"
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"bytes"
|
"bytes"
|
||||||
|
"context"
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
|
"errors"
|
||||||
"fmt"
|
"fmt"
|
||||||
|
"io"
|
||||||
"net/http"
|
"net/http"
|
||||||
"strconv"
|
"strconv"
|
||||||
"strings"
|
"strings"
|
||||||
|
|
||||||
|
"google.golang.org/grpc/codes"
|
||||||
|
"google.golang.org/grpc/status"
|
||||||
)
|
)
|
||||||
|
|
||||||
var (
|
var (
|
||||||
|
@ -256,6 +262,10 @@ func CodeIn(err interface{}, codes ...int32) bool {
|
||||||
|
|
||||||
// FromError try to convert go error to *Error
|
// FromError try to convert go error to *Error
|
||||||
func FromError(err error) *Error {
|
func FromError(err error) *Error {
|
||||||
|
if err == nil {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
if verr, ok := err.(*Error); ok && verr != nil {
|
if verr, ok := err.(*Error); ok && verr != nil {
|
||||||
return verr
|
return verr
|
||||||
}
|
}
|
||||||
|
@ -340,3 +350,135 @@ func addslashes(str string) string {
|
||||||
}
|
}
|
||||||
return buf.String()
|
return buf.String()
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type retryableError struct {
|
||||||
|
err error
|
||||||
|
}
|
||||||
|
|
||||||
|
// Retryable returns error that can be retried later
|
||||||
|
func Retryable(err error) error {
|
||||||
|
return &retryableError{err: err}
|
||||||
|
}
|
||||||
|
|
||||||
|
type IsRetryableFunc func(error) bool
|
||||||
|
|
||||||
|
var (
|
||||||
|
RetrayableOracleErrors = []IsRetryableFunc{
|
||||||
|
func(err error) bool {
|
||||||
|
errmsg := err.Error()
|
||||||
|
switch {
|
||||||
|
case strings.Contains(errmsg, `ORA-`):
|
||||||
|
return true
|
||||||
|
case strings.Contains(errmsg, `can not assign`):
|
||||||
|
return true
|
||||||
|
case strings.Contains(errmsg, `can't assign`):
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
},
|
||||||
|
}
|
||||||
|
RetrayablePostgresErrors = []IsRetryableFunc{
|
||||||
|
func(err error) bool {
|
||||||
|
errmsg := err.Error()
|
||||||
|
switch {
|
||||||
|
case strings.Contains(errmsg, `number of field descriptions must equal number of`):
|
||||||
|
return true
|
||||||
|
case strings.Contains(errmsg, `not a pointer`):
|
||||||
|
return true
|
||||||
|
case strings.Contains(errmsg, `values, but dst struct has only`):
|
||||||
|
return true
|
||||||
|
case strings.Contains(errmsg, `struct doesn't have corresponding row field`):
|
||||||
|
return true
|
||||||
|
case strings.Contains(errmsg, `cannot find field`):
|
||||||
|
return true
|
||||||
|
case strings.Contains(errmsg, `cannot scan`) || strings.Contains(errmsg, `cannot convert`):
|
||||||
|
return true
|
||||||
|
case strings.Contains(errmsg, `failed to connect to`):
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
},
|
||||||
|
}
|
||||||
|
RetryableMicroErrors = []IsRetryableFunc{
|
||||||
|
func(err error) bool {
|
||||||
|
switch verr := err.(type) {
|
||||||
|
case *Error:
|
||||||
|
switch verr.Code {
|
||||||
|
case 401, 403, 408, 500, 501, 502, 503, 504:
|
||||||
|
return true
|
||||||
|
default:
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
case *retryableError:
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
},
|
||||||
|
}
|
||||||
|
RetryableGoErrors = []IsRetryableFunc{
|
||||||
|
func(err error) bool {
|
||||||
|
switch verr := err.(type) {
|
||||||
|
case interface{ SafeToRetry() bool }:
|
||||||
|
return verr.SafeToRetry()
|
||||||
|
case interface{ Timeout() bool }:
|
||||||
|
return verr.Timeout()
|
||||||
|
}
|
||||||
|
switch {
|
||||||
|
case errors.Is(err, io.EOF), errors.Is(err, io.ErrUnexpectedEOF):
|
||||||
|
return true
|
||||||
|
case errors.Is(err, context.DeadlineExceeded):
|
||||||
|
return true
|
||||||
|
case errors.Is(err, io.ErrClosedPipe), errors.Is(err, io.ErrShortBuffer), errors.Is(err, io.ErrShortWrite):
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
},
|
||||||
|
}
|
||||||
|
RetryableGrpcErrors = []IsRetryableFunc{
|
||||||
|
func(err error) bool {
|
||||||
|
st, ok := status.FromError(err)
|
||||||
|
if !ok {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
switch st.Code() {
|
||||||
|
case codes.Unavailable, codes.ResourceExhausted:
|
||||||
|
return true
|
||||||
|
case codes.DeadlineExceeded:
|
||||||
|
return true
|
||||||
|
case codes.Internal:
|
||||||
|
switch {
|
||||||
|
case strings.Contains(st.Message(), `transport: received the unexpected content-type "text/html; charset=UTF-8"`):
|
||||||
|
return true
|
||||||
|
case strings.Contains(st.Message(), io.ErrUnexpectedEOF.Error()):
|
||||||
|
return true
|
||||||
|
case strings.Contains(st.Message(), `stream terminated by RST_STREAM with error code: INTERNAL_ERROR`):
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
},
|
||||||
|
}
|
||||||
|
)
|
||||||
|
|
||||||
|
// Unwrap provides error wrapping
|
||||||
|
func (e *retryableError) Unwrap() error {
|
||||||
|
return e.err
|
||||||
|
}
|
||||||
|
|
||||||
|
// Error returns the error string
|
||||||
|
func (e *retryableError) Error() string {
|
||||||
|
if e.err == nil {
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
return e.err.Error()
|
||||||
|
}
|
||||||
|
|
||||||
|
// IsRetryable checks error for ability to retry later
|
||||||
|
func IsRetryable(err error, fns ...IsRetryableFunc) bool {
|
||||||
|
for _, fn := range fns {
|
||||||
|
if ok := fn(err); ok {
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
|
@ -8,6 +8,13 @@ import (
|
||||||
"testing"
|
"testing"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
func TestIsRetrayable(t *testing.T) {
|
||||||
|
err := fmt.Errorf("ORA-")
|
||||||
|
if !IsRetryable(err, RetrayableOracleErrors...) {
|
||||||
|
t.Fatalf("IsRetrayable not works")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
func TestMarshalJSON(t *testing.T) {
|
func TestMarshalJSON(t *testing.T) {
|
||||||
e := InternalServerError("id", "err: %v", fmt.Errorf("err: %v", `xxx: "UNIX_TIMESTAMP": invalid identifier`))
|
e := InternalServerError("id", "err: %v", fmt.Errorf("err: %v", `xxx: "UNIX_TIMESTAMP": invalid identifier`))
|
||||||
_, err := json.Marshal(e)
|
_, err := json.Marshal(e)
|
||||||
|
|
17
go.mod
17
go.mod
|
@ -1,9 +1,20 @@
|
||||||
module go.unistack.org/micro/v3
|
module go.unistack.org/micro/v3
|
||||||
|
|
||||||
go 1.19
|
go 1.20
|
||||||
|
|
||||||
require (
|
require (
|
||||||
github.com/imdario/mergo v0.3.14
|
dario.cat/mergo v1.0.0
|
||||||
|
github.com/DATA-DOG/go-sqlmock v1.5.0
|
||||||
|
github.com/google/uuid v1.3.0
|
||||||
github.com/patrickmn/go-cache v2.1.0+incompatible
|
github.com/patrickmn/go-cache v2.1.0+incompatible
|
||||||
github.com/silas/dag v0.0.0-20211117232152-9d50aa809f35
|
github.com/silas/dag v0.0.0-20220518035006-a7e85ada93c5
|
||||||
|
golang.org/x/sync v0.3.0
|
||||||
|
google.golang.org/grpc v1.57.0
|
||||||
|
google.golang.org/protobuf v1.31.0
|
||||||
|
)
|
||||||
|
|
||||||
|
require (
|
||||||
|
github.com/golang/protobuf v1.5.3 // indirect
|
||||||
|
golang.org/x/net v0.14.0 // indirect
|
||||||
|
google.golang.org/genproto/googleapis/rpc v0.0.0-20230526203410-71b5a4ffd15e // indirect
|
||||||
)
|
)
|
||||||
|
|
32
go.sum
32
go.sum
|
@ -1,9 +1,33 @@
|
||||||
github.com/imdario/mergo v0.3.14 h1:fOqeC1+nCuuk6PKQdg9YmosXX7Y7mHX6R/0ZldI9iHo=
|
dario.cat/mergo v1.0.0 h1:AGCNq9Evsj31mOgNPcLyXc+4PNABt905YmuqPYYpBWk=
|
||||||
github.com/imdario/mergo v0.3.14/go.mod h1:WBLT9ZmE3lPoWsEzCh9LPo3TiwVN+ZKEjmz+hD27ysY=
|
dario.cat/mergo v1.0.0/go.mod h1:uNxQE+84aUszobStD9th8a29P2fMDhsBdgRYvZOxGmk=
|
||||||
|
github.com/DATA-DOG/go-sqlmock v1.5.0 h1:Shsta01QNfFxHCfpW6YH2STWB0MudeXXEWMr20OEh60=
|
||||||
|
github.com/DATA-DOG/go-sqlmock v1.5.0/go.mod h1:f/Ixk793poVmq4qj/V1dPUg2JEAKC73Q5eFN3EC/SaM=
|
||||||
|
github.com/golang/protobuf v1.5.0/go.mod h1:FsONVRAS9T7sI+LIUmWTfcYkHO4aIWwzhcaSAoJOfIk=
|
||||||
|
github.com/golang/protobuf v1.5.3 h1:KhyjKVUg7Usr/dYsdSqoFveMYd5ko72D+zANwlG1mmg=
|
||||||
|
github.com/golang/protobuf v1.5.3/go.mod h1:XVQd3VNwM+JqD3oG2Ue2ip4fOMUkwXdXDdiuN0vRsmY=
|
||||||
|
github.com/google/go-cmp v0.5.5/go.mod h1:v8dTdLbMG2kIc/vJvl+f65V22dbkXbowE6jgT/gNBxE=
|
||||||
|
github.com/google/go-cmp v0.5.9 h1:O2Tfq5qg4qc4AmwVlvv0oLiVAGB7enBSJ2x2DqQFi38=
|
||||||
|
github.com/google/uuid v1.3.0 h1:t6JiXgmwXMjEs8VusXIJk2BXHsn+wx8BZdTaoZ5fu7I=
|
||||||
|
github.com/google/uuid v1.3.0/go.mod h1:TIyPZe4MgqvfeYDBFedMoGGpEw/LqOeaOT+nhxU+yHo=
|
||||||
github.com/patrickmn/go-cache v2.1.0+incompatible h1:HRMgzkcYKYpi3C8ajMPV8OFXaaRUnok+kx1WdO15EQc=
|
github.com/patrickmn/go-cache v2.1.0+incompatible h1:HRMgzkcYKYpi3C8ajMPV8OFXaaRUnok+kx1WdO15EQc=
|
||||||
github.com/patrickmn/go-cache v2.1.0+incompatible/go.mod h1:3Qf8kWWT7OJRJbdiICTKqZju1ZixQ/KpMGzzAfe6+WQ=
|
github.com/patrickmn/go-cache v2.1.0+incompatible/go.mod h1:3Qf8kWWT7OJRJbdiICTKqZju1ZixQ/KpMGzzAfe6+WQ=
|
||||||
github.com/silas/dag v0.0.0-20211117232152-9d50aa809f35 h1:4mohWoM/UGg1BvFFiqSPRl5uwJY3rVV0HQX0ETqauqQ=
|
github.com/silas/dag v0.0.0-20220518035006-a7e85ada93c5 h1:G/FZtUu7a6NTWl3KUHMV9jkLAh/Rvtf03NWMHaEDl+E=
|
||||||
github.com/silas/dag v0.0.0-20211117232152-9d50aa809f35/go.mod h1:7RTUFBdIRC9nZ7/3RyRNH1bdqIShrDejd1YbLwgPS+I=
|
github.com/silas/dag v0.0.0-20220518035006-a7e85ada93c5/go.mod h1:7RTUFBdIRC9nZ7/3RyRNH1bdqIShrDejd1YbLwgPS+I=
|
||||||
|
golang.org/x/net v0.14.0 h1:BONx9s002vGdD9umnlX1Po8vOZmrgH34qlHcD1MfK14=
|
||||||
|
golang.org/x/net v0.14.0/go.mod h1:PpSgVXXLK0OxS0F31C1/tv6XNguvCrnXIDrFMspZIUI=
|
||||||
|
golang.org/x/sync v0.3.0 h1:ftCYgMx6zT/asHUrPw8BLLscYtGznsLAnjq5RH9P66E=
|
||||||
|
golang.org/x/sync v0.3.0/go.mod h1:FU7BRWz2tNW+3quACPkgCx/L+uEAv1htQ0V83Z9Rj+Y=
|
||||||
|
golang.org/x/sys v0.11.0 h1:eG7RXZHdqOJ1i+0lgLgCpSXAp6M3LYlAo6osgSi0xOM=
|
||||||
|
golang.org/x/text v0.12.0 h1:k+n5B8goJNdU7hSvEtMUz3d1Q6D/XW4COJSJR6fN0mc=
|
||||||
|
golang.org/x/xerrors v0.0.0-20191204190536-9bdfabe68543/go.mod h1:I/5z698sn9Ka8TeJc9MKroUUfqBBauWjQqLJ2OPfmY0=
|
||||||
|
google.golang.org/genproto/googleapis/rpc v0.0.0-20230526203410-71b5a4ffd15e h1:NumxXLPfHSndr3wBBdeKiVHjGVFzi9RX2HwwQke94iY=
|
||||||
|
google.golang.org/genproto/googleapis/rpc v0.0.0-20230526203410-71b5a4ffd15e/go.mod h1:66JfowdXAEgad5O9NnYcsNPLCPZJD++2L9X0PCMODrA=
|
||||||
|
google.golang.org/grpc v1.57.0 h1:kfzNeI/klCGD2YPMUlaGNT3pxvYfga7smW3Vth8Zsiw=
|
||||||
|
google.golang.org/grpc v1.57.0/go.mod h1:Sd+9RMTACXwmub0zcNY2c4arhtrbBYD1AUHI/dt16Mo=
|
||||||
|
google.golang.org/protobuf v1.26.0-rc.1/go.mod h1:jlhhOSvTdKEhbULTjvd4ARK9grFBp09yW+WbY/TyQbw=
|
||||||
|
google.golang.org/protobuf v1.26.0/go.mod h1:9q0QmTI4eRPtz6boOQmLYwt+qCgq0jsYwAQnmE0givc=
|
||||||
|
google.golang.org/protobuf v1.31.0 h1:g0LDEJHgrBl9N9r17Ru3sqWhkIx2NB67okBHPwC7hs8=
|
||||||
|
google.golang.org/protobuf v1.31.0/go.mod h1:HV8QOd/L58Z+nl8r43ehVNZIU/HEI6OcFqwMG9pJV4I=
|
||||||
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
|
gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
|
||||||
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
|
gopkg.in/yaml.v3 v3.0.1 h1:fxVm/GzAzEWqLHuvctI91KS9hhNmmWOoWu0XTYJS7CA=
|
||||||
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
gopkg.in/yaml.v3 v3.0.1/go.mod h1:K4uyk7z7BCEPqu6E+C64Yfv1cQ7kz7rIZviUmN+EgEM=
|
||||||
|
|
|
@ -4,6 +4,17 @@ import "context"
|
||||||
|
|
||||||
type loggerKey struct{}
|
type loggerKey struct{}
|
||||||
|
|
||||||
|
// MustContext returns logger from passed context or DefaultLogger if empty
|
||||||
|
func MustContext(ctx context.Context) Logger {
|
||||||
|
if ctx == nil {
|
||||||
|
return DefaultLogger
|
||||||
|
}
|
||||||
|
if l, ok := ctx.Value(loggerKey{}).(Logger); ok && l != nil {
|
||||||
|
return l
|
||||||
|
}
|
||||||
|
return DefaultLogger
|
||||||
|
}
|
||||||
|
|
||||||
// FromContext returns logger from passed context
|
// FromContext returns logger from passed context
|
||||||
func FromContext(ctx context.Context) (Logger, bool) {
|
func FromContext(ctx context.Context) (Logger, bool) {
|
||||||
if ctx == nil {
|
if ctx == nil {
|
||||||
|
|
|
@ -1,230 +0,0 @@
|
||||||
package logger
|
|
||||||
|
|
||||||
import (
|
|
||||||
"context"
|
|
||||||
"encoding/json"
|
|
||||||
"fmt"
|
|
||||||
"os"
|
|
||||||
"runtime"
|
|
||||||
"strings"
|
|
||||||
"sync"
|
|
||||||
"time"
|
|
||||||
)
|
|
||||||
|
|
||||||
type defaultLogger struct {
|
|
||||||
enc *json.Encoder
|
|
||||||
opts Options
|
|
||||||
sync.RWMutex
|
|
||||||
}
|
|
||||||
|
|
||||||
// Init(opts...) should only overwrite provided options
|
|
||||||
func (l *defaultLogger) Init(opts ...Option) error {
|
|
||||||
l.Lock()
|
|
||||||
for _, o := range opts {
|
|
||||||
o(&l.opts)
|
|
||||||
}
|
|
||||||
l.enc = json.NewEncoder(l.opts.Out)
|
|
||||||
// wrap the Log func
|
|
||||||
l.Unlock()
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) String() string {
|
|
||||||
return "micro"
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Clone(opts ...Option) Logger {
|
|
||||||
newopts := NewOptions(opts...)
|
|
||||||
oldopts := l.opts
|
|
||||||
for _, o := range opts {
|
|
||||||
o(&newopts)
|
|
||||||
o(&oldopts)
|
|
||||||
}
|
|
||||||
|
|
||||||
l.Lock()
|
|
||||||
cl := &defaultLogger{opts: oldopts, enc: json.NewEncoder(l.opts.Out)}
|
|
||||||
l.Unlock()
|
|
||||||
|
|
||||||
return cl
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) V(level Level) bool {
|
|
||||||
l.RLock()
|
|
||||||
ok := l.opts.Level.Enabled(level)
|
|
||||||
l.RUnlock()
|
|
||||||
return ok
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Level(level Level) {
|
|
||||||
l.Lock()
|
|
||||||
l.opts.Level = level
|
|
||||||
l.Unlock()
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Fields(fields ...interface{}) Logger {
|
|
||||||
l.RLock()
|
|
||||||
nl := &defaultLogger{opts: l.opts, enc: l.enc}
|
|
||||||
if len(fields) == 0 {
|
|
||||||
l.RUnlock()
|
|
||||||
return nl
|
|
||||||
} else if len(fields)%2 != 0 {
|
|
||||||
fields = fields[:len(fields)-1]
|
|
||||||
}
|
|
||||||
nl.opts.Fields = copyFields(l.opts.Fields)
|
|
||||||
nl.opts.Fields = append(nl.opts.Fields, fields...)
|
|
||||||
l.RUnlock()
|
|
||||||
return nl
|
|
||||||
}
|
|
||||||
|
|
||||||
func copyFields(src []interface{}) []interface{} {
|
|
||||||
dst := make([]interface{}, len(src))
|
|
||||||
copy(dst, src)
|
|
||||||
return dst
|
|
||||||
}
|
|
||||||
|
|
||||||
// logCallerfilePath returns a package/file:line description of the caller,
|
|
||||||
// preserving only the leaf directory name and file name.
|
|
||||||
func logCallerfilePath(loggingFilePath string) string {
|
|
||||||
// To make sure we trim the path correctly on Windows too, we
|
|
||||||
// counter-intuitively need to use '/' and *not* os.PathSeparator here,
|
|
||||||
// because the path given originates from Go stdlib, specifically
|
|
||||||
// runtime.Caller() which (as of Mar/17) returns forward slashes even on
|
|
||||||
// Windows.
|
|
||||||
//
|
|
||||||
// See https://github.com/golang/go/issues/3335
|
|
||||||
// and https://github.com/golang/go/issues/18151
|
|
||||||
//
|
|
||||||
// for discussion on the issue on Go side.
|
|
||||||
idx := strings.LastIndexByte(loggingFilePath, '/')
|
|
||||||
if idx == -1 {
|
|
||||||
return loggingFilePath
|
|
||||||
}
|
|
||||||
idx = strings.LastIndexByte(loggingFilePath[:idx], '/')
|
|
||||||
if idx == -1 {
|
|
||||||
return loggingFilePath
|
|
||||||
}
|
|
||||||
return loggingFilePath[idx+1:]
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Info(ctx context.Context, args ...interface{}) {
|
|
||||||
l.Log(ctx, InfoLevel, args...)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Error(ctx context.Context, args ...interface{}) {
|
|
||||||
l.Log(ctx, ErrorLevel, args...)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Debug(ctx context.Context, args ...interface{}) {
|
|
||||||
l.Log(ctx, DebugLevel, args...)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Warn(ctx context.Context, args ...interface{}) {
|
|
||||||
l.Log(ctx, WarnLevel, args...)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Trace(ctx context.Context, args ...interface{}) {
|
|
||||||
l.Log(ctx, TraceLevel, args...)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Fatal(ctx context.Context, args ...interface{}) {
|
|
||||||
l.Log(ctx, FatalLevel, args...)
|
|
||||||
os.Exit(1)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Infof(ctx context.Context, msg string, args ...interface{}) {
|
|
||||||
l.Logf(ctx, InfoLevel, msg, args...)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Errorf(ctx context.Context, msg string, args ...interface{}) {
|
|
||||||
l.Logf(ctx, ErrorLevel, msg, args...)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Debugf(ctx context.Context, msg string, args ...interface{}) {
|
|
||||||
l.Logf(ctx, DebugLevel, msg, args...)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Warnf(ctx context.Context, msg string, args ...interface{}) {
|
|
||||||
l.Logf(ctx, WarnLevel, msg, args...)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Tracef(ctx context.Context, msg string, args ...interface{}) {
|
|
||||||
l.Logf(ctx, TraceLevel, msg, args...)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Fatalf(ctx context.Context, msg string, args ...interface{}) {
|
|
||||||
l.Logf(ctx, FatalLevel, msg, args...)
|
|
||||||
os.Exit(1)
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Log(ctx context.Context, level Level, args ...interface{}) {
|
|
||||||
if !l.V(level) {
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
l.RLock()
|
|
||||||
fields := copyFields(l.opts.Fields)
|
|
||||||
l.RUnlock()
|
|
||||||
|
|
||||||
fields = append(fields, "level", level.String())
|
|
||||||
|
|
||||||
if _, file, line, ok := runtime.Caller(l.opts.CallerSkipCount); ok {
|
|
||||||
fields = append(fields, "caller", fmt.Sprintf("%s:%d", logCallerfilePath(file), line))
|
|
||||||
}
|
|
||||||
fields = append(fields, "timestamp", time.Now().Format("2006-01-02 15:04:05"))
|
|
||||||
|
|
||||||
if len(args) > 0 {
|
|
||||||
fields = append(fields, "msg", fmt.Sprint(args...))
|
|
||||||
}
|
|
||||||
|
|
||||||
out := make(map[string]interface{}, len(fields)/2)
|
|
||||||
for i := 0; i < len(fields); i += 2 {
|
|
||||||
out[fields[i].(string)] = fields[i+1]
|
|
||||||
}
|
|
||||||
l.RLock()
|
|
||||||
_ = l.enc.Encode(out)
|
|
||||||
l.RUnlock()
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Logf(ctx context.Context, level Level, msg string, args ...interface{}) {
|
|
||||||
if !l.V(level) {
|
|
||||||
return
|
|
||||||
}
|
|
||||||
|
|
||||||
l.RLock()
|
|
||||||
fields := copyFields(l.opts.Fields)
|
|
||||||
l.RUnlock()
|
|
||||||
|
|
||||||
fields = append(fields, "level", level.String())
|
|
||||||
|
|
||||||
if _, file, line, ok := runtime.Caller(l.opts.CallerSkipCount); ok {
|
|
||||||
fields = append(fields, "caller", fmt.Sprintf("%s:%d", logCallerfilePath(file), line))
|
|
||||||
}
|
|
||||||
|
|
||||||
fields = append(fields, "timestamp", time.Now().Format("2006-01-02 15:04:05"))
|
|
||||||
if len(args) > 0 {
|
|
||||||
fields = append(fields, "msg", fmt.Sprintf(msg, args...))
|
|
||||||
} else if msg != "" {
|
|
||||||
fields = append(fields, "msg", msg)
|
|
||||||
}
|
|
||||||
|
|
||||||
out := make(map[string]interface{}, len(fields)/2)
|
|
||||||
for i := 0; i < len(fields); i += 2 {
|
|
||||||
out[fields[i].(string)] = fields[i+1]
|
|
||||||
}
|
|
||||||
l.RLock()
|
|
||||||
_ = l.enc.Encode(out)
|
|
||||||
l.RUnlock()
|
|
||||||
}
|
|
||||||
|
|
||||||
func (l *defaultLogger) Options() Options {
|
|
||||||
return l.opts
|
|
||||||
}
|
|
||||||
|
|
||||||
// NewLogger builds a new logger based on options
|
|
||||||
func NewLogger(opts ...Option) Logger {
|
|
||||||
l := &defaultLogger{
|
|
||||||
opts: NewOptions(opts...),
|
|
||||||
}
|
|
||||||
l.enc = json.NewEncoder(l.opts.Out)
|
|
||||||
return l
|
|
||||||
}
|
|
|
@ -3,12 +3,15 @@ package logger // import "go.unistack.org/micro/v3/logger"
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
"os"
|
|
||||||
)
|
)
|
||||||
|
|
||||||
|
type ContextAttrFunc func(ctx context.Context) []interface{}
|
||||||
|
|
||||||
|
var DefaultContextAttrFuncs []ContextAttrFunc
|
||||||
|
|
||||||
var (
|
var (
|
||||||
// DefaultLogger variable
|
// DefaultLogger variable
|
||||||
DefaultLogger = NewLogger(WithLevel(ParseLevel(os.Getenv("MICRO_LOG_LEVEL"))))
|
DefaultLogger Logger = NewLogger()
|
||||||
// DefaultLevel used by logger
|
// DefaultLevel used by logger
|
||||||
DefaultLevel = InfoLevel
|
DefaultLevel = InfoLevel
|
||||||
// DefaultCallerSkipCount used by logger
|
// DefaultCallerSkipCount used by logger
|
||||||
|
@ -57,7 +60,9 @@ type Logger interface {
|
||||||
Log(ctx context.Context, level Level, args ...interface{})
|
Log(ctx context.Context, level Level, args ...interface{})
|
||||||
// Logf logs message with needed level
|
// Logf logs message with needed level
|
||||||
Logf(ctx context.Context, level Level, msg string, args ...interface{})
|
Logf(ctx context.Context, level Level, msg string, args ...interface{})
|
||||||
// String returns the name of logger
|
// Name returns broker instance name
|
||||||
|
Name() string
|
||||||
|
// String returns the type of logger
|
||||||
String() string
|
String() string
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -65,76 +70,106 @@ type Logger interface {
|
||||||
type Field interface{}
|
type Field interface{}
|
||||||
|
|
||||||
// Info writes msg to default logger on info level
|
// Info writes msg to default logger on info level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Info(ctx context.Context, args ...interface{}) {
|
func Info(ctx context.Context, args ...interface{}) {
|
||||||
DefaultLogger.Info(ctx, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Info(ctx, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Error writes msg to default logger on error level
|
// Error writes msg to default logger on error level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Error(ctx context.Context, args ...interface{}) {
|
func Error(ctx context.Context, args ...interface{}) {
|
||||||
DefaultLogger.Error(ctx, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Error(ctx, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Debug writes msg to default logger on debug level
|
// Debug writes msg to default logger on debug level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Debug(ctx context.Context, args ...interface{}) {
|
func Debug(ctx context.Context, args ...interface{}) {
|
||||||
DefaultLogger.Debug(ctx, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Debug(ctx, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Warn writes msg to default logger on warn level
|
// Warn writes msg to default logger on warn level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Warn(ctx context.Context, args ...interface{}) {
|
func Warn(ctx context.Context, args ...interface{}) {
|
||||||
DefaultLogger.Warn(ctx, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Warn(ctx, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Trace writes msg to default logger on trace level
|
// Trace writes msg to default logger on trace level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Trace(ctx context.Context, args ...interface{}) {
|
func Trace(ctx context.Context, args ...interface{}) {
|
||||||
DefaultLogger.Trace(ctx, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Trace(ctx, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Fatal writes msg to default logger on fatal level
|
// Fatal writes msg to default logger on fatal level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Fatal(ctx context.Context, args ...interface{}) {
|
func Fatal(ctx context.Context, args ...interface{}) {
|
||||||
DefaultLogger.Fatal(ctx, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Fatal(ctx, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Infof writes formatted msg to default logger on info level
|
// Infof writes formatted msg to default logger on info level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Infof(ctx context.Context, msg string, args ...interface{}) {
|
func Infof(ctx context.Context, msg string, args ...interface{}) {
|
||||||
DefaultLogger.Infof(ctx, msg, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Infof(ctx, msg, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Errorf writes formatted msg to default logger on error level
|
// Errorf writes formatted msg to default logger on error level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Errorf(ctx context.Context, msg string, args ...interface{}) {
|
func Errorf(ctx context.Context, msg string, args ...interface{}) {
|
||||||
DefaultLogger.Errorf(ctx, msg, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Errorf(ctx, msg, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Debugf writes formatted msg to default logger on debug level
|
// Debugf writes formatted msg to default logger on debug level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Debugf(ctx context.Context, msg string, args ...interface{}) {
|
func Debugf(ctx context.Context, msg string, args ...interface{}) {
|
||||||
DefaultLogger.Debugf(ctx, msg, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Debugf(ctx, msg, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Warnf writes formatted msg to default logger on warn level
|
// Warnf writes formatted msg to default logger on warn level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Warnf(ctx context.Context, msg string, args ...interface{}) {
|
func Warnf(ctx context.Context, msg string, args ...interface{}) {
|
||||||
DefaultLogger.Warnf(ctx, msg, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Warnf(ctx, msg, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Tracef writes formatted msg to default logger on trace level
|
// Tracef writes formatted msg to default logger on trace level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Tracef(ctx context.Context, msg string, args ...interface{}) {
|
func Tracef(ctx context.Context, msg string, args ...interface{}) {
|
||||||
DefaultLogger.Tracef(ctx, msg, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Tracef(ctx, msg, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Fatalf writes formatted msg to default logger on fatal level
|
// Fatalf writes formatted msg to default logger on fatal level
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Fatalf(ctx context.Context, msg string, args ...interface{}) {
|
func Fatalf(ctx context.Context, msg string, args ...interface{}) {
|
||||||
DefaultLogger.Fatalf(ctx, msg, args...)
|
DefaultLogger.Clone(WithCallerSkipCount(DefaultCallerSkipCount+1)).Fatalf(ctx, msg, args...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// V returns true if passed level enabled in default logger
|
// V returns true if passed level enabled in default logger
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func V(level Level) bool {
|
func V(level Level) bool {
|
||||||
return DefaultLogger.V(level)
|
return DefaultLogger.V(level)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Init initialize logger
|
// Init initialize logger
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Init(opts ...Option) error {
|
func Init(opts ...Option) error {
|
||||||
return DefaultLogger.Init(opts...)
|
return DefaultLogger.Init(opts...)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Fields create logger with specific fields
|
// Fields create logger with specific fields
|
||||||
|
//
|
||||||
|
// Deprecated: Dont use logger methods directly, use instance of logger to avoid additional allocations
|
||||||
func Fields(fields ...interface{}) Logger {
|
func Fields(fields ...interface{}) Logger {
|
||||||
return DefaultLogger.Fields(fields...)
|
return DefaultLogger.Fields(fields...)
|
||||||
}
|
}
|
||||||
|
|
|
@ -1,138 +0,0 @@
|
||||||
package logger
|
|
||||||
|
|
||||||
import (
|
|
||||||
"bytes"
|
|
||||||
"context"
|
|
||||||
"log"
|
|
||||||
"testing"
|
|
||||||
)
|
|
||||||
|
|
||||||
func TestContext(t *testing.T) {
|
|
||||||
ctx := context.TODO()
|
|
||||||
buf := bytes.NewBuffer(nil)
|
|
||||||
l := NewLogger(WithLevel(TraceLevel), WithOutput(buf))
|
|
||||||
if err := l.Init(); err != nil {
|
|
||||||
t.Fatal(err)
|
|
||||||
}
|
|
||||||
|
|
||||||
nl, ok := FromContext(NewContext(ctx, l.Fields("key", "val")))
|
|
||||||
if !ok {
|
|
||||||
t.Fatal("context without logger")
|
|
||||||
}
|
|
||||||
nl.Info(ctx, "message")
|
|
||||||
if !bytes.Contains(buf.Bytes(), []byte(`"key":"val"`)) {
|
|
||||||
t.Fatalf("logger fields not works, buf contains: %s", buf.Bytes())
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func TestFields(t *testing.T) {
|
|
||||||
ctx := context.TODO()
|
|
||||||
buf := bytes.NewBuffer(nil)
|
|
||||||
l := NewLogger(WithLevel(TraceLevel), WithOutput(buf))
|
|
||||||
if err := l.Init(); err != nil {
|
|
||||||
t.Fatal(err)
|
|
||||||
}
|
|
||||||
|
|
||||||
nl := l.Fields("key", "val")
|
|
||||||
|
|
||||||
nl.Info(ctx, "message")
|
|
||||||
if !bytes.Contains(buf.Bytes(), []byte(`"key":"val"`)) {
|
|
||||||
t.Fatalf("logger fields not works, buf contains: %s", buf.Bytes())
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func TestFromContextWithFields(t *testing.T) {
|
|
||||||
ctx := context.TODO()
|
|
||||||
buf := bytes.NewBuffer(nil)
|
|
||||||
var ok bool
|
|
||||||
l := NewLogger(WithLevel(TraceLevel), WithOutput(buf))
|
|
||||||
if err := l.Init(); err != nil {
|
|
||||||
t.Fatal(err)
|
|
||||||
}
|
|
||||||
nl := l.Fields("key", "val")
|
|
||||||
|
|
||||||
ctx = NewContext(ctx, nl)
|
|
||||||
|
|
||||||
l, ok = FromContext(ctx)
|
|
||||||
if !ok {
|
|
||||||
t.Fatalf("context does not have logger")
|
|
||||||
}
|
|
||||||
|
|
||||||
l.Info(ctx, "message")
|
|
||||||
if !bytes.Contains(buf.Bytes(), []byte(`"key":"val"`)) {
|
|
||||||
t.Fatalf("logger fields not works, buf contains: %s", buf.Bytes())
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func TestClone(t *testing.T) {
|
|
||||||
ctx := context.TODO()
|
|
||||||
buf := bytes.NewBuffer(nil)
|
|
||||||
l := NewLogger(WithLevel(TraceLevel), WithOutput(buf))
|
|
||||||
if err := l.Init(); err != nil {
|
|
||||||
t.Fatal(err)
|
|
||||||
}
|
|
||||||
nl := l.Clone(WithLevel(ErrorLevel))
|
|
||||||
if err := nl.Init(); err != nil {
|
|
||||||
t.Fatal(err)
|
|
||||||
}
|
|
||||||
nl.Info(ctx, "info message")
|
|
||||||
if len(buf.Bytes()) != 0 {
|
|
||||||
t.Fatal("message must not be logged")
|
|
||||||
}
|
|
||||||
l.Info(ctx, "info message")
|
|
||||||
if len(buf.Bytes()) == 0 {
|
|
||||||
t.Fatal("message must be logged")
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func TestRedirectStdLogger(t *testing.T) {
|
|
||||||
buf := bytes.NewBuffer(nil)
|
|
||||||
l := NewLogger(WithLevel(TraceLevel), WithOutput(buf))
|
|
||||||
if err := l.Init(); err != nil {
|
|
||||||
t.Fatal(err)
|
|
||||||
}
|
|
||||||
fn := RedirectStdLogger(l, ErrorLevel)
|
|
||||||
defer fn()
|
|
||||||
log.Print("test")
|
|
||||||
if !bytes.Contains(buf.Bytes(), []byte(`"level":"error","msg":"test","timestamp"`)) {
|
|
||||||
t.Fatalf("logger error, buf %s", buf.Bytes())
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func TestStdLogger(t *testing.T) {
|
|
||||||
buf := bytes.NewBuffer(nil)
|
|
||||||
l := NewLogger(WithLevel(TraceLevel), WithOutput(buf))
|
|
||||||
if err := l.Init(); err != nil {
|
|
||||||
t.Fatal(err)
|
|
||||||
}
|
|
||||||
lg := NewStdLogger(l, ErrorLevel)
|
|
||||||
lg.Print("test")
|
|
||||||
if !bytes.Contains(buf.Bytes(), []byte(`"level":"error","msg":"test","timestamp"`)) {
|
|
||||||
t.Fatalf("logger error, buf %s", buf.Bytes())
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func TestLogger(t *testing.T) {
|
|
||||||
ctx := context.TODO()
|
|
||||||
buf := bytes.NewBuffer(nil)
|
|
||||||
l := NewLogger(WithLevel(TraceLevel), WithOutput(buf))
|
|
||||||
if err := l.Init(); err != nil {
|
|
||||||
t.Fatal(err)
|
|
||||||
}
|
|
||||||
l.Trace(ctx, "trace_msg1")
|
|
||||||
l.Warn(ctx, "warn_msg1")
|
|
||||||
l.Fields("error", "test").Info(ctx, "error message")
|
|
||||||
l.Warn(ctx, "first", " ", "second")
|
|
||||||
if !bytes.Contains(buf.Bytes(), []byte(`"level":"trace","msg":"trace_msg1"`)) {
|
|
||||||
t.Fatalf("logger error, buf %s", buf.Bytes())
|
|
||||||
}
|
|
||||||
if !bytes.Contains(buf.Bytes(), []byte(`"warn","msg":"warn_msg1"`)) {
|
|
||||||
t.Fatalf("logger error, buf %s", buf.Bytes())
|
|
||||||
}
|
|
||||||
if !bytes.Contains(buf.Bytes(), []byte(`"error":"test","level":"info","msg":"error message"`)) {
|
|
||||||
t.Fatalf("logger error, buf %s", buf.Bytes())
|
|
||||||
}
|
|
||||||
if !bytes.Contains(buf.Bytes(), []byte(`"level":"warn","msg":"first second"`)) {
|
|
||||||
t.Fatalf("logger error, buf %s", buf.Bytes())
|
|
||||||
}
|
|
||||||
}
|
|
|
@ -0,0 +1,94 @@
|
||||||
|
package logger
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
)
|
||||||
|
|
||||||
|
type noopLogger struct {
|
||||||
|
opts Options
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewLogger(opts ...Option) Logger {
|
||||||
|
options := NewOptions(opts...)
|
||||||
|
return &noopLogger{opts: options}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) V(_ Level) bool {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Level(_ Level) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Name() string {
|
||||||
|
return l.opts.Name
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Init(opts ...Option) error {
|
||||||
|
for _, o := range opts {
|
||||||
|
o(&l.opts)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Clone(opts ...Option) Logger {
|
||||||
|
nl := &noopLogger{opts: l.opts}
|
||||||
|
for _, o := range opts {
|
||||||
|
o(&nl.opts)
|
||||||
|
}
|
||||||
|
return nl
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Fields(_ ...interface{}) Logger {
|
||||||
|
return l
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Options() Options {
|
||||||
|
return l.opts
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) String() string {
|
||||||
|
return "noop"
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Log(ctx context.Context, lvl Level, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Info(ctx context.Context, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Debug(ctx context.Context, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Error(ctx context.Context, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Trace(ctx context.Context, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Warn(ctx context.Context, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Fatal(ctx context.Context, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Logf(ctx context.Context, lvl Level, msg string, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Infof(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Debugf(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Errorf(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Tracef(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Warnf(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
}
|
||||||
|
|
||||||
|
func (l *noopLogger) Fatalf(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
}
|
|
@ -3,10 +3,14 @@ package logger
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
"io"
|
"io"
|
||||||
|
"log/slog"
|
||||||
"os"
|
"os"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/meter"
|
||||||
)
|
)
|
||||||
|
|
||||||
// Option func
|
// Option func signature
|
||||||
type Option func(*Options)
|
type Option func(*Options)
|
||||||
|
|
||||||
// Options holds logger options
|
// Options holds logger options
|
||||||
|
@ -15,31 +19,68 @@ type Options struct {
|
||||||
Out io.Writer
|
Out io.Writer
|
||||||
// Context holds exernal options
|
// Context holds exernal options
|
||||||
Context context.Context
|
Context context.Context
|
||||||
// Fields holds additional metadata
|
|
||||||
Fields []interface{}
|
|
||||||
// Name holds the logger name
|
// Name holds the logger name
|
||||||
Name string
|
Name string
|
||||||
// The logging level the logger should log
|
// Fields holds additional metadata
|
||||||
Level Level
|
Fields []interface{}
|
||||||
// CallerSkipCount number of frmaes to skip
|
// CallerSkipCount number of frmaes to skip
|
||||||
CallerSkipCount int
|
CallerSkipCount int
|
||||||
|
// ContextAttrFuncs contains funcs that executed before log func on context
|
||||||
|
ContextAttrFuncs []ContextAttrFunc
|
||||||
|
// TimeKey is the key used for the time of the log call
|
||||||
|
TimeKey string
|
||||||
|
// LevelKey is the key used for the level of the log call
|
||||||
|
LevelKey string
|
||||||
|
// ErroreKey is the key used for the error of the log call
|
||||||
|
ErrorKey string
|
||||||
|
// MessageKey is the key used for the message of the log call
|
||||||
|
MessageKey string
|
||||||
|
// SourceKey is the key used for the source file and line of the log call
|
||||||
|
SourceKey string
|
||||||
|
// StacktraceKey is the key used for the stacktrace
|
||||||
|
StacktraceKey string
|
||||||
|
// AddStacktrace controls writing of stacktaces on error
|
||||||
|
AddStacktrace bool
|
||||||
|
// AddSource enabled writing source file and position in log
|
||||||
|
AddSource bool
|
||||||
|
// The logging level the logger should log
|
||||||
|
Level Level
|
||||||
|
// TimeFunc used to obtain current time
|
||||||
|
TimeFunc func() time.Time
|
||||||
|
// Meter used to count logs for specific level
|
||||||
|
Meter meter.Meter
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewOptions creates new options struct
|
// NewOptions creates new options struct
|
||||||
func NewOptions(opts ...Option) Options {
|
func NewOptions(opts ...Option) Options {
|
||||||
options := Options{
|
options := Options{
|
||||||
Level: DefaultLevel,
|
Level: DefaultLevel,
|
||||||
Fields: make([]interface{}, 0, 6),
|
Fields: make([]interface{}, 0, 6),
|
||||||
Out: os.Stderr,
|
Out: os.Stderr,
|
||||||
CallerSkipCount: DefaultCallerSkipCount,
|
CallerSkipCount: DefaultCallerSkipCount,
|
||||||
Context: context.Background(),
|
Context: context.Background(),
|
||||||
|
ContextAttrFuncs: DefaultContextAttrFuncs,
|
||||||
|
AddSource: true,
|
||||||
|
TimeFunc: time.Now,
|
||||||
|
Meter: meter.DefaultMeter,
|
||||||
}
|
}
|
||||||
|
|
||||||
|
WithMicroKeys()(&options)
|
||||||
|
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
o(&options)
|
o(&options)
|
||||||
}
|
}
|
||||||
|
|
||||||
return options
|
return options
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// WithContextAttrFuncs appends default funcs for the context arrts filler
|
||||||
|
func WithContextAttrFuncs(fncs ...ContextAttrFunc) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.ContextAttrFuncs = append(o.ContextAttrFuncs, fncs...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
// WithFields set default fields for the logger
|
// WithFields set default fields for the logger
|
||||||
func WithFields(fields ...interface{}) Option {
|
func WithFields(fields ...interface{}) Option {
|
||||||
return func(o *Options) {
|
return func(o *Options) {
|
||||||
|
@ -61,6 +102,20 @@ func WithOutput(out io.Writer) Option {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// WitAddStacktrace controls writing stacktrace on error
|
||||||
|
func WithAddStacktrace(v bool) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.AddStacktrace = v
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// WitAddSource controls writing source file and pos in log
|
||||||
|
func WithAddSource(v bool) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.AddSource = v
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
// WithCallerSkipCount set frame count to skip
|
// WithCallerSkipCount set frame count to skip
|
||||||
func WithCallerSkipCount(c int) Option {
|
func WithCallerSkipCount(c int) Option {
|
||||||
return func(o *Options) {
|
return func(o *Options) {
|
||||||
|
@ -81,3 +136,61 @@ func WithName(n string) Option {
|
||||||
o.Name = n
|
o.Name = n
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// WithTimeFunc sets the func to obtain current time
|
||||||
|
func WithTimeFunc(fn func() time.Time) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.TimeFunc = fn
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func WithZapKeys() Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.TimeKey = "@timestamp"
|
||||||
|
o.LevelKey = "level"
|
||||||
|
o.MessageKey = "msg"
|
||||||
|
o.SourceKey = "caller"
|
||||||
|
o.StacktraceKey = "stacktrace"
|
||||||
|
o.ErrorKey = "error"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func WithZerologKeys() Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.TimeKey = "time"
|
||||||
|
o.LevelKey = "level"
|
||||||
|
o.MessageKey = "message"
|
||||||
|
o.SourceKey = "caller"
|
||||||
|
o.StacktraceKey = "stacktrace"
|
||||||
|
o.ErrorKey = "error"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func WithSlogKeys() Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.TimeKey = slog.TimeKey
|
||||||
|
o.LevelKey = slog.LevelKey
|
||||||
|
o.MessageKey = slog.MessageKey
|
||||||
|
o.SourceKey = slog.SourceKey
|
||||||
|
o.StacktraceKey = "stacktrace"
|
||||||
|
o.ErrorKey = "error"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func WithMicroKeys() Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.TimeKey = "timestamp"
|
||||||
|
o.LevelKey = "level"
|
||||||
|
o.MessageKey = "msg"
|
||||||
|
o.SourceKey = "caller"
|
||||||
|
o.StacktraceKey = "stacktrace"
|
||||||
|
o.ErrorKey = "error"
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// WithAddCallerSkipCount add skip count for copy logger
|
||||||
|
func WithAddCallerSkipCount(n int) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.CallerSkipCount += n
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
|
@ -0,0 +1,583 @@
|
||||||
|
package slog
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"fmt"
|
||||||
|
"log/slog"
|
||||||
|
"os"
|
||||||
|
"regexp"
|
||||||
|
"runtime"
|
||||||
|
"strconv"
|
||||||
|
"sync"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/logger"
|
||||||
|
"go.unistack.org/micro/v3/semconv"
|
||||||
|
"go.unistack.org/micro/v3/tracer"
|
||||||
|
)
|
||||||
|
|
||||||
|
var reTrace = regexp.MustCompile(`.*/slog/logger\.go.*\n`)
|
||||||
|
|
||||||
|
var (
|
||||||
|
traceValue = slog.StringValue("trace")
|
||||||
|
debugValue = slog.StringValue("debug")
|
||||||
|
infoValue = slog.StringValue("info")
|
||||||
|
warnValue = slog.StringValue("warn")
|
||||||
|
errorValue = slog.StringValue("error")
|
||||||
|
fatalValue = slog.StringValue("fatal")
|
||||||
|
)
|
||||||
|
|
||||||
|
func (s *slogLogger) renameAttr(_ []string, a slog.Attr) slog.Attr {
|
||||||
|
switch a.Key {
|
||||||
|
case slog.SourceKey:
|
||||||
|
source := a.Value.Any().(*slog.Source)
|
||||||
|
a.Value = slog.StringValue(source.File + ":" + strconv.Itoa(source.Line))
|
||||||
|
a.Key = s.opts.SourceKey
|
||||||
|
case slog.TimeKey:
|
||||||
|
a.Key = s.opts.TimeKey
|
||||||
|
case slog.MessageKey:
|
||||||
|
a.Key = s.opts.MessageKey
|
||||||
|
case slog.LevelKey:
|
||||||
|
level := a.Value.Any().(slog.Level)
|
||||||
|
lvl := slogToLoggerLevel(level)
|
||||||
|
a.Key = s.opts.LevelKey
|
||||||
|
switch {
|
||||||
|
case lvl < logger.DebugLevel:
|
||||||
|
a.Value = traceValue
|
||||||
|
case lvl < logger.InfoLevel:
|
||||||
|
a.Value = debugValue
|
||||||
|
case lvl < logger.WarnLevel:
|
||||||
|
a.Value = infoValue
|
||||||
|
case lvl < logger.ErrorLevel:
|
||||||
|
a.Value = warnValue
|
||||||
|
case lvl < logger.FatalLevel:
|
||||||
|
a.Value = errorValue
|
||||||
|
case lvl >= logger.FatalLevel:
|
||||||
|
a.Value = fatalValue
|
||||||
|
default:
|
||||||
|
a.Value = infoValue
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return a
|
||||||
|
}
|
||||||
|
|
||||||
|
type slogLogger struct {
|
||||||
|
leveler *slog.LevelVar
|
||||||
|
handler slog.Handler
|
||||||
|
opts logger.Options
|
||||||
|
mu sync.RWMutex
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Clone(opts ...logger.Option) logger.Logger {
|
||||||
|
s.mu.RLock()
|
||||||
|
options := s.opts
|
||||||
|
s.mu.RUnlock()
|
||||||
|
|
||||||
|
for _, o := range opts {
|
||||||
|
o(&options)
|
||||||
|
}
|
||||||
|
|
||||||
|
l := &slogLogger{
|
||||||
|
opts: options,
|
||||||
|
}
|
||||||
|
|
||||||
|
l.leveler = new(slog.LevelVar)
|
||||||
|
handleOpt := &slog.HandlerOptions{
|
||||||
|
ReplaceAttr: l.renameAttr,
|
||||||
|
Level: l.leveler,
|
||||||
|
AddSource: l.opts.AddSource,
|
||||||
|
}
|
||||||
|
l.leveler.Set(loggerToSlogLevel(l.opts.Level))
|
||||||
|
l.handler = slog.New(slog.NewJSONHandler(options.Out, handleOpt)).With(options.Fields...).Handler()
|
||||||
|
|
||||||
|
return l
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) V(level logger.Level) bool {
|
||||||
|
return s.opts.Level.Enabled(level)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Level(level logger.Level) {
|
||||||
|
s.leveler.Set(loggerToSlogLevel(level))
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Options() logger.Options {
|
||||||
|
return s.opts
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Fields(attrs ...interface{}) logger.Logger {
|
||||||
|
s.mu.RLock()
|
||||||
|
level := s.leveler.Level()
|
||||||
|
options := s.opts
|
||||||
|
s.mu.RUnlock()
|
||||||
|
|
||||||
|
l := &slogLogger{opts: options}
|
||||||
|
l.leveler = new(slog.LevelVar)
|
||||||
|
l.leveler.Set(level)
|
||||||
|
|
||||||
|
handleOpt := &slog.HandlerOptions{
|
||||||
|
ReplaceAttr: l.renameAttr,
|
||||||
|
Level: l.leveler,
|
||||||
|
AddSource: l.opts.AddSource,
|
||||||
|
}
|
||||||
|
|
||||||
|
l.handler = slog.New(slog.NewJSONHandler(l.opts.Out, handleOpt)).With(attrs...).Handler()
|
||||||
|
|
||||||
|
return l
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Init(opts ...logger.Option) error {
|
||||||
|
s.mu.Lock()
|
||||||
|
|
||||||
|
if len(s.opts.ContextAttrFuncs) == 0 {
|
||||||
|
s.opts.ContextAttrFuncs = logger.DefaultContextAttrFuncs
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, o := range opts {
|
||||||
|
o(&s.opts)
|
||||||
|
}
|
||||||
|
|
||||||
|
s.leveler = new(slog.LevelVar)
|
||||||
|
handleOpt := &slog.HandlerOptions{
|
||||||
|
ReplaceAttr: s.renameAttr,
|
||||||
|
Level: s.leveler,
|
||||||
|
AddSource: s.opts.AddSource,
|
||||||
|
}
|
||||||
|
s.leveler.Set(loggerToSlogLevel(s.opts.Level))
|
||||||
|
s.handler = slog.New(slog.NewJSONHandler(s.opts.Out, handleOpt)).With(s.opts.Fields...).Handler()
|
||||||
|
s.mu.Unlock()
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Log(ctx context.Context, lvl logger.Level, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", lvl.String()).Inc()
|
||||||
|
if !s.V(lvl) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), loggerToSlogLevel(lvl), fmt.Sprintf("%s", attrs[0]), pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if s.opts.AddStacktrace && lvl == logger.ErrorLevel {
|
||||||
|
stackInfo := make([]byte, 1024*1024)
|
||||||
|
if stackSize := runtime.Stack(stackInfo, false); stackSize > 0 {
|
||||||
|
traceLines := reTrace.Split(string(stackInfo[:stackSize]), -1)
|
||||||
|
if len(traceLines) != 0 {
|
||||||
|
attrs = append(attrs, slog.String(s.opts.StacktraceKey, traceLines[len(traceLines)-1]))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs[1:]...)
|
||||||
|
r.Attrs(func(a slog.Attr) bool {
|
||||||
|
if a.Key == s.opts.ErrorKey {
|
||||||
|
if span, ok := tracer.SpanFromContext(ctx); ok {
|
||||||
|
span.SetStatus(tracer.SpanStatusError, a.Value.String())
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return true
|
||||||
|
})
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Logf(ctx context.Context, lvl logger.Level, msg string, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", lvl.String()).Inc()
|
||||||
|
if !s.V(lvl) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), loggerToSlogLevel(lvl), msg, pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if s.opts.AddStacktrace && lvl == logger.ErrorLevel {
|
||||||
|
stackInfo := make([]byte, 1024*1024)
|
||||||
|
if stackSize := runtime.Stack(stackInfo, false); stackSize > 0 {
|
||||||
|
traceLines := reTrace.Split(string(stackInfo[:stackSize]), -1)
|
||||||
|
if len(traceLines) != 0 {
|
||||||
|
attrs = append(attrs, (slog.String(s.opts.StacktraceKey, traceLines[len(traceLines)-1])))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs[1:]...)
|
||||||
|
r.Attrs(func(a slog.Attr) bool {
|
||||||
|
if a.Key == s.opts.ErrorKey {
|
||||||
|
if span, ok := tracer.SpanFromContext(ctx); ok {
|
||||||
|
span.SetStatus(tracer.SpanStatusError, a.Value.String())
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return true
|
||||||
|
})
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Info(ctx context.Context, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.InfoLevel.String()).Inc()
|
||||||
|
if !s.V(logger.InfoLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelInfo, fmt.Sprintf("%s", attrs[0]), pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs[1:]...)
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Infof(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.InfoLevel.String()).Inc()
|
||||||
|
if !s.V(logger.InfoLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelInfo, msg, pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs...)
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Debug(ctx context.Context, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.DebugLevel.String()).Inc()
|
||||||
|
if !s.V(logger.DebugLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelDebug, fmt.Sprintf("%s", attrs[0]), pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs[1:]...)
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Debugf(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.DebugLevel.String()).Inc()
|
||||||
|
if !s.V(logger.DebugLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelDebug, msg, pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs...)
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Trace(ctx context.Context, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.TraceLevel.String()).Inc()
|
||||||
|
if !s.V(logger.TraceLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelDebug-1, fmt.Sprintf("%s", attrs[0]), pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs[1:]...)
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Tracef(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.TraceLevel.String()).Inc()
|
||||||
|
if !s.V(logger.TraceLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelDebug-1, msg, pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs[1:]...)
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Error(ctx context.Context, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.ErrorLevel.String()).Inc()
|
||||||
|
if !s.V(logger.ErrorLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelError, fmt.Sprintf("%s", attrs[0]), pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if s.opts.AddStacktrace {
|
||||||
|
stackInfo := make([]byte, 1024*1024)
|
||||||
|
if stackSize := runtime.Stack(stackInfo, false); stackSize > 0 {
|
||||||
|
traceLines := reTrace.Split(string(stackInfo[:stackSize]), -1)
|
||||||
|
if len(traceLines) != 0 {
|
||||||
|
attrs = append(attrs, slog.String("stacktrace", traceLines[len(traceLines)-1]))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs[1:]...)
|
||||||
|
r.Attrs(func(a slog.Attr) bool {
|
||||||
|
if a.Key == s.opts.ErrorKey {
|
||||||
|
if span, ok := tracer.SpanFromContext(ctx); ok {
|
||||||
|
span.SetStatus(tracer.SpanStatusError, a.Value.String())
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return true
|
||||||
|
})
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Errorf(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.ErrorLevel.String()).Inc()
|
||||||
|
if !s.V(logger.ErrorLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelError, msg, pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if s.opts.AddStacktrace {
|
||||||
|
stackInfo := make([]byte, 1024*1024)
|
||||||
|
if stackSize := runtime.Stack(stackInfo, false); stackSize > 0 {
|
||||||
|
traceLines := reTrace.Split(string(stackInfo[:stackSize]), -1)
|
||||||
|
if len(traceLines) != 0 {
|
||||||
|
attrs = append(attrs, slog.String("stacktrace", traceLines[len(traceLines)-1]))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs...)
|
||||||
|
r.Attrs(func(a slog.Attr) bool {
|
||||||
|
if a.Key == s.opts.ErrorKey {
|
||||||
|
if span, ok := tracer.SpanFromContext(ctx); ok {
|
||||||
|
span.SetStatus(tracer.SpanStatusError, a.Value.String())
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return true
|
||||||
|
})
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Fatal(ctx context.Context, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.FatalLevel.String()).Inc()
|
||||||
|
if !s.V(logger.FatalLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelError+1, fmt.Sprintf("%s", attrs[0]), pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs[1:]...)
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
os.Exit(1)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Fatalf(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.FatalLevel.String()).Inc()
|
||||||
|
if !s.V(logger.FatalLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelError+1, msg, pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs...)
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
os.Exit(1)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Warn(ctx context.Context, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.WarnLevel.String()).Inc()
|
||||||
|
if !s.V(logger.WarnLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelWarn, fmt.Sprintf("%s", attrs[0]), pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs[1:]...)
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Warnf(ctx context.Context, msg string, attrs ...interface{}) {
|
||||||
|
s.opts.Meter.Counter(semconv.LoggerMessageTotal, "level", logger.WarnLevel.String()).Inc()
|
||||||
|
if !s.V(logger.WarnLevel) {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
var pcs [1]uintptr
|
||||||
|
runtime.Callers(s.opts.CallerSkipCount, pcs[:]) // skip [Callers, Infof]
|
||||||
|
r := slog.NewRecord(s.opts.TimeFunc(), slog.LevelWarn, msg, pcs[0])
|
||||||
|
for _, fn := range s.opts.ContextAttrFuncs {
|
||||||
|
attrs = append(attrs, fn(ctx)...)
|
||||||
|
}
|
||||||
|
|
||||||
|
for idx, attr := range attrs {
|
||||||
|
if ve, ok := attr.(error); ok && ve != nil {
|
||||||
|
attrs[idx] = slog.String(s.opts.ErrorKey, ve.Error())
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
r.Add(attrs[1:]...)
|
||||||
|
_ = s.handler.Handle(ctx, r)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) Name() string {
|
||||||
|
return s.opts.Name
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *slogLogger) String() string {
|
||||||
|
return "slog"
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewLogger(opts ...logger.Option) logger.Logger {
|
||||||
|
s := &slogLogger{
|
||||||
|
opts: logger.NewOptions(opts...),
|
||||||
|
}
|
||||||
|
|
||||||
|
return s
|
||||||
|
}
|
||||||
|
|
||||||
|
func loggerToSlogLevel(level logger.Level) slog.Level {
|
||||||
|
switch level {
|
||||||
|
case logger.DebugLevel:
|
||||||
|
return slog.LevelDebug
|
||||||
|
case logger.WarnLevel:
|
||||||
|
return slog.LevelWarn
|
||||||
|
case logger.ErrorLevel:
|
||||||
|
return slog.LevelError
|
||||||
|
case logger.TraceLevel:
|
||||||
|
return slog.LevelDebug - 1
|
||||||
|
case logger.FatalLevel:
|
||||||
|
return slog.LevelError + 1
|
||||||
|
default:
|
||||||
|
return slog.LevelInfo
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func slogToLoggerLevel(level slog.Level) logger.Level {
|
||||||
|
switch level {
|
||||||
|
case slog.LevelDebug:
|
||||||
|
return logger.DebugLevel
|
||||||
|
case slog.LevelWarn:
|
||||||
|
return logger.WarnLevel
|
||||||
|
case slog.LevelError:
|
||||||
|
return logger.ErrorLevel
|
||||||
|
case slog.LevelDebug - 1:
|
||||||
|
return logger.TraceLevel
|
||||||
|
case slog.LevelError + 1:
|
||||||
|
return logger.FatalLevel
|
||||||
|
default:
|
||||||
|
return logger.InfoLevel
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,176 @@
|
||||||
|
package slog
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"context"
|
||||||
|
"fmt"
|
||||||
|
"log"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/logger"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestError(t *testing.T) {
|
||||||
|
ctx := context.TODO()
|
||||||
|
buf := bytes.NewBuffer(nil)
|
||||||
|
l := NewLogger(logger.WithLevel(logger.ErrorLevel), logger.WithOutput(buf), logger.WithAddStacktrace(true))
|
||||||
|
if err := l.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
l.Error(ctx, "message", fmt.Errorf("error message"))
|
||||||
|
if !bytes.Contains(buf.Bytes(), []byte(`"stacktrace":"`)) {
|
||||||
|
t.Fatalf("logger stacktrace not works, buf contains: %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
if !bytes.Contains(buf.Bytes(), []byte(`"error":"`)) {
|
||||||
|
t.Fatalf("logger error not works, buf contains: %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestErrorf(t *testing.T) {
|
||||||
|
ctx := context.TODO()
|
||||||
|
buf := bytes.NewBuffer(nil)
|
||||||
|
l := NewLogger(logger.WithLevel(logger.ErrorLevel), logger.WithOutput(buf), logger.WithAddStacktrace(true))
|
||||||
|
if err := l.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
l.Errorf(ctx, "message", fmt.Errorf("error message"))
|
||||||
|
if !bytes.Contains(buf.Bytes(), []byte(`"stacktrace":"`)) {
|
||||||
|
t.Fatalf("logger stacktrace not works, buf contains: %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
if !bytes.Contains(buf.Bytes(), []byte(`"error":"`)) {
|
||||||
|
t.Fatalf("logger error not works, buf contains: %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestContext(t *testing.T) {
|
||||||
|
ctx := context.TODO()
|
||||||
|
buf := bytes.NewBuffer(nil)
|
||||||
|
l := NewLogger(logger.WithLevel(logger.TraceLevel), logger.WithOutput(buf))
|
||||||
|
if err := l.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
nl, ok := logger.FromContext(logger.NewContext(ctx, l.Fields("key", "val")))
|
||||||
|
if !ok {
|
||||||
|
t.Fatal("context without logger")
|
||||||
|
}
|
||||||
|
nl.Info(ctx, "message")
|
||||||
|
if !bytes.Contains(buf.Bytes(), []byte(`"key":"val"`)) {
|
||||||
|
t.Fatalf("logger fields not works, buf contains: %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestFields(t *testing.T) {
|
||||||
|
ctx := context.TODO()
|
||||||
|
buf := bytes.NewBuffer(nil)
|
||||||
|
l := NewLogger(logger.WithLevel(logger.TraceLevel), logger.WithOutput(buf))
|
||||||
|
if err := l.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
nl := l.Fields("key", "val")
|
||||||
|
|
||||||
|
nl.Info(ctx, "message")
|
||||||
|
if !bytes.Contains(buf.Bytes(), []byte(`"key":"val"`)) {
|
||||||
|
t.Fatalf("logger fields not works, buf contains: %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestFromContextWithFields(t *testing.T) {
|
||||||
|
ctx := context.TODO()
|
||||||
|
buf := bytes.NewBuffer(nil)
|
||||||
|
var ok bool
|
||||||
|
l := NewLogger(logger.WithLevel(logger.TraceLevel), logger.WithOutput(buf))
|
||||||
|
if err := l.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
nl := l.Fields("key", "val")
|
||||||
|
|
||||||
|
ctx = logger.NewContext(ctx, nl)
|
||||||
|
|
||||||
|
l, ok = logger.FromContext(ctx)
|
||||||
|
if !ok {
|
||||||
|
t.Fatalf("context does not have logger")
|
||||||
|
}
|
||||||
|
|
||||||
|
l.Info(ctx, "message")
|
||||||
|
if !bytes.Contains(buf.Bytes(), []byte(`"key":"val"`)) {
|
||||||
|
t.Fatalf("logger fields not works, buf contains: %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestClone(t *testing.T) {
|
||||||
|
ctx := context.TODO()
|
||||||
|
buf := bytes.NewBuffer(nil)
|
||||||
|
l := NewLogger(logger.WithLevel(logger.TraceLevel), logger.WithOutput(buf))
|
||||||
|
if err := l.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
nl := l.Clone(logger.WithLevel(logger.ErrorLevel))
|
||||||
|
if err := nl.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
nl.Info(ctx, "info message")
|
||||||
|
if len(buf.Bytes()) != 0 {
|
||||||
|
t.Fatal("message must not be logged")
|
||||||
|
}
|
||||||
|
l.Info(ctx, "info message")
|
||||||
|
if len(buf.Bytes()) == 0 {
|
||||||
|
t.Fatal("message must be logged")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestRedirectStdLogger(t *testing.T) {
|
||||||
|
buf := bytes.NewBuffer(nil)
|
||||||
|
l := NewLogger(logger.WithLevel(logger.ErrorLevel), logger.WithOutput(buf))
|
||||||
|
if err := l.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
fn := logger.RedirectStdLogger(l, logger.ErrorLevel)
|
||||||
|
defer fn()
|
||||||
|
log.Print("test")
|
||||||
|
if !(bytes.Contains(buf.Bytes(), []byte(`"level":"error"`)) && bytes.Contains(buf.Bytes(), []byte(`"msg":"test"`))) {
|
||||||
|
t.Fatalf("logger error, buf %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestStdLogger(t *testing.T) {
|
||||||
|
buf := bytes.NewBuffer(nil)
|
||||||
|
l := NewLogger(logger.WithLevel(logger.TraceLevel), logger.WithOutput(buf))
|
||||||
|
if err := l.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
lg := logger.NewStdLogger(l, logger.ErrorLevel)
|
||||||
|
lg.Print("test")
|
||||||
|
if !(bytes.Contains(buf.Bytes(), []byte(`"level":"error"`)) && bytes.Contains(buf.Bytes(), []byte(`"msg":"test"`))) {
|
||||||
|
t.Fatalf("logger error, buf %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestLogger(t *testing.T) {
|
||||||
|
ctx := context.TODO()
|
||||||
|
buf := bytes.NewBuffer(nil)
|
||||||
|
l := NewLogger(logger.WithLevel(logger.TraceLevel), logger.WithOutput(buf))
|
||||||
|
if err := l.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
l.Trace(ctx, "trace_msg1")
|
||||||
|
l.Warn(ctx, "warn_msg1")
|
||||||
|
l.Fields("error", "test").Info(ctx, "error message")
|
||||||
|
l.Warn(ctx, "first second")
|
||||||
|
|
||||||
|
if !(bytes.Contains(buf.Bytes(), []byte(`"level":"trace"`)) && bytes.Contains(buf.Bytes(), []byte(`"msg":"trace_msg1"`))) {
|
||||||
|
t.Fatalf("logger tracer, buf %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
if !(bytes.Contains(buf.Bytes(), []byte(`"level":"warn"`)) && bytes.Contains(buf.Bytes(), []byte(`"msg":"warn_msg1"`))) {
|
||||||
|
t.Fatalf("logger warn, buf %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
if !(bytes.Contains(buf.Bytes(), []byte(`"level":"info"`)) && bytes.Contains(buf.Bytes(), []byte(`"msg":"error message","error":"test"`))) {
|
||||||
|
t.Fatalf("logger info, buf %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
if !(bytes.Contains(buf.Bytes(), []byte(`"level":"warn"`)) && bytes.Contains(buf.Bytes(), []byte(`"msg":"first second"`))) {
|
||||||
|
t.Fatalf("logger warn, buf %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
}
|
|
@ -39,8 +39,6 @@ func FromOutgoingContext(ctx context.Context) (Metadata, bool) {
|
||||||
|
|
||||||
// FromContext returns metadata from the given context
|
// FromContext returns metadata from the given context
|
||||||
// returned metadata shoud not be modified or race condition happens
|
// returned metadata shoud not be modified or race condition happens
|
||||||
//
|
|
||||||
// Deprecated: use FromIncomingContext or FromOutgoingContext
|
|
||||||
func FromContext(ctx context.Context) (Metadata, bool) {
|
func FromContext(ctx context.Context) (Metadata, bool) {
|
||||||
if ctx == nil {
|
if ctx == nil {
|
||||||
return nil, false
|
return nil, false
|
||||||
|
@ -53,8 +51,6 @@ func FromContext(ctx context.Context) (Metadata, bool) {
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewContext creates a new context with the given metadata
|
// NewContext creates a new context with the given metadata
|
||||||
//
|
|
||||||
// Deprecated: use NewIncomingContext or NewOutgoingContext
|
|
||||||
func NewContext(ctx context.Context, md Metadata) context.Context {
|
func NewContext(ctx context.Context, md Metadata) context.Context {
|
||||||
if ctx == nil {
|
if ctx == nil {
|
||||||
ctx = context.Background()
|
ctx = context.Background()
|
||||||
|
|
|
@ -19,6 +19,8 @@ var (
|
||||||
HeaderTimeout = "Micro-Timeout"
|
HeaderTimeout = "Micro-Timeout"
|
||||||
// HeaderAuthorization specifies Authorization header
|
// HeaderAuthorization specifies Authorization header
|
||||||
HeaderAuthorization = "Authorization"
|
HeaderAuthorization = "Authorization"
|
||||||
|
// HeaderXRequestID specifies request id
|
||||||
|
HeaderXRequestID = "X-Request-Id"
|
||||||
)
|
)
|
||||||
|
|
||||||
// Metadata is our way of representing request headers internally.
|
// Metadata is our way of representing request headers internally.
|
||||||
|
@ -96,11 +98,12 @@ func (md Metadata) Del(keys ...string) {
|
||||||
}
|
}
|
||||||
|
|
||||||
// Copy makes a copy of the metadata
|
// Copy makes a copy of the metadata
|
||||||
func Copy(md Metadata) Metadata {
|
func Copy(md Metadata, exclude ...string) Metadata {
|
||||||
nmd := New(len(md))
|
nmd := New(len(md))
|
||||||
for key, val := range md {
|
for key, val := range md {
|
||||||
nmd.Set(key, val)
|
nmd.Set(key, val)
|
||||||
}
|
}
|
||||||
|
nmd.Del(exclude...)
|
||||||
return nmd
|
return nmd
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
|
@ -190,3 +190,14 @@ func TestMetadataContext(t *testing.T) {
|
||||||
t.Errorf("Expected metadata length 1 got %d", i)
|
t.Errorf("Expected metadata length 1 got %d", i)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func TestCopy(t *testing.T) {
|
||||||
|
md := New(2)
|
||||||
|
md.Set("key1", "val1", "key2", "val2")
|
||||||
|
nmd := Copy(md, "key2")
|
||||||
|
if len(nmd) != 1 {
|
||||||
|
t.Fatal("Copy exclude not works")
|
||||||
|
} else if nmd["Key1"] != "val1" {
|
||||||
|
t.Fatal("Copy exclude not works")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
|
@ -1,5 +1,5 @@
|
||||||
// Package meter is for instrumentation
|
// Package meter is for instrumentation
|
||||||
package meter // import "go.unistack.org/micro/v3/meter"
|
package meter
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"io"
|
"io"
|
||||||
|
@ -11,7 +11,7 @@ import (
|
||||||
|
|
||||||
var (
|
var (
|
||||||
// DefaultMeter is the default meter
|
// DefaultMeter is the default meter
|
||||||
DefaultMeter = NewMeter()
|
DefaultMeter Meter = NewMeter()
|
||||||
// DefaultAddress data will be made available on this host:port
|
// DefaultAddress data will be made available on this host:port
|
||||||
DefaultAddress = ":9090"
|
DefaultAddress = ":9090"
|
||||||
// DefaultPath the meter endpoint where the Meter data will be made available
|
// DefaultPath the meter endpoint where the Meter data will be made available
|
||||||
|
@ -24,6 +24,13 @@ var (
|
||||||
DefaultSummaryQuantiles = []float64{0.5, 0.9, 0.97, 0.99, 1}
|
DefaultSummaryQuantiles = []float64{0.5, 0.9, 0.97, 0.99, 1}
|
||||||
// DefaultSummaryWindow is the default window for summary
|
// DefaultSummaryWindow is the default window for summary
|
||||||
DefaultSummaryWindow = 5 * time.Minute
|
DefaultSummaryWindow = 5 * time.Minute
|
||||||
|
// DefaultSkipEndpoints is the slice of endpoint that must not be metered
|
||||||
|
DefaultSkipEndpoints = []string{
|
||||||
|
"MeterService.Metrics",
|
||||||
|
"HealthService.Live",
|
||||||
|
"HealthService.Ready",
|
||||||
|
"HealthService.Version",
|
||||||
|
}
|
||||||
)
|
)
|
||||||
|
|
||||||
// Meter is an interface for collecting and instrumenting metrics
|
// Meter is an interface for collecting and instrumenting metrics
|
||||||
|
|
|
@ -2,8 +2,6 @@ package meter
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
|
|
||||||
"go.unistack.org/micro/v3/logger"
|
|
||||||
)
|
)
|
||||||
|
|
||||||
// Option powers the configuration for metrics implementations:
|
// Option powers the configuration for metrics implementations:
|
||||||
|
@ -11,8 +9,6 @@ type Option func(*Options)
|
||||||
|
|
||||||
// Options for metrics implementations
|
// Options for metrics implementations
|
||||||
type Options struct {
|
type Options struct {
|
||||||
// Logger used for logging
|
|
||||||
Logger logger.Logger
|
|
||||||
// Context holds external options
|
// Context holds external options
|
||||||
Context context.Context
|
Context context.Context
|
||||||
// Name holds the meter name
|
// Name holds the meter name
|
||||||
|
@ -39,7 +35,6 @@ func NewOptions(opt ...Option) Options {
|
||||||
Address: DefaultAddress,
|
Address: DefaultAddress,
|
||||||
Path: DefaultPath,
|
Path: DefaultPath,
|
||||||
Context: context.Background(),
|
Context: context.Background(),
|
||||||
Logger: logger.DefaultLogger,
|
|
||||||
MetricPrefix: DefaultMetricPrefix,
|
MetricPrefix: DefaultMetricPrefix,
|
||||||
LabelPrefix: DefaultLabelPrefix,
|
LabelPrefix: DefaultLabelPrefix,
|
||||||
}
|
}
|
||||||
|
@ -95,13 +90,6 @@ func TimingObjectives(value map[float64]float64) Option {
|
||||||
}
|
}
|
||||||
*/
|
*/
|
||||||
|
|
||||||
// Logger sets the logger
|
|
||||||
func Logger(l logger.Logger) Option {
|
|
||||||
return func(o *Options) {
|
|
||||||
o.Logger = l
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// Labels sets the meter labels
|
// Labels sets the meter labels
|
||||||
func Labels(ls ...string) Option {
|
func Labels(ls ...string) Option {
|
||||||
return func(o *Options) {
|
return func(o *Options) {
|
||||||
|
|
|
@ -0,0 +1,94 @@
|
||||||
|
package micro
|
||||||
|
|
||||||
|
import (
|
||||||
|
"reflect"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/broker"
|
||||||
|
"go.unistack.org/micro/v3/client"
|
||||||
|
"go.unistack.org/micro/v3/codec"
|
||||||
|
"go.unistack.org/micro/v3/flow"
|
||||||
|
"go.unistack.org/micro/v3/fsm"
|
||||||
|
"go.unistack.org/micro/v3/logger"
|
||||||
|
"go.unistack.org/micro/v3/meter"
|
||||||
|
"go.unistack.org/micro/v3/register"
|
||||||
|
"go.unistack.org/micro/v3/resolver"
|
||||||
|
"go.unistack.org/micro/v3/router"
|
||||||
|
"go.unistack.org/micro/v3/selector"
|
||||||
|
"go.unistack.org/micro/v3/server"
|
||||||
|
"go.unistack.org/micro/v3/store"
|
||||||
|
"go.unistack.org/micro/v3/sync"
|
||||||
|
"go.unistack.org/micro/v3/tracer"
|
||||||
|
)
|
||||||
|
|
||||||
|
func As(b any, target any) bool {
|
||||||
|
if b == nil {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
if target == nil {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
val := reflect.ValueOf(target)
|
||||||
|
typ := val.Type()
|
||||||
|
if typ.Kind() != reflect.Ptr || val.IsNil() {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
targetType := typ.Elem()
|
||||||
|
if targetType.Kind() != reflect.Interface {
|
||||||
|
switch {
|
||||||
|
case targetType.Implements(brokerType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(loggerType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(clientType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(serverType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(codecType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(flowType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(fsmType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(meterType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(registerType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(resolverType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(selectorType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(storeType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(syncType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(serviceType):
|
||||||
|
break
|
||||||
|
case targetType.Implements(routerType):
|
||||||
|
break
|
||||||
|
default:
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if reflect.TypeOf(b).AssignableTo(targetType) {
|
||||||
|
val.Elem().Set(reflect.ValueOf(b))
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
||||||
|
var brokerType = reflect.TypeOf((*broker.Broker)(nil)).Elem()
|
||||||
|
var loggerType = reflect.TypeOf((*logger.Logger)(nil)).Elem()
|
||||||
|
var clientType = reflect.TypeOf((*client.Client)(nil)).Elem()
|
||||||
|
var serverType = reflect.TypeOf((*server.Server)(nil)).Elem()
|
||||||
|
var codecType = reflect.TypeOf((*codec.Codec)(nil)).Elem()
|
||||||
|
var flowType = reflect.TypeOf((*flow.Flow)(nil)).Elem()
|
||||||
|
var fsmType = reflect.TypeOf((*fsm.FSM)(nil)).Elem()
|
||||||
|
var meterType = reflect.TypeOf((*meter.Meter)(nil)).Elem()
|
||||||
|
var registerType = reflect.TypeOf((*register.Register)(nil)).Elem()
|
||||||
|
var resolverType = reflect.TypeOf((*resolver.Resolver)(nil)).Elem()
|
||||||
|
var routerType = reflect.TypeOf((*router.Router)(nil)).Elem()
|
||||||
|
var selectorType = reflect.TypeOf((*selector.Selector)(nil)).Elem()
|
||||||
|
var storeType = reflect.TypeOf((*store.Store)(nil)).Elem()
|
||||||
|
var syncType = reflect.TypeOf((*sync.Sync)(nil)).Elem()
|
||||||
|
var tracerType = reflect.TypeOf((*tracer.Tracer)(nil)).Elem()
|
||||||
|
var serviceType = reflect.TypeOf((*Service)(nil)).Elem()
|
|
@ -0,0 +1,115 @@
|
||||||
|
package micro
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"fmt"
|
||||||
|
"reflect"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/broker"
|
||||||
|
"go.unistack.org/micro/v3/fsm"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestAs(t *testing.T) {
|
||||||
|
var b *bro
|
||||||
|
broTarget := &bro{name: "kafka"}
|
||||||
|
fsmTarget := &fsmT{name: "fsm"}
|
||||||
|
|
||||||
|
testCases := []struct {
|
||||||
|
b any
|
||||||
|
target any
|
||||||
|
match bool
|
||||||
|
want any
|
||||||
|
}{
|
||||||
|
{
|
||||||
|
broTarget,
|
||||||
|
&b,
|
||||||
|
true,
|
||||||
|
broTarget,
|
||||||
|
},
|
||||||
|
{
|
||||||
|
nil,
|
||||||
|
&b,
|
||||||
|
false,
|
||||||
|
nil,
|
||||||
|
},
|
||||||
|
{
|
||||||
|
fsmTarget,
|
||||||
|
&b,
|
||||||
|
false,
|
||||||
|
nil,
|
||||||
|
},
|
||||||
|
}
|
||||||
|
for i, tc := range testCases {
|
||||||
|
name := fmt.Sprintf("%d:As(Errorf(..., %v), %v)", i, tc.b, tc.target)
|
||||||
|
// Clear the target pointer, in case it was set in a previous test.
|
||||||
|
rtarget := reflect.ValueOf(tc.target)
|
||||||
|
rtarget.Elem().Set(reflect.Zero(reflect.TypeOf(tc.target).Elem()))
|
||||||
|
t.Run(name, func(t *testing.T) {
|
||||||
|
match := As(tc.b, tc.target)
|
||||||
|
if match != tc.match {
|
||||||
|
t.Fatalf("match: got %v; want %v", match, tc.match)
|
||||||
|
}
|
||||||
|
if !match {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
if got := rtarget.Elem().Interface(); got != tc.want {
|
||||||
|
t.Fatalf("got %#v, want %#v", got, tc.want)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
type bro struct {
|
||||||
|
name string
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p *bro) Name() string { return p.name }
|
||||||
|
|
||||||
|
func (p *bro) Init(opts ...broker.Option) error { return nil }
|
||||||
|
|
||||||
|
// Options returns broker options
|
||||||
|
func (p *bro) Options() broker.Options { return broker.Options{} }
|
||||||
|
|
||||||
|
// Address return configured address
|
||||||
|
func (p *bro) Address() string { return "" }
|
||||||
|
|
||||||
|
// Connect connects to broker
|
||||||
|
func (p *bro) Connect(ctx context.Context) error { return nil }
|
||||||
|
|
||||||
|
// Disconnect disconnect from broker
|
||||||
|
func (p *bro) Disconnect(ctx context.Context) error { return nil }
|
||||||
|
|
||||||
|
// Publish message, msg can be single broker.Message or []broker.Message
|
||||||
|
func (p *bro) Publish(ctx context.Context, topic string, msg *broker.Message, opts ...broker.PublishOption) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// BatchPublish messages to broker with multiple topics
|
||||||
|
func (p *bro) BatchPublish(ctx context.Context, msgs []*broker.Message, opts ...broker.PublishOption) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// BatchSubscribe subscribes to topic messages via handler
|
||||||
|
func (p *bro) BatchSubscribe(ctx context.Context, topic string, h broker.BatchHandler, opts ...broker.SubscribeOption) (broker.Subscriber, error) {
|
||||||
|
return nil, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// Subscribe subscribes to topic message via handler
|
||||||
|
func (p *bro) Subscribe(ctx context.Context, topic string, handler broker.Handler, opts ...broker.SubscribeOption) (broker.Subscriber, error) {
|
||||||
|
return nil, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// String type of broker
|
||||||
|
func (p *bro) String() string { return p.name }
|
||||||
|
|
||||||
|
type fsmT struct {
|
||||||
|
name string
|
||||||
|
}
|
||||||
|
|
||||||
|
func (f *fsmT) Start(ctx context.Context, a interface{}, o ...Option) (interface{}, error) {
|
||||||
|
return nil, nil
|
||||||
|
}
|
||||||
|
func (f *fsmT) Current() string { return f.name }
|
||||||
|
func (f *fsmT) Reset() {}
|
||||||
|
func (f *fsmT) State(s string, sf fsm.StateFunc) {}
|
10
options.go
10
options.go
|
@ -269,15 +269,7 @@ func Logger(l logger.Logger, opts ...LoggerOption) Option {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
for _, mtr := range o.Meters {
|
|
||||||
for _, or := range lopts.meters {
|
|
||||||
if mtr.Name() == or || all {
|
|
||||||
if err = mtr.Init(meter.Logger(l)); err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
for _, trc := range o.Tracers {
|
for _, trc := range o.Tracers {
|
||||||
for _, ot := range lopts.tracers {
|
for _, ot := range lopts.tracers {
|
||||||
if trc.Name() == ot || all {
|
if trc.Name() == ot || all {
|
||||||
|
|
|
@ -1,4 +1,4 @@
|
||||||
package options // import "go.unistack.org/micro/v3/options"
|
package options
|
||||||
|
|
||||||
// Hook func interface
|
// Hook func interface
|
||||||
type Hook interface{}
|
type Hook interface{}
|
||||||
|
|
|
@ -6,6 +6,7 @@ import (
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
"go.unistack.org/micro/v3/logger"
|
"go.unistack.org/micro/v3/logger"
|
||||||
|
"go.unistack.org/micro/v3/register"
|
||||||
"go.unistack.org/micro/v3/util/id"
|
"go.unistack.org/micro/v3/util/id"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -16,7 +17,7 @@ var (
|
||||||
|
|
||||||
type node struct {
|
type node struct {
|
||||||
LastSeen time.Time
|
LastSeen time.Time
|
||||||
*Node
|
*register.Node
|
||||||
TTL time.Duration
|
TTL time.Duration
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -25,23 +26,23 @@ type record struct {
|
||||||
Version string
|
Version string
|
||||||
Metadata map[string]string
|
Metadata map[string]string
|
||||||
Nodes map[string]*node
|
Nodes map[string]*node
|
||||||
Endpoints []*Endpoint
|
Endpoints []*register.Endpoint
|
||||||
}
|
}
|
||||||
|
|
||||||
type memory struct {
|
type memory struct {
|
||||||
sync.RWMutex
|
sync.RWMutex
|
||||||
records map[string]services
|
records map[string]services
|
||||||
watchers map[string]*watcher
|
watchers map[string]*watcher
|
||||||
opts Options
|
opts register.Options
|
||||||
}
|
}
|
||||||
|
|
||||||
// services is a KV map with service name as the key and a map of records as the value
|
// services is a KV map with service name as the key and a map of records as the value
|
||||||
type services map[string]map[string]*record
|
type services map[string]map[string]*record
|
||||||
|
|
||||||
// NewRegister returns an initialized in-memory register
|
// NewRegister returns an initialized in-memory register
|
||||||
func NewRegister(opts ...Option) Register {
|
func NewRegister(opts ...register.Option) register.Register {
|
||||||
r := &memory{
|
r := &memory{
|
||||||
opts: NewOptions(opts...),
|
opts: register.NewOptions(opts...),
|
||||||
records: make(map[string]services),
|
records: make(map[string]services),
|
||||||
watchers: make(map[string]*watcher),
|
watchers: make(map[string]*watcher),
|
||||||
}
|
}
|
||||||
|
@ -75,7 +76,7 @@ func (m *memory) ttlPrune() {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memory) sendEvent(r *Result) {
|
func (m *memory) sendEvent(r *register.Result) {
|
||||||
m.RLock()
|
m.RLock()
|
||||||
watchers := make([]*watcher, 0, len(m.watchers))
|
watchers := make([]*watcher, 0, len(m.watchers))
|
||||||
for _, w := range m.watchers {
|
for _, w := range m.watchers {
|
||||||
|
@ -106,7 +107,7 @@ func (m *memory) Disconnect(ctx context.Context) error {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memory) Init(opts ...Option) error {
|
func (m *memory) Init(opts ...register.Option) error {
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
o(&m.opts)
|
o(&m.opts)
|
||||||
}
|
}
|
||||||
|
@ -118,15 +119,15 @@ func (m *memory) Init(opts ...Option) error {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memory) Options() Options {
|
func (m *memory) Options() register.Options {
|
||||||
return m.opts
|
return m.opts
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memory) Register(ctx context.Context, s *Service, opts ...RegisterOption) error {
|
func (m *memory) Register(ctx context.Context, s *register.Service, opts ...register.RegisterOption) error {
|
||||||
m.Lock()
|
m.Lock()
|
||||||
defer m.Unlock()
|
defer m.Unlock()
|
||||||
|
|
||||||
options := NewRegisterOptions(opts...)
|
options := register.NewRegisterOptions(opts...)
|
||||||
|
|
||||||
// get the services for this domain from the register
|
// get the services for this domain from the register
|
||||||
srvs, ok := m.records[options.Domain]
|
srvs, ok := m.records[options.Domain]
|
||||||
|
@ -153,7 +154,7 @@ func (m *memory) Register(ctx context.Context, s *Service, opts ...RegisterOptio
|
||||||
m.opts.Logger.Debugf(m.opts.Context, "Register added new service: %s, version: %s", s.Name, s.Version)
|
m.opts.Logger.Debugf(m.opts.Context, "Register added new service: %s, version: %s", s.Name, s.Version)
|
||||||
}
|
}
|
||||||
m.records[options.Domain] = srvs
|
m.records[options.Domain] = srvs
|
||||||
go m.sendEvent(&Result{Action: "create", Service: s})
|
go m.sendEvent(®ister.Result{Action: "create", Service: s})
|
||||||
}
|
}
|
||||||
|
|
||||||
var addedNodes bool
|
var addedNodes bool
|
||||||
|
@ -176,7 +177,7 @@ func (m *memory) Register(ctx context.Context, s *Service, opts ...RegisterOptio
|
||||||
|
|
||||||
// add the node
|
// add the node
|
||||||
srvs[s.Name][s.Version].Nodes[n.ID] = &node{
|
srvs[s.Name][s.Version].Nodes[n.ID] = &node{
|
||||||
Node: &Node{
|
Node: ®ister.Node{
|
||||||
ID: n.ID,
|
ID: n.ID,
|
||||||
Address: n.Address,
|
Address: n.Address,
|
||||||
Metadata: metadata,
|
Metadata: metadata,
|
||||||
|
@ -192,7 +193,7 @@ func (m *memory) Register(ctx context.Context, s *Service, opts ...RegisterOptio
|
||||||
if m.opts.Logger.V(logger.DebugLevel) {
|
if m.opts.Logger.V(logger.DebugLevel) {
|
||||||
m.opts.Logger.Debugf(m.opts.Context, "Register added new node to service: %s, version: %s", s.Name, s.Version)
|
m.opts.Logger.Debugf(m.opts.Context, "Register added new node to service: %s, version: %s", s.Name, s.Version)
|
||||||
}
|
}
|
||||||
go m.sendEvent(&Result{Action: "update", Service: s})
|
go m.sendEvent(®ister.Result{Action: "update", Service: s})
|
||||||
} else {
|
} else {
|
||||||
// refresh TTL and timestamp
|
// refresh TTL and timestamp
|
||||||
for _, n := range s.Nodes {
|
for _, n := range s.Nodes {
|
||||||
|
@ -208,11 +209,11 @@ func (m *memory) Register(ctx context.Context, s *Service, opts ...RegisterOptio
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memory) Deregister(ctx context.Context, s *Service, opts ...DeregisterOption) error {
|
func (m *memory) Deregister(ctx context.Context, s *register.Service, opts ...register.DeregisterOption) error {
|
||||||
m.Lock()
|
m.Lock()
|
||||||
defer m.Unlock()
|
defer m.Unlock()
|
||||||
|
|
||||||
options := NewDeregisterOptions(opts...)
|
options := register.NewDeregisterOptions(opts...)
|
||||||
|
|
||||||
// domain is set in metadata so it can be passed to watchers
|
// domain is set in metadata so it can be passed to watchers
|
||||||
if s.Metadata == nil {
|
if s.Metadata == nil {
|
||||||
|
@ -252,7 +253,7 @@ func (m *memory) Deregister(ctx context.Context, s *Service, opts ...DeregisterO
|
||||||
// is cleanup
|
// is cleanup
|
||||||
if len(version.Nodes) > 0 {
|
if len(version.Nodes) > 0 {
|
||||||
m.records[options.Domain][s.Name][s.Version] = version
|
m.records[options.Domain][s.Name][s.Version] = version
|
||||||
go m.sendEvent(&Result{Action: "update", Service: s})
|
go m.sendEvent(®ister.Result{Action: "update", Service: s})
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -260,7 +261,7 @@ func (m *memory) Deregister(ctx context.Context, s *Service, opts ...DeregisterO
|
||||||
// register and exit
|
// register and exit
|
||||||
if len(versions) == 1 {
|
if len(versions) == 1 {
|
||||||
delete(m.records[options.Domain], s.Name)
|
delete(m.records[options.Domain], s.Name)
|
||||||
go m.sendEvent(&Result{Action: "delete", Service: s})
|
go m.sendEvent(®ister.Result{Action: "delete", Service: s})
|
||||||
|
|
||||||
if m.opts.Logger.V(logger.DebugLevel) {
|
if m.opts.Logger.V(logger.DebugLevel) {
|
||||||
m.opts.Logger.Debugf(m.opts.Context, "Register removed service: %s", s.Name)
|
m.opts.Logger.Debugf(m.opts.Context, "Register removed service: %s", s.Name)
|
||||||
|
@ -270,7 +271,7 @@ func (m *memory) Deregister(ctx context.Context, s *Service, opts ...DeregisterO
|
||||||
|
|
||||||
// there are other versions of the service running, so only remove this version of it
|
// there are other versions of the service running, so only remove this version of it
|
||||||
delete(m.records[options.Domain][s.Name], s.Version)
|
delete(m.records[options.Domain][s.Name], s.Version)
|
||||||
go m.sendEvent(&Result{Action: "delete", Service: s})
|
go m.sendEvent(®ister.Result{Action: "delete", Service: s})
|
||||||
if m.opts.Logger.V(logger.DebugLevel) {
|
if m.opts.Logger.V(logger.DebugLevel) {
|
||||||
m.opts.Logger.Debugf(m.opts.Context, "Register removed service: %s, version: %s", s.Name, s.Version)
|
m.opts.Logger.Debugf(m.opts.Context, "Register removed service: %s, version: %s", s.Name, s.Version)
|
||||||
}
|
}
|
||||||
|
@ -278,20 +279,20 @@ func (m *memory) Deregister(ctx context.Context, s *Service, opts ...DeregisterO
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memory) LookupService(ctx context.Context, name string, opts ...LookupOption) ([]*Service, error) {
|
func (m *memory) LookupService(ctx context.Context, name string, opts ...register.LookupOption) ([]*register.Service, error) {
|
||||||
options := NewLookupOptions(opts...)
|
options := register.NewLookupOptions(opts...)
|
||||||
|
|
||||||
// if it's a wildcard domain, return from all domains
|
// if it's a wildcard domain, return from all domains
|
||||||
if options.Domain == WildcardDomain {
|
if options.Domain == register.WildcardDomain {
|
||||||
m.RLock()
|
m.RLock()
|
||||||
recs := m.records
|
recs := m.records
|
||||||
m.RUnlock()
|
m.RUnlock()
|
||||||
|
|
||||||
var services []*Service
|
var services []*register.Service
|
||||||
|
|
||||||
for domain := range recs {
|
for domain := range recs {
|
||||||
srvs, err := m.LookupService(ctx, name, append(opts, LookupDomain(domain))...)
|
srvs, err := m.LookupService(ctx, name, append(opts, register.LookupDomain(domain))...)
|
||||||
if err == ErrNotFound {
|
if err == register.ErrNotFound {
|
||||||
continue
|
continue
|
||||||
} else if err != nil {
|
} else if err != nil {
|
||||||
return nil, err
|
return nil, err
|
||||||
|
@ -300,7 +301,7 @@ func (m *memory) LookupService(ctx context.Context, name string, opts ...LookupO
|
||||||
}
|
}
|
||||||
|
|
||||||
if len(services) == 0 {
|
if len(services) == 0 {
|
||||||
return nil, ErrNotFound
|
return nil, register.ErrNotFound
|
||||||
}
|
}
|
||||||
return services, nil
|
return services, nil
|
||||||
}
|
}
|
||||||
|
@ -311,17 +312,17 @@ func (m *memory) LookupService(ctx context.Context, name string, opts ...LookupO
|
||||||
// check the domain exists
|
// check the domain exists
|
||||||
services, ok := m.records[options.Domain]
|
services, ok := m.records[options.Domain]
|
||||||
if !ok {
|
if !ok {
|
||||||
return nil, ErrNotFound
|
return nil, register.ErrNotFound
|
||||||
}
|
}
|
||||||
|
|
||||||
// check the service exists
|
// check the service exists
|
||||||
versions, ok := services[name]
|
versions, ok := services[name]
|
||||||
if !ok || len(versions) == 0 {
|
if !ok || len(versions) == 0 {
|
||||||
return nil, ErrNotFound
|
return nil, register.ErrNotFound
|
||||||
}
|
}
|
||||||
|
|
||||||
// serialize the response
|
// serialize the response
|
||||||
result := make([]*Service, len(versions))
|
result := make([]*register.Service, len(versions))
|
||||||
|
|
||||||
var i int
|
var i int
|
||||||
|
|
||||||
|
@ -333,19 +334,19 @@ func (m *memory) LookupService(ctx context.Context, name string, opts ...LookupO
|
||||||
return result, nil
|
return result, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memory) ListServices(ctx context.Context, opts ...ListOption) ([]*Service, error) {
|
func (m *memory) ListServices(ctx context.Context, opts ...register.ListOption) ([]*register.Service, error) {
|
||||||
options := NewListOptions(opts...)
|
options := register.NewListOptions(opts...)
|
||||||
|
|
||||||
// if it's a wildcard domain, list from all domains
|
// if it's a wildcard domain, list from all domains
|
||||||
if options.Domain == WildcardDomain {
|
if options.Domain == register.WildcardDomain {
|
||||||
m.RLock()
|
m.RLock()
|
||||||
recs := m.records
|
recs := m.records
|
||||||
m.RUnlock()
|
m.RUnlock()
|
||||||
|
|
||||||
var services []*Service
|
var services []*register.Service
|
||||||
|
|
||||||
for domain := range recs {
|
for domain := range recs {
|
||||||
srvs, err := m.ListServices(ctx, append(opts, ListDomain(domain))...)
|
srvs, err := m.ListServices(ctx, append(opts, register.ListDomain(domain))...)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return nil, err
|
return nil, err
|
||||||
}
|
}
|
||||||
|
@ -361,11 +362,11 @@ func (m *memory) ListServices(ctx context.Context, opts ...ListOption) ([]*Servi
|
||||||
// ensure the domain exists
|
// ensure the domain exists
|
||||||
services, ok := m.records[options.Domain]
|
services, ok := m.records[options.Domain]
|
||||||
if !ok {
|
if !ok {
|
||||||
return make([]*Service, 0), nil
|
return make([]*register.Service, 0), nil
|
||||||
}
|
}
|
||||||
|
|
||||||
// serialize the result, each version counts as an individual service
|
// serialize the result, each version counts as an individual service
|
||||||
var result []*Service
|
var result []*register.Service
|
||||||
|
|
||||||
for _, service := range services {
|
for _, service := range services {
|
||||||
for _, version := range service {
|
for _, version := range service {
|
||||||
|
@ -376,16 +377,16 @@ func (m *memory) ListServices(ctx context.Context, opts ...ListOption) ([]*Servi
|
||||||
return result, nil
|
return result, nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memory) Watch(ctx context.Context, opts ...WatchOption) (Watcher, error) {
|
func (m *memory) Watch(ctx context.Context, opts ...register.WatchOption) (register.Watcher, error) {
|
||||||
id, err := id.New()
|
id, err := id.New()
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return nil, err
|
return nil, err
|
||||||
}
|
}
|
||||||
wo := NewWatchOptions(opts...)
|
wo := register.NewWatchOptions(opts...)
|
||||||
// construct the watcher
|
// construct the watcher
|
||||||
w := &watcher{
|
w := &watcher{
|
||||||
exit: make(chan bool),
|
exit: make(chan bool),
|
||||||
res: make(chan *Result),
|
res: make(chan *register.Result),
|
||||||
id: id,
|
id: id,
|
||||||
wo: wo,
|
wo: wo,
|
||||||
}
|
}
|
||||||
|
@ -406,13 +407,13 @@ func (m *memory) String() string {
|
||||||
}
|
}
|
||||||
|
|
||||||
type watcher struct {
|
type watcher struct {
|
||||||
res chan *Result
|
res chan *register.Result
|
||||||
exit chan bool
|
exit chan bool
|
||||||
wo WatchOptions
|
wo register.WatchOptions
|
||||||
id string
|
id string
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *watcher) Next() (*Result, error) {
|
func (m *watcher) Next() (*register.Result, error) {
|
||||||
for {
|
for {
|
||||||
select {
|
select {
|
||||||
case r := <-m.res:
|
case r := <-m.res:
|
||||||
|
@ -429,15 +430,15 @@ func (m *watcher) Next() (*Result, error) {
|
||||||
if r.Service.Metadata != nil && len(r.Service.Metadata["domain"]) > 0 {
|
if r.Service.Metadata != nil && len(r.Service.Metadata["domain"]) > 0 {
|
||||||
domain = r.Service.Metadata["domain"]
|
domain = r.Service.Metadata["domain"]
|
||||||
} else {
|
} else {
|
||||||
domain = DefaultDomain
|
domain = register.DefaultDomain
|
||||||
}
|
}
|
||||||
|
|
||||||
// only send the event if watching the wildcard or this specific domain
|
// only send the event if watching the wildcard or this specific domain
|
||||||
if m.wo.Domain == WildcardDomain || m.wo.Domain == domain {
|
if m.wo.Domain == register.WildcardDomain || m.wo.Domain == domain {
|
||||||
return r, nil
|
return r, nil
|
||||||
}
|
}
|
||||||
case <-m.exit:
|
case <-m.exit:
|
||||||
return nil, ErrWatcherStopped
|
return nil, register.ErrWatcherStopped
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
@ -451,7 +452,7 @@ func (m *watcher) Stop() {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
func serviceToRecord(s *Service, ttl time.Duration) *record {
|
func serviceToRecord(s *register.Service, ttl time.Duration) *record {
|
||||||
metadata := make(map[string]string, len(s.Metadata))
|
metadata := make(map[string]string, len(s.Metadata))
|
||||||
for k, v := range s.Metadata {
|
for k, v := range s.Metadata {
|
||||||
metadata[k] = v
|
metadata[k] = v
|
||||||
|
@ -466,7 +467,7 @@ func serviceToRecord(s *Service, ttl time.Duration) *record {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
endpoints := make([]*Endpoint, len(s.Endpoints))
|
endpoints := make([]*register.Endpoint, len(s.Endpoints))
|
||||||
for i, e := range s.Endpoints {
|
for i, e := range s.Endpoints {
|
||||||
endpoints[i] = e
|
endpoints[i] = e
|
||||||
}
|
}
|
||||||
|
@ -480,7 +481,7 @@ func serviceToRecord(s *Service, ttl time.Duration) *record {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
func recordToService(r *record, domain string) *Service {
|
func recordToService(r *record, domain string) *register.Service {
|
||||||
metadata := make(map[string]string, len(r.Metadata))
|
metadata := make(map[string]string, len(r.Metadata))
|
||||||
for k, v := range r.Metadata {
|
for k, v := range r.Metadata {
|
||||||
metadata[k] = v
|
metadata[k] = v
|
||||||
|
@ -489,14 +490,14 @@ func recordToService(r *record, domain string) *Service {
|
||||||
// set the domain in metadata so it can be determined when a wildcard query is performed
|
// set the domain in metadata so it can be determined when a wildcard query is performed
|
||||||
metadata["domain"] = domain
|
metadata["domain"] = domain
|
||||||
|
|
||||||
endpoints := make([]*Endpoint, len(r.Endpoints))
|
endpoints := make([]*register.Endpoint, len(r.Endpoints))
|
||||||
for i, e := range r.Endpoints {
|
for i, e := range r.Endpoints {
|
||||||
md := make(map[string]string, len(e.Metadata))
|
md := make(map[string]string, len(e.Metadata))
|
||||||
for k, v := range e.Metadata {
|
for k, v := range e.Metadata {
|
||||||
md[k] = v
|
md[k] = v
|
||||||
}
|
}
|
||||||
|
|
||||||
endpoints[i] = &Endpoint{
|
endpoints[i] = ®ister.Endpoint{
|
||||||
Name: e.Name,
|
Name: e.Name,
|
||||||
Request: e.Request,
|
Request: e.Request,
|
||||||
Response: e.Response,
|
Response: e.Response,
|
||||||
|
@ -504,7 +505,7 @@ func recordToService(r *record, domain string) *Service {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
nodes := make([]*Node, len(r.Nodes))
|
nodes := make([]*register.Node, len(r.Nodes))
|
||||||
i := 0
|
i := 0
|
||||||
for _, n := range r.Nodes {
|
for _, n := range r.Nodes {
|
||||||
md := make(map[string]string, len(n.Metadata))
|
md := make(map[string]string, len(n.Metadata))
|
||||||
|
@ -512,7 +513,7 @@ func recordToService(r *record, domain string) *Service {
|
||||||
md[k] = v
|
md[k] = v
|
||||||
}
|
}
|
||||||
|
|
||||||
nodes[i] = &Node{
|
nodes[i] = ®ister.Node{
|
||||||
ID: n.ID,
|
ID: n.ID,
|
||||||
Address: n.Address,
|
Address: n.Address,
|
||||||
Metadata: md,
|
Metadata: md,
|
||||||
|
@ -520,7 +521,7 @@ func recordToService(r *record, domain string) *Service {
|
||||||
i++
|
i++
|
||||||
}
|
}
|
||||||
|
|
||||||
return &Service{
|
return ®ister.Service{
|
||||||
Name: r.Name,
|
Name: r.Name,
|
||||||
Version: r.Version,
|
Version: r.Version,
|
||||||
Metadata: metadata,
|
Metadata: metadata,
|
|
@ -6,14 +6,16 @@ import (
|
||||||
"sync"
|
"sync"
|
||||||
"testing"
|
"testing"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/register"
|
||||||
)
|
)
|
||||||
|
|
||||||
var testData = map[string][]*Service{
|
var testData = map[string][]*register.Service{
|
||||||
"foo": {
|
"foo": {
|
||||||
{
|
{
|
||||||
Name: "foo",
|
Name: "foo",
|
||||||
Version: "1.0.0",
|
Version: "1.0.0",
|
||||||
Nodes: []*Node{
|
Nodes: []*register.Node{
|
||||||
{
|
{
|
||||||
ID: "foo-1.0.0-123",
|
ID: "foo-1.0.0-123",
|
||||||
Address: "localhost:9999",
|
Address: "localhost:9999",
|
||||||
|
@ -27,7 +29,7 @@ var testData = map[string][]*Service{
|
||||||
{
|
{
|
||||||
Name: "foo",
|
Name: "foo",
|
||||||
Version: "1.0.1",
|
Version: "1.0.1",
|
||||||
Nodes: []*Node{
|
Nodes: []*register.Node{
|
||||||
{
|
{
|
||||||
ID: "foo-1.0.1-321",
|
ID: "foo-1.0.1-321",
|
||||||
Address: "localhost:6666",
|
Address: "localhost:6666",
|
||||||
|
@ -37,7 +39,7 @@ var testData = map[string][]*Service{
|
||||||
{
|
{
|
||||||
Name: "foo",
|
Name: "foo",
|
||||||
Version: "1.0.3",
|
Version: "1.0.3",
|
||||||
Nodes: []*Node{
|
Nodes: []*register.Node{
|
||||||
{
|
{
|
||||||
ID: "foo-1.0.3-345",
|
ID: "foo-1.0.3-345",
|
||||||
Address: "localhost:8888",
|
Address: "localhost:8888",
|
||||||
|
@ -49,7 +51,7 @@ var testData = map[string][]*Service{
|
||||||
{
|
{
|
||||||
Name: "bar",
|
Name: "bar",
|
||||||
Version: "default",
|
Version: "default",
|
||||||
Nodes: []*Node{
|
Nodes: []*register.Node{
|
||||||
{
|
{
|
||||||
ID: "bar-1.0.0-123",
|
ID: "bar-1.0.0-123",
|
||||||
Address: "localhost:9999",
|
Address: "localhost:9999",
|
||||||
|
@ -63,7 +65,7 @@ var testData = map[string][]*Service{
|
||||||
{
|
{
|
||||||
Name: "bar",
|
Name: "bar",
|
||||||
Version: "latest",
|
Version: "latest",
|
||||||
Nodes: []*Node{
|
Nodes: []*register.Node{
|
||||||
{
|
{
|
||||||
ID: "bar-1.0.1-321",
|
ID: "bar-1.0.1-321",
|
||||||
Address: "localhost:6666",
|
Address: "localhost:6666",
|
||||||
|
@ -78,7 +80,7 @@ func TestMemoryRegistry(t *testing.T) {
|
||||||
ctx := context.TODO()
|
ctx := context.TODO()
|
||||||
m := NewRegister()
|
m := NewRegister()
|
||||||
|
|
||||||
fn := func(k string, v []*Service) {
|
fn := func(k string, v []*register.Service) {
|
||||||
services, err := m.LookupService(ctx, k)
|
services, err := m.LookupService(ctx, k)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
t.Errorf("Unexpected error getting service %s: %v", k, err)
|
t.Errorf("Unexpected error getting service %s: %v", k, err)
|
||||||
|
@ -155,8 +157,8 @@ func TestMemoryRegistry(t *testing.T) {
|
||||||
for _, v := range testData {
|
for _, v := range testData {
|
||||||
for _, service := range v {
|
for _, service := range v {
|
||||||
services, err := m.LookupService(ctx, service.Name)
|
services, err := m.LookupService(ctx, service.Name)
|
||||||
if err != ErrNotFound {
|
if err != register.ErrNotFound {
|
||||||
t.Errorf("Expected error: %v, got: %v", ErrNotFound, err)
|
t.Errorf("Expected error: %v, got: %v", register.ErrNotFound, err)
|
||||||
}
|
}
|
||||||
if len(services) != 0 {
|
if len(services) != 0 {
|
||||||
t.Errorf("Expected %d services for %s, got %d", 0, service.Name, len(services))
|
t.Errorf("Expected %d services for %s, got %d", 0, service.Name, len(services))
|
||||||
|
@ -171,7 +173,7 @@ func TestMemoryRegistryTTL(t *testing.T) {
|
||||||
|
|
||||||
for _, v := range testData {
|
for _, v := range testData {
|
||||||
for _, service := range v {
|
for _, service := range v {
|
||||||
if err := m.Register(ctx, service, RegisterTTL(time.Millisecond)); err != nil {
|
if err := m.Register(ctx, service, register.RegisterTTL(time.Millisecond)); err != nil {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
@ -200,7 +202,7 @@ func TestMemoryRegistryTTLConcurrent(t *testing.T) {
|
||||||
ctx := context.TODO()
|
ctx := context.TODO()
|
||||||
for _, v := range testData {
|
for _, v := range testData {
|
||||||
for _, service := range v {
|
for _, service := range v {
|
||||||
if err := m.Register(ctx, service, RegisterTTL(waitTime/2)); err != nil {
|
if err := m.Register(ctx, service, register.RegisterTTL(waitTime/2)); err != nil {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
@ -249,34 +251,34 @@ func TestMemoryWildcard(t *testing.T) {
|
||||||
m := NewRegister()
|
m := NewRegister()
|
||||||
ctx := context.TODO()
|
ctx := context.TODO()
|
||||||
|
|
||||||
testSrv := &Service{Name: "foo", Version: "1.0.0"}
|
testSrv := ®ister.Service{Name: "foo", Version: "1.0.0"}
|
||||||
|
|
||||||
if err := m.Register(ctx, testSrv, RegisterDomain("one")); err != nil {
|
if err := m.Register(ctx, testSrv, register.RegisterDomain("one")); err != nil {
|
||||||
t.Fatalf("Register err: %v", err)
|
t.Fatalf("Register err: %v", err)
|
||||||
}
|
}
|
||||||
if err := m.Register(ctx, testSrv, RegisterDomain("two")); err != nil {
|
if err := m.Register(ctx, testSrv, register.RegisterDomain("two")); err != nil {
|
||||||
t.Fatalf("Register err: %v", err)
|
t.Fatalf("Register err: %v", err)
|
||||||
}
|
}
|
||||||
|
|
||||||
if recs, err := m.ListServices(ctx, ListDomain("one")); err != nil {
|
if recs, err := m.ListServices(ctx, register.ListDomain("one")); err != nil {
|
||||||
t.Errorf("List err: %v", err)
|
t.Errorf("List err: %v", err)
|
||||||
} else if len(recs) != 1 {
|
} else if len(recs) != 1 {
|
||||||
t.Errorf("Expected 1 record, got %v", len(recs))
|
t.Errorf("Expected 1 record, got %v", len(recs))
|
||||||
}
|
}
|
||||||
|
|
||||||
if recs, err := m.ListServices(ctx, ListDomain("*")); err != nil {
|
if recs, err := m.ListServices(ctx, register.ListDomain("*")); err != nil {
|
||||||
t.Errorf("List err: %v", err)
|
t.Errorf("List err: %v", err)
|
||||||
} else if len(recs) != 2 {
|
} else if len(recs) != 2 {
|
||||||
t.Errorf("Expected 2 records, got %v", len(recs))
|
t.Errorf("Expected 2 records, got %v", len(recs))
|
||||||
}
|
}
|
||||||
|
|
||||||
if recs, err := m.LookupService(ctx, testSrv.Name, LookupDomain("one")); err != nil {
|
if recs, err := m.LookupService(ctx, testSrv.Name, register.LookupDomain("one")); err != nil {
|
||||||
t.Errorf("Lookup err: %v", err)
|
t.Errorf("Lookup err: %v", err)
|
||||||
} else if len(recs) != 1 {
|
} else if len(recs) != 1 {
|
||||||
t.Errorf("Expected 1 record, got %v", len(recs))
|
t.Errorf("Expected 1 record, got %v", len(recs))
|
||||||
}
|
}
|
||||||
|
|
||||||
if recs, err := m.LookupService(ctx, testSrv.Name, LookupDomain("*")); err != nil {
|
if recs, err := m.LookupService(ctx, testSrv.Name, register.LookupDomain("*")); err != nil {
|
||||||
t.Errorf("Lookup err: %v", err)
|
t.Errorf("Lookup err: %v", err)
|
||||||
} else if len(recs) != 2 {
|
} else if len(recs) != 2 {
|
||||||
t.Errorf("Expected 2 records, got %v", len(recs))
|
t.Errorf("Expected 2 records, got %v", len(recs))
|
||||||
|
@ -284,7 +286,7 @@ func TestMemoryWildcard(t *testing.T) {
|
||||||
}
|
}
|
||||||
|
|
||||||
func TestWatcher(t *testing.T) {
|
func TestWatcher(t *testing.T) {
|
||||||
testSrv := &Service{Name: "foo", Version: "1.0.0"}
|
testSrv := ®ister.Service{Name: "foo", Version: "1.0.0"}
|
||||||
|
|
||||||
ctx := context.TODO()
|
ctx := context.TODO()
|
||||||
m := NewRegister()
|
m := NewRegister()
|
|
@ -0,0 +1,72 @@
|
||||||
|
package register
|
||||||
|
|
||||||
|
import "context"
|
||||||
|
|
||||||
|
type noop struct {
|
||||||
|
opts Options
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewRegister(opts ...Option) Register {
|
||||||
|
return &noop{
|
||||||
|
opts: NewOptions(opts...),
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) Name() string {
|
||||||
|
return n.opts.Name
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) Init(opts ...Option) error {
|
||||||
|
for _, o := range opts {
|
||||||
|
o(&n.opts)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) Options() Options {
|
||||||
|
return n.opts
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) Connect(ctx context.Context) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) Disconnect(ctx context.Context) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) Register(ctx context.Context, service *Service, option ...RegisterOption) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) Deregister(ctx context.Context, service *Service, option ...DeregisterOption) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) LookupService(ctx context.Context, s string, option ...LookupOption) ([]*Service, error) {
|
||||||
|
return nil, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) ListServices(ctx context.Context, option ...ListOption) ([]*Service, error) {
|
||||||
|
return nil, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) Watch(ctx context.Context, opts ...WatchOption) (Watcher, error) {
|
||||||
|
wOpts := NewWatchOptions(opts...)
|
||||||
|
|
||||||
|
return &watcher{wo: wOpts}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noop) String() string {
|
||||||
|
return "noop"
|
||||||
|
}
|
||||||
|
|
||||||
|
type watcher struct {
|
||||||
|
wo WatchOptions
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *watcher) Next() (*Result, error) {
|
||||||
|
return nil, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *watcher) Stop() {}
|
|
@ -18,7 +18,7 @@ var DefaultDomain = "micro"
|
||||||
|
|
||||||
var (
|
var (
|
||||||
// DefaultRegister is the global default register
|
// DefaultRegister is the global default register
|
||||||
DefaultRegister = NewRegister()
|
DefaultRegister Register = NewRegister()
|
||||||
// ErrNotFound returned when LookupService is called and no services found
|
// ErrNotFound returned when LookupService is called and no services found
|
||||||
ErrNotFound = errors.New("service not found")
|
ErrNotFound = errors.New("service not found")
|
||||||
// ErrWatcherStopped returned when when watcher is stopped
|
// ErrWatcherStopped returned when when watcher is stopped
|
||||||
|
|
|
@ -1,5 +1,5 @@
|
||||||
// Package resolver resolves network names to addresses
|
// Package resolver resolves network names to addresses
|
||||||
package resolver // import "go.unistack.org/micro/v3/resolver"
|
package resolver
|
||||||
|
|
||||||
// Resolver is network resolver. It's used to find network nodes
|
// Resolver is network resolver. It's used to find network nodes
|
||||||
// via the name to connect to. This is done based on Network.Name().
|
// via the name to connect to. This is done based on Network.Name().
|
||||||
|
|
|
@ -7,7 +7,7 @@ import (
|
||||||
|
|
||||||
var (
|
var (
|
||||||
// DefaultRouter is the global default router
|
// DefaultRouter is the global default router
|
||||||
DefaultRouter = NewRouter()
|
DefaultRouter Router = NewRouter()
|
||||||
// DefaultNetwork is default micro network
|
// DefaultNetwork is default micro network
|
||||||
DefaultNetwork = "micro"
|
DefaultNetwork = "micro"
|
||||||
// ErrRouteNotFound is returned when no route was found in the routing table
|
// ErrRouteNotFound is returned when no route was found in the routing table
|
||||||
|
|
|
@ -0,0 +1,22 @@
|
||||||
|
package semconv
|
||||||
|
|
||||||
|
var (
|
||||||
|
// PublishMessageDurationSeconds specifies meter metric name
|
||||||
|
PublishMessageDurationSeconds = "publish_message_duration_seconds"
|
||||||
|
// PublishMessageLatencyMicroseconds specifies meter metric name
|
||||||
|
PublishMessageLatencyMicroseconds = "publish_message_latency_microseconds"
|
||||||
|
// PublishMessageTotal specifies meter metric name
|
||||||
|
PublishMessageTotal = "publish_message_total"
|
||||||
|
// PublishMessageInflight specifies meter metric name
|
||||||
|
PublishMessageInflight = "publish_message_inflight"
|
||||||
|
// SubscribeMessageDurationSeconds specifies meter metric name
|
||||||
|
SubscribeMessageDurationSeconds = "subscribe_message_duration_seconds"
|
||||||
|
// SubscribeMessageLatencyMicroseconds specifies meter metric name
|
||||||
|
SubscribeMessageLatencyMicroseconds = "subscribe_message_latency_microseconds"
|
||||||
|
// SubscribeMessageTotal specifies meter metric name
|
||||||
|
SubscribeMessageTotal = "subscribe_message_total"
|
||||||
|
// SubscribeMessageInflight specifies meter metric name
|
||||||
|
SubscribeMessageInflight = "subscribe_message_inflight"
|
||||||
|
// BrokerGroupLag specifies broker lag
|
||||||
|
BrokerGroupLag = "broker_group_lag"
|
||||||
|
)
|
|
@ -0,0 +1,12 @@
|
||||||
|
package semconv
|
||||||
|
|
||||||
|
var (
|
||||||
|
// CacheRequestDurationSeconds specifies meter metric name
|
||||||
|
CacheRequestDurationSeconds = "cache_request_duration_seconds"
|
||||||
|
// ClientRequestLatencyMicroseconds specifies meter metric name
|
||||||
|
CacheRequestLatencyMicroseconds = "cache_request_latency_microseconds"
|
||||||
|
// CacheRequestTotal specifies meter metric name
|
||||||
|
CacheRequestTotal = "cache_request_total"
|
||||||
|
// CacheRequestInflight specifies meter metric name
|
||||||
|
CacheRequestInflight = "cache_request_inflight"
|
||||||
|
)
|
|
@ -0,0 +1,12 @@
|
||||||
|
package semconv
|
||||||
|
|
||||||
|
var (
|
||||||
|
// ClientRequestDurationSeconds specifies meter metric name
|
||||||
|
ClientRequestDurationSeconds = "client_request_duration_seconds"
|
||||||
|
// ClientRequestLatencyMicroseconds specifies meter metric name
|
||||||
|
ClientRequestLatencyMicroseconds = "client_request_latency_microseconds"
|
||||||
|
// ClientRequestTotal specifies meter metric name
|
||||||
|
ClientRequestTotal = "client_request_total"
|
||||||
|
// ClientRequestInflight specifies meter metric name
|
||||||
|
ClientRequestInflight = "client_request_inflight"
|
||||||
|
)
|
|
@ -0,0 +1,4 @@
|
||||||
|
package semconv
|
||||||
|
|
||||||
|
// LoggerMessageTotal specifies meter metric name for logger messages
|
||||||
|
var LoggerMessageTotal = "logger_message_total"
|
|
@ -0,0 +1,12 @@
|
||||||
|
package semconv
|
||||||
|
|
||||||
|
var (
|
||||||
|
// ServerRequestDurationSeconds specifies meter metric name
|
||||||
|
ServerRequestDurationSeconds = "server_request_duration_seconds"
|
||||||
|
// ServerRequestLatencyMicroseconds specifies meter metric name
|
||||||
|
ServerRequestLatencyMicroseconds = "server_request_latency_microseconds"
|
||||||
|
// ServerRequestTotal specifies meter metric name
|
||||||
|
ServerRequestTotal = "server_request_total"
|
||||||
|
// ServerRequestInflight specifies meter metric name
|
||||||
|
ServerRequestInflight = "server_request_inflight"
|
||||||
|
)
|
|
@ -1,59 +0,0 @@
|
||||||
package server
|
|
||||||
|
|
||||||
import (
|
|
||||||
"reflect"
|
|
||||||
|
|
||||||
"go.unistack.org/micro/v3/register"
|
|
||||||
)
|
|
||||||
|
|
||||||
type rpcHandler struct {
|
|
||||||
opts HandlerOptions
|
|
||||||
handler interface{}
|
|
||||||
name string
|
|
||||||
endpoints []*register.Endpoint
|
|
||||||
}
|
|
||||||
|
|
||||||
func newRPCHandler(handler interface{}, opts ...HandlerOption) Handler {
|
|
||||||
options := NewHandlerOptions(opts...)
|
|
||||||
|
|
||||||
typ := reflect.TypeOf(handler)
|
|
||||||
hdlr := reflect.ValueOf(handler)
|
|
||||||
name := reflect.Indirect(hdlr).Type().Name()
|
|
||||||
|
|
||||||
var endpoints []*register.Endpoint
|
|
||||||
|
|
||||||
for m := 0; m < typ.NumMethod(); m++ {
|
|
||||||
if e := register.ExtractEndpoint(typ.Method(m)); e != nil {
|
|
||||||
e.Name = name + "." + e.Name
|
|
||||||
|
|
||||||
for k, v := range options.Metadata[e.Name] {
|
|
||||||
e.Metadata[k] = v
|
|
||||||
}
|
|
||||||
|
|
||||||
endpoints = append(endpoints, e)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
return &rpcHandler{
|
|
||||||
name: name,
|
|
||||||
handler: handler,
|
|
||||||
endpoints: endpoints,
|
|
||||||
opts: options,
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (r *rpcHandler) Name() string {
|
|
||||||
return r.name
|
|
||||||
}
|
|
||||||
|
|
||||||
func (r *rpcHandler) Handler() interface{} {
|
|
||||||
return r.handler
|
|
||||||
}
|
|
||||||
|
|
||||||
func (r *rpcHandler) Endpoints() []*register.Endpoint {
|
|
||||||
return r.endpoints
|
|
||||||
}
|
|
||||||
|
|
||||||
func (r *rpcHandler) Options() HandlerOptions {
|
|
||||||
return r.opts
|
|
||||||
}
|
|
409
server/noop.go
409
server/noop.go
|
@ -1,14 +1,22 @@
|
||||||
package server
|
package server
|
||||||
|
|
||||||
import (
|
import (
|
||||||
|
"bytes"
|
||||||
|
"context"
|
||||||
"fmt"
|
"fmt"
|
||||||
|
"reflect"
|
||||||
|
"runtime/debug"
|
||||||
"sort"
|
"sort"
|
||||||
|
"strings"
|
||||||
"sync"
|
"sync"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
"go.unistack.org/micro/v3/broker"
|
"go.unistack.org/micro/v3/broker"
|
||||||
"go.unistack.org/micro/v3/codec"
|
"go.unistack.org/micro/v3/codec"
|
||||||
|
"go.unistack.org/micro/v3/errors"
|
||||||
"go.unistack.org/micro/v3/logger"
|
"go.unistack.org/micro/v3/logger"
|
||||||
|
"go.unistack.org/micro/v3/metadata"
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
"go.unistack.org/micro/v3/register"
|
"go.unistack.org/micro/v3/register"
|
||||||
maddr "go.unistack.org/micro/v3/util/addr"
|
maddr "go.unistack.org/micro/v3/util/addr"
|
||||||
mnet "go.unistack.org/micro/v3/util/net"
|
mnet "go.unistack.org/micro/v3/util/net"
|
||||||
|
@ -24,6 +32,58 @@ const (
|
||||||
defaultContentType = "application/json"
|
defaultContentType = "application/json"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
type rpcHandler struct {
|
||||||
|
opts HandlerOptions
|
||||||
|
handler interface{}
|
||||||
|
name string
|
||||||
|
endpoints []*register.Endpoint
|
||||||
|
}
|
||||||
|
|
||||||
|
func newRPCHandler(handler interface{}, opts ...HandlerOption) Handler {
|
||||||
|
options := NewHandlerOptions(opts...)
|
||||||
|
|
||||||
|
typ := reflect.TypeOf(handler)
|
||||||
|
hdlr := reflect.ValueOf(handler)
|
||||||
|
name := reflect.Indirect(hdlr).Type().Name()
|
||||||
|
|
||||||
|
var endpoints []*register.Endpoint
|
||||||
|
|
||||||
|
for m := 0; m < typ.NumMethod(); m++ {
|
||||||
|
if e := register.ExtractEndpoint(typ.Method(m)); e != nil {
|
||||||
|
e.Name = name + "." + e.Name
|
||||||
|
|
||||||
|
for k, v := range options.Metadata[e.Name] {
|
||||||
|
e.Metadata[k] = v
|
||||||
|
}
|
||||||
|
|
||||||
|
endpoints = append(endpoints, e)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return &rpcHandler{
|
||||||
|
name: name,
|
||||||
|
handler: handler,
|
||||||
|
endpoints: endpoints,
|
||||||
|
opts: options,
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *rpcHandler) Name() string {
|
||||||
|
return r.name
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *rpcHandler) Handler() interface{} {
|
||||||
|
return r.handler
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *rpcHandler) Endpoints() []*register.Endpoint {
|
||||||
|
return r.endpoints
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *rpcHandler) Options() HandlerOptions {
|
||||||
|
return r.opts
|
||||||
|
}
|
||||||
|
|
||||||
type noopServer struct {
|
type noopServer struct {
|
||||||
h Handler
|
h Handler
|
||||||
wg *sync.WaitGroup
|
wg *sync.WaitGroup
|
||||||
|
@ -94,6 +154,35 @@ func (n *noopServer) Subscribe(sb Subscriber) error {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type rpcMessage struct {
|
||||||
|
payload interface{}
|
||||||
|
codec codec.Codec
|
||||||
|
header metadata.Metadata
|
||||||
|
topic string
|
||||||
|
contentType string
|
||||||
|
body []byte
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *rpcMessage) ContentType() string {
|
||||||
|
return r.contentType
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *rpcMessage) Topic() string {
|
||||||
|
return r.topic
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *rpcMessage) Body() interface{} {
|
||||||
|
return r.payload
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *rpcMessage) Header() metadata.Metadata {
|
||||||
|
return r.header
|
||||||
|
}
|
||||||
|
|
||||||
|
func (r *rpcMessage) Codec() codec.Codec {
|
||||||
|
return r.codec
|
||||||
|
}
|
||||||
|
|
||||||
func (n *noopServer) NewHandler(h interface{}, opts ...HandlerOption) Handler {
|
func (n *noopServer) NewHandler(h interface{}, opts ...HandlerOption) Handler {
|
||||||
return newRPCHandler(h, opts...)
|
return newRPCHandler(h, opts...)
|
||||||
}
|
}
|
||||||
|
@ -185,7 +274,7 @@ func (n *noopServer) Register() error {
|
||||||
|
|
||||||
if !registered {
|
if !registered {
|
||||||
if config.Logger.V(logger.InfoLevel) {
|
if config.Logger.V(logger.InfoLevel) {
|
||||||
config.Logger.Infof(n.opts.Context, "register [%s] Registering node: %s", config.Register.String(), service.Nodes[0].ID)
|
config.Logger.Info(n.opts.Context, fmt.Sprintf("register [%s] Registering node: %s", config.Register.String(), service.Nodes[0].ID))
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -202,39 +291,6 @@ func (n *noopServer) Register() error {
|
||||||
n.Lock()
|
n.Lock()
|
||||||
defer n.Unlock()
|
defer n.Unlock()
|
||||||
|
|
||||||
cx := config.Context
|
|
||||||
|
|
||||||
var sub broker.Subscriber
|
|
||||||
|
|
||||||
for sb := range n.subscribers {
|
|
||||||
if sb.Options().Context != nil {
|
|
||||||
cx = sb.Options().Context
|
|
||||||
}
|
|
||||||
|
|
||||||
opts := []broker.SubscribeOption{broker.SubscribeContext(cx), broker.SubscribeAutoAck(sb.Options().AutoAck)}
|
|
||||||
if queue := sb.Options().Queue; len(queue) > 0 {
|
|
||||||
opts = append(opts, broker.SubscribeGroup(queue))
|
|
||||||
}
|
|
||||||
|
|
||||||
if sb.Options().Batch {
|
|
||||||
// batch processing handler
|
|
||||||
sub, err = config.Broker.BatchSubscribe(cx, sb.Topic(), n.newBatchSubHandler(sb, config), opts...)
|
|
||||||
} else {
|
|
||||||
// single processing handler
|
|
||||||
sub, err = config.Broker.Subscribe(cx, sb.Topic(), n.newSubHandler(sb, config), opts...)
|
|
||||||
}
|
|
||||||
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
|
|
||||||
if config.Logger.V(logger.InfoLevel) {
|
|
||||||
config.Logger.Infof(n.opts.Context, "subscribing to topic: %s", sb.Topic())
|
|
||||||
}
|
|
||||||
|
|
||||||
n.subscribers[sb] = []broker.Subscriber{sub}
|
|
||||||
}
|
|
||||||
|
|
||||||
n.registered = true
|
n.registered = true
|
||||||
if cacheService {
|
if cacheService {
|
||||||
n.rsvc = service
|
n.rsvc = service
|
||||||
|
@ -256,7 +312,7 @@ func (n *noopServer) Deregister() error {
|
||||||
}
|
}
|
||||||
|
|
||||||
if config.Logger.V(logger.InfoLevel) {
|
if config.Logger.V(logger.InfoLevel) {
|
||||||
config.Logger.Infof(n.opts.Context, "deregistering node: %s", service.Nodes[0].ID)
|
config.Logger.Info(n.opts.Context, fmt.Sprintf("deregistering node: %s", service.Nodes[0].ID))
|
||||||
}
|
}
|
||||||
|
|
||||||
if err := DefaultDeregisterFunc(service, config); err != nil {
|
if err := DefaultDeregisterFunc(service, config); err != nil {
|
||||||
|
@ -287,11 +343,11 @@ func (n *noopServer) Deregister() error {
|
||||||
go func(s broker.Subscriber) {
|
go func(s broker.Subscriber) {
|
||||||
defer wg.Done()
|
defer wg.Done()
|
||||||
if config.Logger.V(logger.InfoLevel) {
|
if config.Logger.V(logger.InfoLevel) {
|
||||||
config.Logger.Infof(n.opts.Context, "unsubscribing from topic: %s", s.Topic())
|
config.Logger.Info(n.opts.Context, "unsubscribing from topic: "+s.Topic())
|
||||||
}
|
}
|
||||||
if err := s.Unsubscribe(ncx); err != nil {
|
if err := s.Unsubscribe(ncx); err != nil {
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
config.Logger.Errorf(n.opts.Context, "unsubscribing from topic: %s err: %v", s.Topic(), err)
|
config.Logger.Error(n.opts.Context, "unsubscribing from topic: "+s.Topic(), err)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}(subs[idx])
|
}(subs[idx])
|
||||||
|
@ -327,7 +383,7 @@ func (n *noopServer) Start() error {
|
||||||
config.Address = addr
|
config.Address = addr
|
||||||
|
|
||||||
if config.Logger.V(logger.InfoLevel) {
|
if config.Logger.V(logger.InfoLevel) {
|
||||||
config.Logger.Infof(n.opts.Context, "server [noop] Listening on %s", config.Address)
|
config.Logger.Info(n.opts.Context, "server [noop] Listening on "+config.Address)
|
||||||
}
|
}
|
||||||
|
|
||||||
n.Lock()
|
n.Lock()
|
||||||
|
@ -341,13 +397,13 @@ func (n *noopServer) Start() error {
|
||||||
// connect to the broker
|
// connect to the broker
|
||||||
if err := config.Broker.Connect(config.Context); err != nil {
|
if err := config.Broker.Connect(config.Context); err != nil {
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
config.Logger.Errorf(n.opts.Context, "broker [%s] connect error: %v", config.Broker.String(), err)
|
config.Logger.Error(n.opts.Context, fmt.Sprintf("broker [%s] connect error", config.Broker.String()), err)
|
||||||
}
|
}
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
if config.Logger.V(logger.InfoLevel) {
|
if config.Logger.V(logger.InfoLevel) {
|
||||||
config.Logger.Infof(n.opts.Context, "broker [%s] Connected to %s", config.Broker.String(), config.Broker.Address())
|
config.Logger.Info(n.opts.Context, fmt.Sprintf("broker [%s] Connected to %s", config.Broker.String(), config.Broker.Address()))
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -355,17 +411,21 @@ func (n *noopServer) Start() error {
|
||||||
// nolint: nestif
|
// nolint: nestif
|
||||||
if err := config.RegisterCheck(config.Context); err != nil {
|
if err := config.RegisterCheck(config.Context); err != nil {
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
config.Logger.Errorf(n.opts.Context, "server %s-%s register check error: %s", config.Name, config.ID, err)
|
config.Logger.Error(n.opts.Context, fmt.Sprintf("server %s-%s register check error", config.Name, config.ID), err)
|
||||||
}
|
}
|
||||||
} else {
|
} else {
|
||||||
// announce self to the world
|
// announce self to the world
|
||||||
if err := n.Register(); err != nil {
|
if err := n.Register(); err != nil {
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
config.Logger.Errorf(n.opts.Context, "server register error: %v", err)
|
config.Logger.Error(n.opts.Context, "server register error", err)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if err := n.subscribe(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
go func() {
|
go func() {
|
||||||
t := new(time.Ticker)
|
t := new(time.Ticker)
|
||||||
|
|
||||||
|
@ -390,23 +450,23 @@ func (n *noopServer) Start() error {
|
||||||
// nolint: nestif
|
// nolint: nestif
|
||||||
if rerr != nil && registered {
|
if rerr != nil && registered {
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
config.Logger.Errorf(n.opts.Context, "server %s-%s register check error: %s, deregister it", config.Name, config.ID, rerr)
|
config.Logger.Error(n.opts.Context, fmt.Sprintf("server %s-%s register check error, deregister it", config.Name, config.ID), rerr)
|
||||||
}
|
}
|
||||||
// deregister self in case of error
|
// deregister self in case of error
|
||||||
if err := n.Deregister(); err != nil {
|
if err := n.Deregister(); err != nil {
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
config.Logger.Errorf(n.opts.Context, "server %s-%s deregister error: %s", config.Name, config.ID, err)
|
config.Logger.Error(n.opts.Context, fmt.Sprintf("server %s-%s deregister error", config.Name, config.ID), err)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
} else if rerr != nil && !registered {
|
} else if rerr != nil && !registered {
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
config.Logger.Errorf(n.opts.Context, "server %s-%s register check error: %s", config.Name, config.ID, rerr)
|
config.Logger.Errorf(n.opts.Context, fmt.Sprintf("server %s-%s register check error", config.Name, config.ID), rerr)
|
||||||
}
|
}
|
||||||
continue
|
continue
|
||||||
}
|
}
|
||||||
if err := n.Register(); err != nil {
|
if err := n.Register(); err != nil {
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
config.Logger.Errorf(n.opts.Context, "server %s-%s register error: %s", config.Name, config.ID, err)
|
config.Logger.Error(n.opts.Context, fmt.Sprintf("server %s-%s register error", config.Name, config.ID), err)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
// wait for exit
|
// wait for exit
|
||||||
|
@ -418,7 +478,7 @@ func (n *noopServer) Start() error {
|
||||||
// deregister self
|
// deregister self
|
||||||
if err := n.Deregister(); err != nil {
|
if err := n.Deregister(); err != nil {
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
config.Logger.Errorf(n.opts.Context, "server deregister error: ", err)
|
config.Logger.Error(n.opts.Context, "server deregister error", err)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -431,12 +491,12 @@ func (n *noopServer) Start() error {
|
||||||
ch <- nil
|
ch <- nil
|
||||||
|
|
||||||
if config.Logger.V(logger.InfoLevel) {
|
if config.Logger.V(logger.InfoLevel) {
|
||||||
config.Logger.Infof(n.opts.Context, "broker [%s] Disconnected from %s", config.Broker.String(), config.Broker.Address())
|
config.Logger.Info(n.opts.Context, fmt.Sprintf("broker [%s] Disconnected from %s", config.Broker.String(), config.Broker.Address()))
|
||||||
}
|
}
|
||||||
// disconnect broker
|
// disconnect broker
|
||||||
if err := config.Broker.Disconnect(config.Context); err != nil {
|
if err := config.Broker.Disconnect(config.Context); err != nil {
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
config.Logger.Errorf(n.opts.Context, "broker [%s] disconnect error: %v", config.Broker.String(), err)
|
config.Logger.Error(n.opts.Context, fmt.Sprintf("broker [%s] disconnect error", config.Broker.String()), err)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
}()
|
}()
|
||||||
|
@ -449,6 +509,42 @@ func (n *noopServer) Start() error {
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func (n *noopServer) subscribe() error {
|
||||||
|
config := n.Options()
|
||||||
|
|
||||||
|
subCtx := config.Context
|
||||||
|
|
||||||
|
for sb := range n.subscribers {
|
||||||
|
|
||||||
|
if cx := sb.Options().Context; cx != nil {
|
||||||
|
subCtx = cx
|
||||||
|
}
|
||||||
|
|
||||||
|
opts := []broker.SubscribeOption{
|
||||||
|
broker.SubscribeContext(subCtx),
|
||||||
|
broker.SubscribeAutoAck(sb.Options().AutoAck),
|
||||||
|
broker.SubscribeBodyOnly(sb.Options().BodyOnly),
|
||||||
|
}
|
||||||
|
|
||||||
|
if queue := sb.Options().Queue; len(queue) > 0 {
|
||||||
|
opts = append(opts, broker.SubscribeGroup(queue))
|
||||||
|
}
|
||||||
|
|
||||||
|
if config.Logger.V(logger.InfoLevel) {
|
||||||
|
config.Logger.Info(n.opts.Context, "subscribing to topic: "+sb.Topic())
|
||||||
|
}
|
||||||
|
|
||||||
|
sub, err := config.Broker.Subscribe(subCtx, sb.Topic(), n.createSubHandler(sb, config), opts...)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
n.subscribers[sb] = []broker.Subscriber{sub}
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
func (n *noopServer) Stop() error {
|
func (n *noopServer) Stop() error {
|
||||||
n.RLock()
|
n.RLock()
|
||||||
if !n.started {
|
if !n.started {
|
||||||
|
@ -468,3 +564,218 @@ func (n *noopServer) Stop() error {
|
||||||
|
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func newSubscriber(topic string, sub interface{}, opts ...SubscriberOption) Subscriber {
|
||||||
|
var endpoints []*register.Endpoint
|
||||||
|
var handlers []*handler
|
||||||
|
|
||||||
|
options := NewSubscriberOptions(opts...)
|
||||||
|
|
||||||
|
if typ := reflect.TypeOf(sub); typ.Kind() == reflect.Func {
|
||||||
|
h := &handler{
|
||||||
|
method: reflect.ValueOf(sub),
|
||||||
|
}
|
||||||
|
|
||||||
|
switch typ.NumIn() {
|
||||||
|
case 1:
|
||||||
|
h.reqType = typ.In(0)
|
||||||
|
case 2:
|
||||||
|
h.ctxType = typ.In(0)
|
||||||
|
h.reqType = typ.In(1)
|
||||||
|
}
|
||||||
|
|
||||||
|
handlers = append(handlers, h)
|
||||||
|
ep := ®ister.Endpoint{
|
||||||
|
Name: "Func",
|
||||||
|
Request: register.ExtractSubValue(typ),
|
||||||
|
Metadata: metadata.New(2),
|
||||||
|
}
|
||||||
|
ep.Metadata.Set("topic", topic)
|
||||||
|
ep.Metadata.Set("subscriber", "true")
|
||||||
|
endpoints = append(endpoints, ep)
|
||||||
|
} else {
|
||||||
|
hdlr := reflect.ValueOf(sub)
|
||||||
|
name := reflect.Indirect(hdlr).Type().Name()
|
||||||
|
|
||||||
|
for m := 0; m < typ.NumMethod(); m++ {
|
||||||
|
method := typ.Method(m)
|
||||||
|
h := &handler{
|
||||||
|
method: method.Func,
|
||||||
|
}
|
||||||
|
|
||||||
|
switch method.Type.NumIn() {
|
||||||
|
case 2:
|
||||||
|
h.reqType = method.Type.In(1)
|
||||||
|
case 3:
|
||||||
|
h.ctxType = method.Type.In(1)
|
||||||
|
h.reqType = method.Type.In(2)
|
||||||
|
}
|
||||||
|
|
||||||
|
handlers = append(handlers, h)
|
||||||
|
ep := ®ister.Endpoint{
|
||||||
|
Name: name + "." + method.Name,
|
||||||
|
Request: register.ExtractSubValue(method.Type),
|
||||||
|
Metadata: metadata.New(2),
|
||||||
|
}
|
||||||
|
ep.Metadata.Set("topic", topic)
|
||||||
|
ep.Metadata.Set("subscriber", "true")
|
||||||
|
endpoints = append(endpoints, ep)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return &subscriber{
|
||||||
|
rcvr: reflect.ValueOf(sub),
|
||||||
|
typ: reflect.TypeOf(sub),
|
||||||
|
topic: topic,
|
||||||
|
subscriber: sub,
|
||||||
|
handlers: handlers,
|
||||||
|
endpoints: endpoints,
|
||||||
|
opts: options,
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
//nolint:gocyclo
|
||||||
|
func (n *noopServer) createSubHandler(sb *subscriber, opts Options) broker.Handler {
|
||||||
|
return func(p broker.Event) (err error) {
|
||||||
|
defer func() {
|
||||||
|
if r := recover(); r != nil {
|
||||||
|
n.RLock()
|
||||||
|
config := n.opts
|
||||||
|
n.RUnlock()
|
||||||
|
if config.Logger.V(logger.ErrorLevel) {
|
||||||
|
config.Logger.Error(n.opts.Context, "panic recovered: ", r)
|
||||||
|
config.Logger.Error(n.opts.Context, string(debug.Stack()))
|
||||||
|
}
|
||||||
|
err = errors.InternalServerError(n.opts.Name+".subscriber", "panic recovered: %v", r)
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
|
||||||
|
msg := p.Message()
|
||||||
|
// if we don't have headers, create empty map
|
||||||
|
if msg.Header == nil {
|
||||||
|
msg.Header = metadata.New(2)
|
||||||
|
}
|
||||||
|
|
||||||
|
ct := msg.Header["Content-Type"]
|
||||||
|
if len(ct) == 0 {
|
||||||
|
msg.Header.Set(metadata.HeaderContentType, defaultContentType)
|
||||||
|
ct = defaultContentType
|
||||||
|
}
|
||||||
|
cf, err := n.newCodec(ct)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
hdr := metadata.New(len(msg.Header))
|
||||||
|
for k, v := range msg.Header {
|
||||||
|
hdr.Set(k, v)
|
||||||
|
}
|
||||||
|
|
||||||
|
ctx := metadata.NewIncomingContext(sb.opts.Context, hdr)
|
||||||
|
|
||||||
|
results := make(chan error, len(sb.handlers))
|
||||||
|
|
||||||
|
for i := 0; i < len(sb.handlers); i++ {
|
||||||
|
handler := sb.handlers[i]
|
||||||
|
|
||||||
|
var isVal bool
|
||||||
|
var req reflect.Value
|
||||||
|
|
||||||
|
if handler.reqType.Kind() == reflect.Ptr {
|
||||||
|
req = reflect.New(handler.reqType.Elem())
|
||||||
|
} else {
|
||||||
|
req = reflect.New(handler.reqType)
|
||||||
|
isVal = true
|
||||||
|
}
|
||||||
|
if isVal {
|
||||||
|
req = req.Elem()
|
||||||
|
}
|
||||||
|
|
||||||
|
if err = cf.ReadBody(bytes.NewBuffer(msg.Body), req.Interface()); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
fn := func(ctx context.Context, msg Message) error {
|
||||||
|
var vals []reflect.Value
|
||||||
|
if sb.typ.Kind() != reflect.Func {
|
||||||
|
vals = append(vals, sb.rcvr)
|
||||||
|
}
|
||||||
|
if handler.ctxType != nil {
|
||||||
|
vals = append(vals, reflect.ValueOf(ctx))
|
||||||
|
}
|
||||||
|
|
||||||
|
vals = append(vals, reflect.ValueOf(msg.Body()))
|
||||||
|
|
||||||
|
returnValues := handler.method.Call(vals)
|
||||||
|
if rerr := returnValues[0].Interface(); rerr != nil {
|
||||||
|
return rerr.(error)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
opts.Hooks.EachNext(func(hook options.Hook) {
|
||||||
|
if h, ok := hook.(HookSubHandler); ok {
|
||||||
|
fn = h(fn)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
|
||||||
|
if n.wg != nil {
|
||||||
|
n.wg.Add(1)
|
||||||
|
}
|
||||||
|
go func() {
|
||||||
|
if n.wg != nil {
|
||||||
|
defer n.wg.Done()
|
||||||
|
}
|
||||||
|
cerr := fn(ctx, &rpcMessage{
|
||||||
|
topic: sb.topic,
|
||||||
|
contentType: ct,
|
||||||
|
payload: req.Interface(),
|
||||||
|
header: msg.Header,
|
||||||
|
})
|
||||||
|
results <- cerr
|
||||||
|
}()
|
||||||
|
}
|
||||||
|
var errors []string
|
||||||
|
for i := 0; i < len(sb.handlers); i++ {
|
||||||
|
if rerr := <-results; rerr != nil {
|
||||||
|
errors = append(errors, rerr.Error())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if len(errors) > 0 {
|
||||||
|
err = fmt.Errorf("subscriber error: %s", strings.Join(errors, "\n"))
|
||||||
|
}
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *subscriber) Topic() string {
|
||||||
|
return s.topic
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *subscriber) Subscriber() interface{} {
|
||||||
|
return s.subscriber
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *subscriber) Endpoints() []*register.Endpoint {
|
||||||
|
return s.endpoints
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *subscriber) Options() SubscriberOptions {
|
||||||
|
return s.opts
|
||||||
|
}
|
||||||
|
|
||||||
|
type subscriber struct {
|
||||||
|
typ reflect.Type
|
||||||
|
subscriber interface{}
|
||||||
|
topic string
|
||||||
|
endpoints []*register.Endpoint
|
||||||
|
handlers []*handler
|
||||||
|
opts SubscriberOptions
|
||||||
|
rcvr reflect.Value
|
||||||
|
}
|
||||||
|
|
||||||
|
type handler struct {
|
||||||
|
reqType reflect.Type
|
||||||
|
ctxType reflect.Type
|
||||||
|
method reflect.Value
|
||||||
|
}
|
||||||
|
|
|
@ -9,7 +9,6 @@ import (
|
||||||
"go.unistack.org/micro/v3/client"
|
"go.unistack.org/micro/v3/client"
|
||||||
"go.unistack.org/micro/v3/codec"
|
"go.unistack.org/micro/v3/codec"
|
||||||
"go.unistack.org/micro/v3/logger"
|
"go.unistack.org/micro/v3/logger"
|
||||||
"go.unistack.org/micro/v3/metadata"
|
|
||||||
"go.unistack.org/micro/v3/server"
|
"go.unistack.org/micro/v3/server"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -26,18 +25,6 @@ func (h *TestHandler) SingleSubHandler(ctx context.Context, msg *codec.Frame) er
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (h *TestHandler) BatchSubHandler(ctxs []context.Context, msgs []*codec.Frame) error {
|
|
||||||
if len(msgs) != 8 {
|
|
||||||
h.t.Fatal("invalid number of messages received")
|
|
||||||
}
|
|
||||||
for idx := 0; idx < len(msgs); idx++ {
|
|
||||||
md, _ := metadata.FromIncomingContext(ctxs[idx])
|
|
||||||
_ = md
|
|
||||||
// fmt.Printf("msg md %v\n", md)
|
|
||||||
}
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
func TestNoopSub(t *testing.T) {
|
func TestNoopSub(t *testing.T) {
|
||||||
ctx := context.Background()
|
ctx := context.Background()
|
||||||
|
|
||||||
|
@ -76,13 +63,6 @@ func TestNoopSub(t *testing.T) {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
}
|
}
|
||||||
|
|
||||||
if err := s.Subscribe(s.NewSubscriber("batch_topic", h.BatchSubHandler,
|
|
||||||
server.SubscriberQueue("queue"),
|
|
||||||
server.SubscriberBatch(true),
|
|
||||||
)); err != nil {
|
|
||||||
t.Fatal(err)
|
|
||||||
}
|
|
||||||
|
|
||||||
if err := s.Start(); err != nil {
|
if err := s.Start(); err != nil {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
}
|
}
|
||||||
|
|
|
@ -15,6 +15,7 @@ import (
|
||||||
"go.unistack.org/micro/v3/network/transport"
|
"go.unistack.org/micro/v3/network/transport"
|
||||||
"go.unistack.org/micro/v3/options"
|
"go.unistack.org/micro/v3/options"
|
||||||
"go.unistack.org/micro/v3/register"
|
"go.unistack.org/micro/v3/register"
|
||||||
|
msync "go.unistack.org/micro/v3/sync"
|
||||||
"go.unistack.org/micro/v3/tracer"
|
"go.unistack.org/micro/v3/tracer"
|
||||||
"go.unistack.org/micro/v3/util/id"
|
"go.unistack.org/micro/v3/util/id"
|
||||||
)
|
)
|
||||||
|
@ -47,7 +48,7 @@ type Options struct {
|
||||||
// Listener may be passed if already created
|
// Listener may be passed if already created
|
||||||
Listener net.Listener
|
Listener net.Listener
|
||||||
// Wait group
|
// Wait group
|
||||||
Wait *sync.WaitGroup
|
Wait *msync.WaitGroup
|
||||||
// TLSConfig specifies tls.Config for secure serving
|
// TLSConfig specifies tls.Config for secure serving
|
||||||
TLSConfig *tls.Config
|
TLSConfig *tls.Config
|
||||||
// Metadata holds the server metadata
|
// Metadata holds the server metadata
|
||||||
|
@ -68,12 +69,6 @@ type Options struct {
|
||||||
Advertise string
|
Advertise string
|
||||||
// Version holds the server version
|
// Version holds the server version
|
||||||
Version string
|
Version string
|
||||||
// SubWrappers holds the server subscribe wrappers
|
|
||||||
SubWrappers []SubscriberWrapper
|
|
||||||
// BatchSubWrappers holds the server batch subscribe wrappers
|
|
||||||
BatchSubWrappers []BatchSubscriberWrapper
|
|
||||||
// HdlrWrappers holds the handler wrappers
|
|
||||||
HdlrWrappers []HandlerWrapper
|
|
||||||
// RegisterAttempts holds the number of register attempts before error
|
// RegisterAttempts holds the number of register attempts before error
|
||||||
RegisterAttempts int
|
RegisterAttempts int
|
||||||
// RegisterInterval holds he interval for re-register
|
// RegisterInterval holds he interval for re-register
|
||||||
|
@ -84,8 +79,11 @@ type Options struct {
|
||||||
MaxConn int
|
MaxConn int
|
||||||
// DeregisterAttempts holds the number of deregister attempts before error
|
// DeregisterAttempts holds the number of deregister attempts before error
|
||||||
DeregisterAttempts int
|
DeregisterAttempts int
|
||||||
// Hooks may contains SubscriberWrapper, HandlerWrapper or Server func wrapper
|
// Hooks may contains hook actions that performs before/after server handler
|
||||||
|
// or server subscriber handler
|
||||||
Hooks options.Hooks
|
Hooks options.Hooks
|
||||||
|
// GracefulTimeout timeout for graceful stop server
|
||||||
|
GracefulTimeout time.Duration
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewOptions returns new options struct with default or passed values
|
// NewOptions returns new options struct with default or passed values
|
||||||
|
@ -108,6 +106,7 @@ func NewOptions(opts ...Option) Options {
|
||||||
Version: DefaultVersion,
|
Version: DefaultVersion,
|
||||||
ID: id.Must(),
|
ID: id.Must(),
|
||||||
Namespace: DefaultNamespace,
|
Namespace: DefaultNamespace,
|
||||||
|
GracefulTimeout: DefaultGracefulTimeout,
|
||||||
}
|
}
|
||||||
|
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
|
@ -279,28 +278,7 @@ func Wait(wg *sync.WaitGroup) Option {
|
||||||
if wg == nil {
|
if wg == nil {
|
||||||
wg = new(sync.WaitGroup)
|
wg = new(sync.WaitGroup)
|
||||||
}
|
}
|
||||||
o.Wait = wg
|
o.Wait = msync.WrapWaitGroup(wg)
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// WrapHandler adds a handler Wrapper to a list of options passed into the server
|
|
||||||
func WrapHandler(w HandlerWrapper) Option {
|
|
||||||
return func(o *Options) {
|
|
||||||
o.HdlrWrappers = append(o.HdlrWrappers, w)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// WrapSubscriber adds a subscriber Wrapper to a list of options passed into the server
|
|
||||||
func WrapSubscriber(w SubscriberWrapper) Option {
|
|
||||||
return func(o *Options) {
|
|
||||||
o.SubWrappers = append(o.SubWrappers, w)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// WrapBatchSubscriber adds a batch subscriber Wrapper to a list of options passed into the server
|
|
||||||
func WrapBatchSubscriber(w BatchSubscriberWrapper) Option {
|
|
||||||
return func(o *Options) {
|
|
||||||
o.BatchSubWrappers = append(o.BatchSubWrappers, w)
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -321,6 +299,13 @@ func Listener(l net.Listener) Option {
|
||||||
// HandlerOption func
|
// HandlerOption func
|
||||||
type HandlerOption func(*HandlerOptions)
|
type HandlerOption func(*HandlerOptions)
|
||||||
|
|
||||||
|
// GracefulTimeout duration
|
||||||
|
func GracefulTimeout(td time.Duration) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.GracefulTimeout = td
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
// HandlerOptions struct
|
// HandlerOptions struct
|
||||||
type HandlerOptions struct {
|
type HandlerOptions struct {
|
||||||
// Context holds external options
|
// Context holds external options
|
||||||
|
@ -356,8 +341,6 @@ type SubscriberOptions struct {
|
||||||
AutoAck bool
|
AutoAck bool
|
||||||
// BodyOnly flag specifies that message without headers
|
// BodyOnly flag specifies that message without headers
|
||||||
BodyOnly bool
|
BodyOnly bool
|
||||||
// Batch flag specifies that message processed in batches
|
|
||||||
Batch bool
|
|
||||||
// BatchSize flag specifies max size of batch
|
// BatchSize flag specifies max size of batch
|
||||||
BatchSize int
|
BatchSize int
|
||||||
// BatchWait flag specifies max wait time for batch filling
|
// BatchWait flag specifies max wait time for batch filling
|
||||||
|
@ -429,13 +412,6 @@ func SubscriberAck(b bool) SubscriberOption {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
// SubscriberBatch control batch processing for handler
|
|
||||||
func SubscriberBatch(b bool) SubscriberOption {
|
|
||||||
return func(o *SubscriberOptions) {
|
|
||||||
o.Batch = b
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
// SubscriberBatchSize control batch filling size for handler
|
// SubscriberBatchSize control batch filling size for handler
|
||||||
// Batch filling max waiting time controlled by SubscriberBatchWait
|
// Batch filling max waiting time controlled by SubscriberBatchWait
|
||||||
func SubscriberBatchSize(n int) SubscriberOption {
|
func SubscriberBatchSize(n int) SubscriberOption {
|
||||||
|
@ -450,3 +426,10 @@ func SubscriberBatchWait(td time.Duration) SubscriberOption {
|
||||||
o.BatchWait = td
|
o.BatchWait = td
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// Hooks sets hook runs before action
|
||||||
|
func Hooks(h ...options.Hook) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.Hooks = append(o.Hooks, h...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
|
@ -1,35 +0,0 @@
|
||||||
package server
|
|
||||||
|
|
||||||
import (
|
|
||||||
"go.unistack.org/micro/v3/codec"
|
|
||||||
"go.unistack.org/micro/v3/metadata"
|
|
||||||
)
|
|
||||||
|
|
||||||
type rpcMessage struct {
|
|
||||||
payload interface{}
|
|
||||||
codec codec.Codec
|
|
||||||
header metadata.Metadata
|
|
||||||
topic string
|
|
||||||
contentType string
|
|
||||||
body []byte
|
|
||||||
}
|
|
||||||
|
|
||||||
func (r *rpcMessage) ContentType() string {
|
|
||||||
return r.contentType
|
|
||||||
}
|
|
||||||
|
|
||||||
func (r *rpcMessage) Topic() string {
|
|
||||||
return r.topic
|
|
||||||
}
|
|
||||||
|
|
||||||
func (r *rpcMessage) Body() interface{} {
|
|
||||||
return r.payload
|
|
||||||
}
|
|
||||||
|
|
||||||
func (r *rpcMessage) Header() metadata.Metadata {
|
|
||||||
return r.header
|
|
||||||
}
|
|
||||||
|
|
||||||
func (r *rpcMessage) Codec() codec.Codec {
|
|
||||||
return r.codec
|
|
||||||
}
|
|
|
@ -11,7 +11,7 @@ import (
|
||||||
)
|
)
|
||||||
|
|
||||||
// DefaultServer default server
|
// DefaultServer default server
|
||||||
var DefaultServer = NewServer()
|
var DefaultServer Server = NewServer()
|
||||||
|
|
||||||
var (
|
var (
|
||||||
// DefaultAddress will be used if no address passed, use secure localhost
|
// DefaultAddress will be used if no address passed, use secure localhost
|
||||||
|
@ -34,6 +34,8 @@ var (
|
||||||
DefaultMaxMsgRecvSize = 1024 * 1024 * 4 // 4Mb
|
DefaultMaxMsgRecvSize = 1024 * 1024 * 4 // 4Mb
|
||||||
// DefaultMaxMsgSendSize holds default max send size
|
// DefaultMaxMsgSendSize holds default max send size
|
||||||
DefaultMaxMsgSendSize = 1024 * 1024 * 4 // 4Mb
|
DefaultMaxMsgSendSize = 1024 * 1024 * 4 // 4Mb
|
||||||
|
// DefaultGracefulTimeout default time for graceful stop
|
||||||
|
DefaultGracefulTimeout = 5 * time.Second
|
||||||
)
|
)
|
||||||
|
|
||||||
// Server is a simple micro server abstraction
|
// Server is a simple micro server abstraction
|
||||||
|
@ -60,6 +62,13 @@ type Server interface {
|
||||||
String() string
|
String() string
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type (
|
||||||
|
FuncSubHandler func(ctx context.Context, ms Message) error
|
||||||
|
HookSubHandler func(next FuncSubHandler) FuncSubHandler
|
||||||
|
FuncHandler func(ctx context.Context, req Request, rsp interface{}) error
|
||||||
|
HookHandler func(next FuncHandler) FuncHandler
|
||||||
|
)
|
||||||
|
|
||||||
/*
|
/*
|
||||||
// Router handle serving messages
|
// Router handle serving messages
|
||||||
type Router interface {
|
type Router interface {
|
||||||
|
@ -145,12 +154,11 @@ type Stream interface {
|
||||||
//
|
//
|
||||||
// Example:
|
// Example:
|
||||||
//
|
//
|
||||||
// type Greeter struct {}
|
// type Greeter struct {}
|
||||||
//
|
|
||||||
// func (g *Greeter) Hello(context, request, response) error {
|
|
||||||
// return nil
|
|
||||||
// }
|
|
||||||
//
|
//
|
||||||
|
// func (g *Greeter) Hello(context, request, response) error {
|
||||||
|
// return nil
|
||||||
|
// }
|
||||||
type Handler interface {
|
type Handler interface {
|
||||||
Name() string
|
Name() string
|
||||||
Handler() interface{}
|
Handler() interface{}
|
||||||
|
|
|
@ -1,52 +1,24 @@
|
||||||
package server
|
package server
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"bytes"
|
|
||||||
"context"
|
|
||||||
"fmt"
|
"fmt"
|
||||||
"reflect"
|
"reflect"
|
||||||
"runtime/debug"
|
|
||||||
"strings"
|
|
||||||
"unicode"
|
"unicode"
|
||||||
"unicode/utf8"
|
"unicode/utf8"
|
||||||
|
|
||||||
"go.unistack.org/micro/v3/broker"
|
|
||||||
"go.unistack.org/micro/v3/codec"
|
|
||||||
"go.unistack.org/micro/v3/errors"
|
|
||||||
"go.unistack.org/micro/v3/logger"
|
|
||||||
"go.unistack.org/micro/v3/metadata"
|
|
||||||
"go.unistack.org/micro/v3/register"
|
|
||||||
)
|
)
|
||||||
|
|
||||||
const (
|
const (
|
||||||
subSig = "func(context.Context, interface{}) error"
|
subSig = "func(context.Context, interface{}) error"
|
||||||
batchSubSig = "func([]context.Context, []interface{}) error"
|
|
||||||
)
|
)
|
||||||
|
|
||||||
// Precompute the reflect type for error. Can't use error directly
|
// Precompute the reflect type for error. Can't use error directly
|
||||||
// because Typeof takes an empty interface value. This is annoying.
|
// because Typeof takes an empty interface value. This is annoying.
|
||||||
var typeOfError = reflect.TypeOf((*error)(nil)).Elem()
|
var typeOfError = reflect.TypeOf((*error)(nil)).Elem()
|
||||||
|
|
||||||
type handler struct {
|
|
||||||
reqType reflect.Type
|
|
||||||
ctxType reflect.Type
|
|
||||||
method reflect.Value
|
|
||||||
}
|
|
||||||
|
|
||||||
type subscriber struct {
|
|
||||||
typ reflect.Type
|
|
||||||
subscriber interface{}
|
|
||||||
topic string
|
|
||||||
endpoints []*register.Endpoint
|
|
||||||
handlers []*handler
|
|
||||||
opts SubscriberOptions
|
|
||||||
rcvr reflect.Value
|
|
||||||
}
|
|
||||||
|
|
||||||
// Is this an exported - upper case - name?
|
// Is this an exported - upper case - name?
|
||||||
func isExported(name string) bool {
|
func isExported(name string) bool {
|
||||||
rune, _ := utf8.DecodeRuneInString(name)
|
r, _ := utf8.DecodeRuneInString(name)
|
||||||
return unicode.IsUpper(rune)
|
return unicode.IsUpper(r)
|
||||||
}
|
}
|
||||||
|
|
||||||
// Is this type exported or a builtin?
|
// Is this type exported or a builtin?
|
||||||
|
@ -69,23 +41,15 @@ func ValidateSubscriber(sub Subscriber) error {
|
||||||
switch typ.NumIn() {
|
switch typ.NumIn() {
|
||||||
case 2:
|
case 2:
|
||||||
argType = typ.In(1)
|
argType = typ.In(1)
|
||||||
if sub.Options().Batch {
|
|
||||||
if argType.Kind() != reflect.Slice {
|
|
||||||
return fmt.Errorf("subscriber %v dont have required signature %s", name, batchSubSig)
|
|
||||||
}
|
|
||||||
if strings.Compare(fmt.Sprintf("%v", argType), "[]interface{}") == 0 {
|
|
||||||
return fmt.Errorf("subscriber %v dont have required signaure %s", name, batchSubSig)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
default:
|
default:
|
||||||
return fmt.Errorf("subscriber %v takes wrong number of args: %v required signature %s or %s", name, typ.NumIn(), subSig, batchSubSig)
|
return fmt.Errorf("subscriber %v takes wrong number of args: %v required signature %s", name, typ.NumIn(), subSig)
|
||||||
}
|
}
|
||||||
if !isExportedOrBuiltinType(argType) {
|
if !isExportedOrBuiltinType(argType) {
|
||||||
return fmt.Errorf("subscriber %v argument type not exported: %v", name, argType)
|
return fmt.Errorf("subscriber %v argument type not exported: %v", name, argType)
|
||||||
}
|
}
|
||||||
if typ.NumOut() != 1 {
|
if typ.NumOut() != 1 {
|
||||||
return fmt.Errorf("subscriber %v has wrong number of return values: %v require signature %s or %s",
|
return fmt.Errorf("subscriber %v has wrong number of return values: %v require signature %s",
|
||||||
name, typ.NumOut(), subSig, batchSubSig)
|
name, typ.NumOut(), subSig)
|
||||||
}
|
}
|
||||||
if returnType := typ.Out(0); returnType != typeOfError {
|
if returnType := typ.Out(0); returnType != typeOfError {
|
||||||
return fmt.Errorf("subscriber %v returns %v not error", name, returnType.String())
|
return fmt.Errorf("subscriber %v returns %v not error", name, returnType.String())
|
||||||
|
@ -100,8 +64,8 @@ func ValidateSubscriber(sub Subscriber) error {
|
||||||
case 3:
|
case 3:
|
||||||
argType = method.Type.In(2)
|
argType = method.Type.In(2)
|
||||||
default:
|
default:
|
||||||
return fmt.Errorf("subscriber %v.%v takes wrong number of args: %v required signature %s or %s",
|
return fmt.Errorf("subscriber %v.%v takes wrong number of args: %v required signature %s",
|
||||||
name, method.Name, method.Type.NumIn(), subSig, batchSubSig)
|
name, method.Name, method.Type.NumIn(), subSig)
|
||||||
}
|
}
|
||||||
|
|
||||||
if !isExportedOrBuiltinType(argType) {
|
if !isExportedOrBuiltinType(argType) {
|
||||||
|
@ -109,8 +73,8 @@ func ValidateSubscriber(sub Subscriber) error {
|
||||||
}
|
}
|
||||||
if method.Type.NumOut() != 1 {
|
if method.Type.NumOut() != 1 {
|
||||||
return fmt.Errorf(
|
return fmt.Errorf(
|
||||||
"subscriber %v.%v has wrong number of return values: %v require signature %s or %s",
|
"subscriber %v.%v has wrong number of return values: %v require signature %s",
|
||||||
name, method.Name, method.Type.NumOut(), subSig, batchSubSig)
|
name, method.Name, method.Type.NumOut(), subSig)
|
||||||
}
|
}
|
||||||
if returnType := method.Type.Out(0); returnType != typeOfError {
|
if returnType := method.Type.Out(0); returnType != typeOfError {
|
||||||
return fmt.Errorf("subscriber %v.%v returns %v not error", name, method.Name, returnType.String())
|
return fmt.Errorf("subscriber %v.%v returns %v not error", name, method.Name, returnType.String())
|
||||||
|
@ -120,321 +84,3 @@ func ValidateSubscriber(sub Subscriber) error {
|
||||||
|
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func newSubscriber(topic string, sub interface{}, opts ...SubscriberOption) Subscriber {
|
|
||||||
var endpoints []*register.Endpoint
|
|
||||||
var handlers []*handler
|
|
||||||
|
|
||||||
options := NewSubscriberOptions(opts...)
|
|
||||||
|
|
||||||
if typ := reflect.TypeOf(sub); typ.Kind() == reflect.Func {
|
|
||||||
h := &handler{
|
|
||||||
method: reflect.ValueOf(sub),
|
|
||||||
}
|
|
||||||
|
|
||||||
switch typ.NumIn() {
|
|
||||||
case 1:
|
|
||||||
h.reqType = typ.In(0)
|
|
||||||
case 2:
|
|
||||||
h.ctxType = typ.In(0)
|
|
||||||
h.reqType = typ.In(1)
|
|
||||||
}
|
|
||||||
|
|
||||||
handlers = append(handlers, h)
|
|
||||||
ep := ®ister.Endpoint{
|
|
||||||
Name: "Func",
|
|
||||||
Request: register.ExtractSubValue(typ),
|
|
||||||
Metadata: metadata.New(2),
|
|
||||||
}
|
|
||||||
ep.Metadata.Set("topic", topic)
|
|
||||||
ep.Metadata.Set("subscriber", "true")
|
|
||||||
endpoints = append(endpoints, ep)
|
|
||||||
} else {
|
|
||||||
hdlr := reflect.ValueOf(sub)
|
|
||||||
name := reflect.Indirect(hdlr).Type().Name()
|
|
||||||
|
|
||||||
for m := 0; m < typ.NumMethod(); m++ {
|
|
||||||
method := typ.Method(m)
|
|
||||||
h := &handler{
|
|
||||||
method: method.Func,
|
|
||||||
}
|
|
||||||
|
|
||||||
switch method.Type.NumIn() {
|
|
||||||
case 2:
|
|
||||||
h.reqType = method.Type.In(1)
|
|
||||||
case 3:
|
|
||||||
h.ctxType = method.Type.In(1)
|
|
||||||
h.reqType = method.Type.In(2)
|
|
||||||
}
|
|
||||||
|
|
||||||
handlers = append(handlers, h)
|
|
||||||
ep := ®ister.Endpoint{
|
|
||||||
Name: name + "." + method.Name,
|
|
||||||
Request: register.ExtractSubValue(method.Type),
|
|
||||||
Metadata: metadata.New(2),
|
|
||||||
}
|
|
||||||
ep.Metadata.Set("topic", topic)
|
|
||||||
ep.Metadata.Set("subscriber", "true")
|
|
||||||
endpoints = append(endpoints, ep)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
return &subscriber{
|
|
||||||
rcvr: reflect.ValueOf(sub),
|
|
||||||
typ: reflect.TypeOf(sub),
|
|
||||||
topic: topic,
|
|
||||||
subscriber: sub,
|
|
||||||
handlers: handlers,
|
|
||||||
endpoints: endpoints,
|
|
||||||
opts: options,
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
//nolint:gocyclo
|
|
||||||
func (n *noopServer) newBatchSubHandler(sb *subscriber, opts Options) broker.BatchHandler {
|
|
||||||
return func(ps broker.Events) (err error) {
|
|
||||||
defer func() {
|
|
||||||
if r := recover(); r != nil {
|
|
||||||
n.RLock()
|
|
||||||
config := n.opts
|
|
||||||
n.RUnlock()
|
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
|
||||||
config.Logger.Error(n.opts.Context, "panic recovered: ", r)
|
|
||||||
config.Logger.Error(n.opts.Context, string(debug.Stack()))
|
|
||||||
}
|
|
||||||
err = errors.InternalServerError(n.opts.Name+".subscriber", "panic recovered: %v", r)
|
|
||||||
}
|
|
||||||
}()
|
|
||||||
|
|
||||||
msgs := make([]Message, 0, len(ps))
|
|
||||||
ctxs := make([]context.Context, 0, len(ps))
|
|
||||||
for _, p := range ps {
|
|
||||||
msg := p.Message()
|
|
||||||
// if we don't have headers, create empty map
|
|
||||||
if msg.Header == nil {
|
|
||||||
msg.Header = metadata.New(2)
|
|
||||||
}
|
|
||||||
|
|
||||||
ct, _ := msg.Header.Get(metadata.HeaderContentType)
|
|
||||||
if len(ct) == 0 {
|
|
||||||
msg.Header.Set(metadata.HeaderContentType, defaultContentType)
|
|
||||||
ct = defaultContentType
|
|
||||||
}
|
|
||||||
hdr := metadata.Copy(msg.Header)
|
|
||||||
topic, _ := msg.Header.Get(metadata.HeaderTopic)
|
|
||||||
ctxs = append(ctxs, metadata.NewIncomingContext(sb.opts.Context, hdr))
|
|
||||||
msgs = append(msgs, &rpcMessage{
|
|
||||||
topic: topic,
|
|
||||||
contentType: ct,
|
|
||||||
header: msg.Header,
|
|
||||||
body: msg.Body,
|
|
||||||
})
|
|
||||||
}
|
|
||||||
results := make(chan error, len(sb.handlers))
|
|
||||||
|
|
||||||
for i := 0; i < len(sb.handlers); i++ {
|
|
||||||
handler := sb.handlers[i]
|
|
||||||
|
|
||||||
var req reflect.Value
|
|
||||||
|
|
||||||
switch handler.reqType.Kind() {
|
|
||||||
case reflect.Ptr:
|
|
||||||
req = reflect.New(handler.reqType.Elem())
|
|
||||||
default:
|
|
||||||
req = reflect.New(handler.reqType.Elem()).Elem()
|
|
||||||
}
|
|
||||||
|
|
||||||
reqType := handler.reqType
|
|
||||||
var cf codec.Codec
|
|
||||||
for _, msg := range msgs {
|
|
||||||
cf, err = n.newCodec(msg.ContentType())
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
rb := reflect.New(req.Type().Elem())
|
|
||||||
if err = cf.ReadBody(bytes.NewReader(msg.(*rpcMessage).body), rb.Interface()); err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
msg.(*rpcMessage).codec = cf
|
|
||||||
msg.(*rpcMessage).payload = rb.Interface()
|
|
||||||
}
|
|
||||||
|
|
||||||
fn := func(ctxs []context.Context, ms []Message) error {
|
|
||||||
var vals []reflect.Value
|
|
||||||
if sb.typ.Kind() != reflect.Func {
|
|
||||||
vals = append(vals, sb.rcvr)
|
|
||||||
}
|
|
||||||
if handler.ctxType != nil {
|
|
||||||
vals = append(vals, reflect.ValueOf(ctxs))
|
|
||||||
}
|
|
||||||
payloads := reflect.MakeSlice(reqType, 0, len(ms))
|
|
||||||
for _, m := range ms {
|
|
||||||
payloads = reflect.Append(payloads, reflect.ValueOf(m.Body()))
|
|
||||||
}
|
|
||||||
vals = append(vals, payloads)
|
|
||||||
|
|
||||||
returnValues := handler.method.Call(vals)
|
|
||||||
if rerr := returnValues[0].Interface(); rerr != nil {
|
|
||||||
return rerr.(error)
|
|
||||||
}
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
for i := len(opts.BatchSubWrappers); i > 0; i-- {
|
|
||||||
fn = opts.BatchSubWrappers[i-1](fn)
|
|
||||||
}
|
|
||||||
|
|
||||||
if n.wg != nil {
|
|
||||||
n.wg.Add(1)
|
|
||||||
}
|
|
||||||
go func() {
|
|
||||||
if n.wg != nil {
|
|
||||||
defer n.wg.Done()
|
|
||||||
}
|
|
||||||
results <- fn(ctxs, msgs)
|
|
||||||
}()
|
|
||||||
}
|
|
||||||
|
|
||||||
var errors []string
|
|
||||||
for i := 0; i < len(sb.handlers); i++ {
|
|
||||||
if rerr := <-results; rerr != nil {
|
|
||||||
errors = append(errors, rerr.Error())
|
|
||||||
}
|
|
||||||
}
|
|
||||||
if len(errors) > 0 {
|
|
||||||
err = fmt.Errorf("subscriber error: %s", strings.Join(errors, "\n"))
|
|
||||||
}
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
//nolint:gocyclo
|
|
||||||
func (n *noopServer) newSubHandler(sb *subscriber, opts Options) broker.Handler {
|
|
||||||
return func(p broker.Event) (err error) {
|
|
||||||
defer func() {
|
|
||||||
if r := recover(); r != nil {
|
|
||||||
n.RLock()
|
|
||||||
config := n.opts
|
|
||||||
n.RUnlock()
|
|
||||||
if config.Logger.V(logger.ErrorLevel) {
|
|
||||||
config.Logger.Error(n.opts.Context, "panic recovered: ", r)
|
|
||||||
config.Logger.Error(n.opts.Context, string(debug.Stack()))
|
|
||||||
}
|
|
||||||
err = errors.InternalServerError(n.opts.Name+".subscriber", "panic recovered: %v", r)
|
|
||||||
}
|
|
||||||
}()
|
|
||||||
|
|
||||||
msg := p.Message()
|
|
||||||
// if we don't have headers, create empty map
|
|
||||||
if msg.Header == nil {
|
|
||||||
msg.Header = metadata.New(2)
|
|
||||||
}
|
|
||||||
|
|
||||||
ct := msg.Header["Content-Type"]
|
|
||||||
if len(ct) == 0 {
|
|
||||||
msg.Header.Set(metadata.HeaderContentType, defaultContentType)
|
|
||||||
ct = defaultContentType
|
|
||||||
}
|
|
||||||
cf, err := n.newCodec(ct)
|
|
||||||
if err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
|
|
||||||
hdr := metadata.New(len(msg.Header))
|
|
||||||
for k, v := range msg.Header {
|
|
||||||
if k == "Content-Type" {
|
|
||||||
continue
|
|
||||||
}
|
|
||||||
hdr.Set(k, v)
|
|
||||||
}
|
|
||||||
|
|
||||||
ctx := metadata.NewIncomingContext(sb.opts.Context, hdr)
|
|
||||||
|
|
||||||
results := make(chan error, len(sb.handlers))
|
|
||||||
|
|
||||||
for i := 0; i < len(sb.handlers); i++ {
|
|
||||||
handler := sb.handlers[i]
|
|
||||||
|
|
||||||
var isVal bool
|
|
||||||
var req reflect.Value
|
|
||||||
|
|
||||||
if handler.reqType.Kind() == reflect.Ptr {
|
|
||||||
req = reflect.New(handler.reqType.Elem())
|
|
||||||
} else {
|
|
||||||
req = reflect.New(handler.reqType)
|
|
||||||
isVal = true
|
|
||||||
}
|
|
||||||
if isVal {
|
|
||||||
req = req.Elem()
|
|
||||||
}
|
|
||||||
|
|
||||||
if err = cf.ReadBody(bytes.NewBuffer(msg.Body), req.Interface()); err != nil {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
|
|
||||||
fn := func(ctx context.Context, msg Message) error {
|
|
||||||
var vals []reflect.Value
|
|
||||||
if sb.typ.Kind() != reflect.Func {
|
|
||||||
vals = append(vals, sb.rcvr)
|
|
||||||
}
|
|
||||||
if handler.ctxType != nil {
|
|
||||||
vals = append(vals, reflect.ValueOf(ctx))
|
|
||||||
}
|
|
||||||
|
|
||||||
vals = append(vals, reflect.ValueOf(msg.Body()))
|
|
||||||
|
|
||||||
returnValues := handler.method.Call(vals)
|
|
||||||
if rerr := returnValues[0].Interface(); rerr != nil {
|
|
||||||
return rerr.(error)
|
|
||||||
}
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
for i := len(opts.SubWrappers); i > 0; i-- {
|
|
||||||
fn = opts.SubWrappers[i-1](fn)
|
|
||||||
}
|
|
||||||
|
|
||||||
if n.wg != nil {
|
|
||||||
n.wg.Add(1)
|
|
||||||
}
|
|
||||||
go func() {
|
|
||||||
if n.wg != nil {
|
|
||||||
defer n.wg.Done()
|
|
||||||
}
|
|
||||||
cerr := fn(ctx, &rpcMessage{
|
|
||||||
topic: sb.topic,
|
|
||||||
contentType: ct,
|
|
||||||
payload: req.Interface(),
|
|
||||||
header: msg.Header,
|
|
||||||
})
|
|
||||||
results <- cerr
|
|
||||||
}()
|
|
||||||
}
|
|
||||||
var errors []string
|
|
||||||
for i := 0; i < len(sb.handlers); i++ {
|
|
||||||
if rerr := <-results; rerr != nil {
|
|
||||||
errors = append(errors, rerr.Error())
|
|
||||||
}
|
|
||||||
}
|
|
||||||
if len(errors) > 0 {
|
|
||||||
err = fmt.Errorf("subscriber error: %s", strings.Join(errors, "\n"))
|
|
||||||
}
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
func (s *subscriber) Topic() string {
|
|
||||||
return s.topic
|
|
||||||
}
|
|
||||||
|
|
||||||
func (s *subscriber) Subscriber() interface{} {
|
|
||||||
return s.subscriber
|
|
||||||
}
|
|
||||||
|
|
||||||
func (s *subscriber) Endpoints() []*register.Endpoint {
|
|
||||||
return s.endpoints
|
|
||||||
}
|
|
||||||
|
|
||||||
func (s *subscriber) Options() SubscriberOptions {
|
|
||||||
return s.opts
|
|
||||||
}
|
|
||||||
|
|
|
@ -14,20 +14,12 @@ type HandlerFunc func(ctx context.Context, req Request, rsp interface{}) error
|
||||||
// publication message.
|
// publication message.
|
||||||
type SubscriberFunc func(ctx context.Context, msg Message) error
|
type SubscriberFunc func(ctx context.Context, msg Message) error
|
||||||
|
|
||||||
// BatchSubscriberFunc represents a single method of a subscriber. It's used primarily
|
|
||||||
// for the wrappers. What's handed to the actual method is the concrete
|
|
||||||
// publication message. This func used by batch subscribers
|
|
||||||
type BatchSubscriberFunc func(ctxs []context.Context, msgs []Message) error
|
|
||||||
|
|
||||||
// HandlerWrapper wraps the HandlerFunc and returns the equivalent
|
// HandlerWrapper wraps the HandlerFunc and returns the equivalent
|
||||||
type HandlerWrapper func(HandlerFunc) HandlerFunc
|
type HandlerWrapper func(HandlerFunc) HandlerFunc
|
||||||
|
|
||||||
// SubscriberWrapper wraps the SubscriberFunc and returns the equivalent
|
// SubscriberWrapper wraps the SubscriberFunc and returns the equivalent
|
||||||
type SubscriberWrapper func(SubscriberFunc) SubscriberFunc
|
type SubscriberWrapper func(SubscriberFunc) SubscriberFunc
|
||||||
|
|
||||||
// BatchSubscriberWrapper wraps the SubscriberFunc and returns the equivalent
|
|
||||||
type BatchSubscriberWrapper func(BatchSubscriberFunc) BatchSubscriberFunc
|
|
||||||
|
|
||||||
// StreamWrapper wraps a Stream interface and returns the equivalent.
|
// StreamWrapper wraps a Stream interface and returns the equivalent.
|
||||||
// Because streams exist for the lifetime of a method invocation this
|
// Because streams exist for the lifetime of a method invocation this
|
||||||
// is a convenient way to wrap a Stream as its in use for trace, monitoring,
|
// is a convenient way to wrap a Stream as its in use for trace, monitoring,
|
||||||
|
|
15
service.go
15
service.go
|
@ -72,8 +72,8 @@ func RegisterSubscriber(topic string, s server.Server, h interface{}, opts ...se
|
||||||
}
|
}
|
||||||
|
|
||||||
type service struct {
|
type service struct {
|
||||||
sync.RWMutex
|
|
||||||
opts Options
|
opts Options
|
||||||
|
sync.RWMutex
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewService creates and returns a new Service based on the packages within.
|
// NewService creates and returns a new Service based on the packages within.
|
||||||
|
@ -88,6 +88,7 @@ func (s *service) Name() string {
|
||||||
// Init initialises options. Additionally it calls cmd.Init
|
// Init initialises options. Additionally it calls cmd.Init
|
||||||
// which parses command line flags. cmd.Init is only called
|
// which parses command line flags. cmd.Init is only called
|
||||||
// on first Init.
|
// on first Init.
|
||||||
|
//
|
||||||
//nolint:gocyclo
|
//nolint:gocyclo
|
||||||
func (s *service) Init(opts ...Option) error {
|
func (s *service) Init(opts ...Option) error {
|
||||||
var err error
|
var err error
|
||||||
|
@ -375,17 +376,13 @@ func (s *service) Run() error {
|
||||||
return s.Stop()
|
return s.Stop()
|
||||||
}
|
}
|
||||||
|
|
||||||
type nameIface interface {
|
type Namer interface {
|
||||||
Name() string
|
Name() string
|
||||||
}
|
}
|
||||||
|
|
||||||
func getNameIndex(n string, ifaces interface{}) int {
|
func getNameIndex[T Namer](n string, ifaces []T) int {
|
||||||
values, ok := ifaces.([]interface{})
|
for idx, iface := range ifaces {
|
||||||
if !ok {
|
if iface.Name() == n {
|
||||||
return 0
|
|
||||||
}
|
|
||||||
for idx, iface := range values {
|
|
||||||
if ifc, ok := iface.(nameIface); ok && ifc.Name() == n {
|
|
||||||
return idx
|
return idx
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
|
@ -17,6 +17,22 @@ import (
|
||||||
"go.unistack.org/micro/v3/tracer"
|
"go.unistack.org/micro/v3/tracer"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
func TestClient(t *testing.T) {
|
||||||
|
c1 := client.NewClient(client.Name("test1"))
|
||||||
|
c2 := client.NewClient(client.Name("test2"))
|
||||||
|
|
||||||
|
svc := NewService(Client(c1, c2))
|
||||||
|
|
||||||
|
if err := svc.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
x1 := svc.Client("test2")
|
||||||
|
if x1.Name() != "test2" {
|
||||||
|
t.Fatalf("invalid client %#+v", svc.Options().Clients)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
type testItem struct {
|
type testItem struct {
|
||||||
name string
|
name string
|
||||||
}
|
}
|
||||||
|
@ -25,12 +41,11 @@ func (ti *testItem) Name() string {
|
||||||
return ti.name
|
return ti.name
|
||||||
}
|
}
|
||||||
|
|
||||||
func TestGetNameIndex(t *testing.T) {
|
func Test_getNameIndex(t *testing.T) {
|
||||||
item1 := &testItem{name: "first"}
|
items := []*testItem{{name: "test1"}, {name: "test2"}}
|
||||||
item2 := &testItem{name: "second"}
|
idx := getNameIndex("test2", items)
|
||||||
items := []interface{}{item1, item2}
|
if items[idx].Name() != "test2" {
|
||||||
if idx := getNameIndex("second", items); idx != 1 {
|
t.Fatal("getNameIndex wrong")
|
||||||
t.Fatalf("getNameIndex func error, item not found")
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
|
@ -1,4 +1,4 @@
|
||||||
package store
|
package memory
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
|
@ -6,13 +6,15 @@ import (
|
||||||
"strings"
|
"strings"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
"github.com/patrickmn/go-cache"
|
cache "github.com/patrickmn/go-cache"
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
|
"go.unistack.org/micro/v3/store"
|
||||||
)
|
)
|
||||||
|
|
||||||
// NewStore returns a memory store
|
// NewStore returns a memory store
|
||||||
func NewStore(opts ...Option) Store {
|
func NewStore(opts ...store.Option) store.Store {
|
||||||
return &memoryStore{
|
return &memoryStore{
|
||||||
opts: NewOptions(opts...),
|
opts: store.NewOptions(opts...),
|
||||||
store: cache.New(cache.NoExpiration, 5*time.Minute),
|
store: cache.New(cache.NoExpiration, 5*time.Minute),
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
@ -27,8 +29,13 @@ func (m *memoryStore) Disconnect(ctx context.Context) error {
|
||||||
}
|
}
|
||||||
|
|
||||||
type memoryStore struct {
|
type memoryStore struct {
|
||||||
store *cache.Cache
|
funcRead store.FuncRead
|
||||||
opts Options
|
funcWrite store.FuncWrite
|
||||||
|
funcExists store.FuncExists
|
||||||
|
funcList store.FuncList
|
||||||
|
funcDelete store.FuncDelete
|
||||||
|
store *cache.Cache
|
||||||
|
opts store.Options
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryStore) key(prefix, key string) string {
|
func (m *memoryStore) key(prefix, key string) string {
|
||||||
|
@ -39,7 +46,7 @@ func (m *memoryStore) exists(prefix, key string) error {
|
||||||
key = m.key(prefix, key)
|
key = m.key(prefix, key)
|
||||||
_, found := m.store.Get(key)
|
_, found := m.store.Get(key)
|
||||||
if !found {
|
if !found {
|
||||||
return ErrNotFound
|
return store.ErrNotFound
|
||||||
}
|
}
|
||||||
|
|
||||||
return nil
|
return nil
|
||||||
|
@ -50,12 +57,12 @@ func (m *memoryStore) get(prefix, key string, val interface{}) error {
|
||||||
|
|
||||||
r, found := m.store.Get(key)
|
r, found := m.store.Get(key)
|
||||||
if !found {
|
if !found {
|
||||||
return ErrNotFound
|
return store.ErrNotFound
|
||||||
}
|
}
|
||||||
|
|
||||||
buf, ok := r.([]byte)
|
buf, ok := r.([]byte)
|
||||||
if !ok {
|
if !ok {
|
||||||
return ErrNotFound
|
return store.ErrNotFound
|
||||||
}
|
}
|
||||||
|
|
||||||
return m.opts.Codec.Unmarshal(buf, val)
|
return m.opts.Codec.Unmarshal(buf, val)
|
||||||
|
@ -100,10 +107,32 @@ func (m *memoryStore) list(prefix string, limit, offset uint) []string {
|
||||||
return allKeys
|
return allKeys
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryStore) Init(opts ...Option) error {
|
func (m *memoryStore) Init(opts ...store.Option) error {
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
o(&m.opts)
|
o(&m.opts)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
m.funcRead = m.fnRead
|
||||||
|
m.funcWrite = m.fnWrite
|
||||||
|
m.funcExists = m.fnExists
|
||||||
|
m.funcList = m.fnList
|
||||||
|
m.funcDelete = m.fnDelete
|
||||||
|
|
||||||
|
m.opts.Hooks.EachNext(func(hook options.Hook) {
|
||||||
|
switch h := hook.(type) {
|
||||||
|
case store.HookRead:
|
||||||
|
m.funcRead = h(m.funcRead)
|
||||||
|
case store.HookWrite:
|
||||||
|
m.funcWrite = h(m.funcWrite)
|
||||||
|
case store.HookExists:
|
||||||
|
m.funcExists = h(m.funcExists)
|
||||||
|
case store.HookList:
|
||||||
|
m.funcList = h(m.funcList)
|
||||||
|
case store.HookDelete:
|
||||||
|
m.funcDelete = h(m.funcDelete)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -115,24 +144,36 @@ func (m *memoryStore) Name() string {
|
||||||
return m.opts.Name
|
return m.opts.Name
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryStore) Exists(ctx context.Context, key string, opts ...ExistsOption) error {
|
func (m *memoryStore) Exists(ctx context.Context, key string, opts ...store.ExistsOption) error {
|
||||||
options := NewExistsOptions(opts...)
|
return m.funcExists(ctx, key, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *memoryStore) fnExists(ctx context.Context, key string, opts ...store.ExistsOption) error {
|
||||||
|
options := store.NewExistsOptions(opts...)
|
||||||
if options.Namespace == "" {
|
if options.Namespace == "" {
|
||||||
options.Namespace = m.opts.Namespace
|
options.Namespace = m.opts.Namespace
|
||||||
}
|
}
|
||||||
return m.exists(options.Namespace, key)
|
return m.exists(options.Namespace, key)
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryStore) Read(ctx context.Context, key string, val interface{}, opts ...ReadOption) error {
|
func (m *memoryStore) Read(ctx context.Context, key string, val interface{}, opts ...store.ReadOption) error {
|
||||||
options := NewReadOptions(opts...)
|
return m.funcRead(ctx, key, val, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *memoryStore) fnRead(ctx context.Context, key string, val interface{}, opts ...store.ReadOption) error {
|
||||||
|
options := store.NewReadOptions(opts...)
|
||||||
if options.Namespace == "" {
|
if options.Namespace == "" {
|
||||||
options.Namespace = m.opts.Namespace
|
options.Namespace = m.opts.Namespace
|
||||||
}
|
}
|
||||||
return m.get(options.Namespace, key, val)
|
return m.get(options.Namespace, key, val)
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryStore) Write(ctx context.Context, key string, val interface{}, opts ...WriteOption) error {
|
func (m *memoryStore) Write(ctx context.Context, key string, val interface{}, opts ...store.WriteOption) error {
|
||||||
options := NewWriteOptions(opts...)
|
return m.funcWrite(ctx, key, val, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *memoryStore) fnWrite(ctx context.Context, key string, val interface{}, opts ...store.WriteOption) error {
|
||||||
|
options := store.NewWriteOptions(opts...)
|
||||||
if options.Namespace == "" {
|
if options.Namespace == "" {
|
||||||
options.Namespace = m.opts.Namespace
|
options.Namespace = m.opts.Namespace
|
||||||
}
|
}
|
||||||
|
@ -151,8 +192,12 @@ func (m *memoryStore) Write(ctx context.Context, key string, val interface{}, op
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryStore) Delete(ctx context.Context, key string, opts ...DeleteOption) error {
|
func (m *memoryStore) Delete(ctx context.Context, key string, opts ...store.DeleteOption) error {
|
||||||
options := NewDeleteOptions(opts...)
|
return m.funcDelete(ctx, key, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *memoryStore) fnDelete(ctx context.Context, key string, opts ...store.DeleteOption) error {
|
||||||
|
options := store.NewDeleteOptions(opts...)
|
||||||
if options.Namespace == "" {
|
if options.Namespace == "" {
|
||||||
options.Namespace = m.opts.Namespace
|
options.Namespace = m.opts.Namespace
|
||||||
}
|
}
|
||||||
|
@ -161,12 +206,16 @@ func (m *memoryStore) Delete(ctx context.Context, key string, opts ...DeleteOpti
|
||||||
return nil
|
return nil
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryStore) Options() Options {
|
func (m *memoryStore) Options() store.Options {
|
||||||
return m.opts
|
return m.opts
|
||||||
}
|
}
|
||||||
|
|
||||||
func (m *memoryStore) List(ctx context.Context, opts ...ListOption) ([]string, error) {
|
func (m *memoryStore) List(ctx context.Context, opts ...store.ListOption) ([]string, error) {
|
||||||
options := NewListOptions(opts...)
|
return m.funcList(ctx, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (m *memoryStore) fnList(ctx context.Context, opts ...store.ListOption) ([]string, error) {
|
||||||
|
options := store.NewListOptions(opts...)
|
||||||
if options.Namespace == "" {
|
if options.Namespace == "" {
|
||||||
options.Namespace = m.opts.Namespace
|
options.Namespace = m.opts.Namespace
|
||||||
}
|
}
|
|
@ -1,4 +1,4 @@
|
||||||
package store_test
|
package memory
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
|
@ -8,8 +8,41 @@ import (
|
||||||
"go.unistack.org/micro/v3/store"
|
"go.unistack.org/micro/v3/store"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
type testHook struct {
|
||||||
|
f bool
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *testHook) Exists(fn store.FuncExists) store.FuncExists {
|
||||||
|
return func(ctx context.Context, key string, opts ...store.ExistsOption) error {
|
||||||
|
t.f = true
|
||||||
|
return fn(ctx, key, opts...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestHook(t *testing.T) {
|
||||||
|
h := &testHook{}
|
||||||
|
|
||||||
|
s := NewStore(store.Hooks(store.HookExists(h.Exists)))
|
||||||
|
|
||||||
|
if err := s.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := s.Write(context.TODO(), "test", nil); err != nil {
|
||||||
|
t.Error(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := s.Exists(context.TODO(), "test"); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if !h.f {
|
||||||
|
t.Fatal("hook not works")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
func TestMemoryReInit(t *testing.T) {
|
func TestMemoryReInit(t *testing.T) {
|
||||||
s := store.NewStore(store.Namespace("aaa"))
|
s := NewStore(store.Namespace("aaa"))
|
||||||
if err := s.Init(store.Namespace("")); err != nil {
|
if err := s.Init(store.Namespace("")); err != nil {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
}
|
}
|
||||||
|
@ -19,7 +52,7 @@ func TestMemoryReInit(t *testing.T) {
|
||||||
}
|
}
|
||||||
|
|
||||||
func TestMemoryBasic(t *testing.T) {
|
func TestMemoryBasic(t *testing.T) {
|
||||||
s := store.NewStore()
|
s := NewStore()
|
||||||
if err := s.Init(); err != nil {
|
if err := s.Init(); err != nil {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
}
|
}
|
||||||
|
@ -27,7 +60,7 @@ func TestMemoryBasic(t *testing.T) {
|
||||||
}
|
}
|
||||||
|
|
||||||
func TestMemoryPrefix(t *testing.T) {
|
func TestMemoryPrefix(t *testing.T) {
|
||||||
s := store.NewStore()
|
s := NewStore()
|
||||||
if err := s.Init(store.Namespace("some-prefix")); err != nil {
|
if err := s.Init(store.Namespace("some-prefix")); err != nil {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
}
|
}
|
||||||
|
@ -35,7 +68,7 @@ func TestMemoryPrefix(t *testing.T) {
|
||||||
}
|
}
|
||||||
|
|
||||||
func TestMemoryNamespace(t *testing.T) {
|
func TestMemoryNamespace(t *testing.T) {
|
||||||
s := store.NewStore()
|
s := NewStore()
|
||||||
if err := s.Init(store.Namespace("some-namespace")); err != nil {
|
if err := s.Init(store.Namespace("some-namespace")); err != nil {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
}
|
}
|
||||||
|
@ -43,7 +76,7 @@ func TestMemoryNamespace(t *testing.T) {
|
||||||
}
|
}
|
||||||
|
|
||||||
func TestMemoryNamespacePrefix(t *testing.T) {
|
func TestMemoryNamespacePrefix(t *testing.T) {
|
||||||
s := store.NewStore()
|
s := NewStore()
|
||||||
if err := s.Init(store.Namespace("some-namespace")); err != nil {
|
if err := s.Init(store.Namespace("some-namespace")); err != nil {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
}
|
}
|
|
@ -0,0 +1,147 @@
|
||||||
|
package store
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
|
)
|
||||||
|
|
||||||
|
var _ Store = (*noopStore)(nil)
|
||||||
|
|
||||||
|
type noopStore struct {
|
||||||
|
funcRead FuncRead
|
||||||
|
funcWrite FuncWrite
|
||||||
|
funcExists FuncExists
|
||||||
|
funcList FuncList
|
||||||
|
funcDelete FuncDelete
|
||||||
|
opts Options
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewStore(opts ...Option) *noopStore {
|
||||||
|
options := NewOptions(opts...)
|
||||||
|
return &noopStore{opts: options}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) Init(opts ...Option) error {
|
||||||
|
for _, o := range opts {
|
||||||
|
o(&n.opts)
|
||||||
|
}
|
||||||
|
|
||||||
|
n.funcRead = n.fnRead
|
||||||
|
n.funcWrite = n.fnWrite
|
||||||
|
n.funcExists = n.fnExists
|
||||||
|
n.funcList = n.fnList
|
||||||
|
n.funcDelete = n.fnDelete
|
||||||
|
|
||||||
|
n.opts.Hooks.EachNext(func(hook options.Hook) {
|
||||||
|
switch h := hook.(type) {
|
||||||
|
case HookRead:
|
||||||
|
n.funcRead = h(n.funcRead)
|
||||||
|
case HookWrite:
|
||||||
|
n.funcWrite = h(n.funcWrite)
|
||||||
|
case HookExists:
|
||||||
|
n.funcExists = h(n.funcExists)
|
||||||
|
case HookList:
|
||||||
|
n.funcList = h(n.funcList)
|
||||||
|
case HookDelete:
|
||||||
|
n.funcDelete = h(n.funcDelete)
|
||||||
|
}
|
||||||
|
})
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) Connect(ctx context.Context) error {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
return ctx.Err()
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) Disconnect(ctx context.Context) error {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
return ctx.Err()
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) Read(ctx context.Context, key string, val interface{}, opts ...ReadOption) error {
|
||||||
|
return n.funcRead(ctx, key, val, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) fnRead(ctx context.Context, key string, val interface{}, opts ...ReadOption) error {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
return ctx.Err()
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) Delete(ctx context.Context, key string, opts ...DeleteOption) error {
|
||||||
|
return n.funcDelete(ctx, key, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) fnDelete(ctx context.Context, key string, opts ...DeleteOption) error {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
return ctx.Err()
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) Exists(ctx context.Context, key string, opts ...ExistsOption) error {
|
||||||
|
return n.funcExists(ctx, key, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) fnExists(ctx context.Context, key string, opts ...ExistsOption) error {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
return ctx.Err()
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) Write(ctx context.Context, key string, val interface{}, opts ...WriteOption) error {
|
||||||
|
return n.funcWrite(ctx, key, val, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) fnWrite(ctx context.Context, key string, val interface{}, opts ...WriteOption) error {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
return ctx.Err()
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) List(ctx context.Context, opts ...ListOption) ([]string, error) {
|
||||||
|
return n.funcList(ctx, opts...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) fnList(ctx context.Context, opts ...ListOption) ([]string, error) {
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
return nil, ctx.Err()
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
return nil, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) Name() string {
|
||||||
|
return n.opts.Name
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) String() string {
|
||||||
|
return "noop"
|
||||||
|
}
|
||||||
|
|
||||||
|
func (n *noopStore) Options() Options {
|
||||||
|
return n.opts
|
||||||
|
}
|
|
@ -0,0 +1,35 @@
|
||||||
|
package store
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"testing"
|
||||||
|
)
|
||||||
|
|
||||||
|
type testHook struct {
|
||||||
|
f bool
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *testHook) Exists(fn FuncExists) FuncExists {
|
||||||
|
return func(ctx context.Context, key string, opts ...ExistsOption) error {
|
||||||
|
t.f = true
|
||||||
|
return fn(ctx, key, opts...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestHook(t *testing.T) {
|
||||||
|
h := &testHook{}
|
||||||
|
|
||||||
|
s := NewStore(Hooks(HookExists(h.Exists)))
|
||||||
|
|
||||||
|
if err := s.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := s.Exists(context.TODO(), "test"); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if !h.f {
|
||||||
|
t.Fatal("hook not works")
|
||||||
|
}
|
||||||
|
}
|
100
store/options.go
100
store/options.go
|
@ -9,6 +9,7 @@ import (
|
||||||
"go.unistack.org/micro/v3/logger"
|
"go.unistack.org/micro/v3/logger"
|
||||||
"go.unistack.org/micro/v3/metadata"
|
"go.unistack.org/micro/v3/metadata"
|
||||||
"go.unistack.org/micro/v3/meter"
|
"go.unistack.org/micro/v3/meter"
|
||||||
|
"go.unistack.org/micro/v3/options"
|
||||||
"go.unistack.org/micro/v3/tracer"
|
"go.unistack.org/micro/v3/tracer"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -38,6 +39,8 @@ type Options struct {
|
||||||
// Wrappers []Wrapper
|
// Wrappers []Wrapper
|
||||||
// Timeout specifies timeout duration for all operations
|
// Timeout specifies timeout duration for all operations
|
||||||
Timeout time.Duration
|
Timeout time.Duration
|
||||||
|
// Hooks can be run before/after store Read/List/Write/Exists/Delete
|
||||||
|
Hooks options.Hooks
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewOptions creates options struct
|
// NewOptions creates options struct
|
||||||
|
@ -144,6 +147,10 @@ type ReadOptions struct {
|
||||||
Context context.Context
|
Context context.Context
|
||||||
// Namespace holds namespace
|
// Namespace holds namespace
|
||||||
Namespace string
|
Namespace string
|
||||||
|
// Name holds mnemonic name
|
||||||
|
Name string
|
||||||
|
// Timeout specifies max timeout for operation
|
||||||
|
Timeout time.Duration
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewReadOptions fills ReadOptions struct with opts slice
|
// NewReadOptions fills ReadOptions struct with opts slice
|
||||||
|
@ -158,6 +165,20 @@ func NewReadOptions(opts ...ReadOption) ReadOptions {
|
||||||
// ReadOption sets values in ReadOptions
|
// ReadOption sets values in ReadOptions
|
||||||
type ReadOption func(r *ReadOptions)
|
type ReadOption func(r *ReadOptions)
|
||||||
|
|
||||||
|
// ReadTimeout pass timeout to ReadOptions
|
||||||
|
func ReadTimeout(td time.Duration) ReadOption {
|
||||||
|
return func(o *ReadOptions) {
|
||||||
|
o.Timeout = td
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ReadName pass name to ReadOptions
|
||||||
|
func ReadName(name string) ReadOption {
|
||||||
|
return func(o *ReadOptions) {
|
||||||
|
o.Name = name
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
// ReadContext pass context.Context to ReadOptions
|
// ReadContext pass context.Context to ReadOptions
|
||||||
func ReadContext(ctx context.Context) ReadOption {
|
func ReadContext(ctx context.Context) ReadOption {
|
||||||
return func(o *ReadOptions) {
|
return func(o *ReadOptions) {
|
||||||
|
@ -180,6 +201,10 @@ type WriteOptions struct {
|
||||||
Metadata metadata.Metadata
|
Metadata metadata.Metadata
|
||||||
// Namespace holds namespace
|
// Namespace holds namespace
|
||||||
Namespace string
|
Namespace string
|
||||||
|
// Name holds mnemonic name
|
||||||
|
Name string
|
||||||
|
// Timeout specifies max timeout for operation
|
||||||
|
Timeout time.Duration
|
||||||
// TTL specifies key TTL
|
// TTL specifies key TTL
|
||||||
TTL time.Duration
|
TTL time.Duration
|
||||||
}
|
}
|
||||||
|
@ -224,12 +249,30 @@ func WriteNamespace(ns string) WriteOption {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// WriteName pass name to WriteOptions
|
||||||
|
func WriteName(name string) WriteOption {
|
||||||
|
return func(o *WriteOptions) {
|
||||||
|
o.Name = name
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// WriteTimeout pass timeout to WriteOptions
|
||||||
|
func WriteTimeout(td time.Duration) WriteOption {
|
||||||
|
return func(o *WriteOptions) {
|
||||||
|
o.Timeout = td
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
// DeleteOptions configures an individual Delete operation
|
// DeleteOptions configures an individual Delete operation
|
||||||
type DeleteOptions struct {
|
type DeleteOptions struct {
|
||||||
// Context holds external options
|
// Context holds external options
|
||||||
Context context.Context
|
Context context.Context
|
||||||
// Namespace holds namespace
|
// Namespace holds namespace
|
||||||
Namespace string
|
Namespace string
|
||||||
|
// Name holds mnemonic name
|
||||||
|
Name string
|
||||||
|
// Timeout specifies max timeout for operation
|
||||||
|
Timeout time.Duration
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewDeleteOptions fills DeleteOptions struct with opts slice
|
// NewDeleteOptions fills DeleteOptions struct with opts slice
|
||||||
|
@ -258,14 +301,32 @@ func DeleteNamespace(ns string) DeleteOption {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// DeleteName pass name to DeleteOptions
|
||||||
|
func DeleteName(name string) DeleteOption {
|
||||||
|
return func(o *DeleteOptions) {
|
||||||
|
o.Name = name
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// DeleteTimeout pass timeout to DeleteOptions
|
||||||
|
func DeleteTimeout(td time.Duration) DeleteOption {
|
||||||
|
return func(o *DeleteOptions) {
|
||||||
|
o.Timeout = td
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
// ListOptions configures an individual List operation
|
// ListOptions configures an individual List operation
|
||||||
type ListOptions struct {
|
type ListOptions struct {
|
||||||
Context context.Context
|
Context context.Context
|
||||||
Prefix string
|
Prefix string
|
||||||
Suffix string
|
Suffix string
|
||||||
Namespace string
|
Namespace string
|
||||||
Limit uint
|
// Name holds mnemonic name
|
||||||
Offset uint
|
Name string
|
||||||
|
Limit uint
|
||||||
|
Offset uint
|
||||||
|
// Timeout specifies max timeout for operation
|
||||||
|
Timeout time.Duration
|
||||||
}
|
}
|
||||||
|
|
||||||
// NewListOptions fills ListOptions struct with opts slice
|
// NewListOptions fills ListOptions struct with opts slice
|
||||||
|
@ -322,12 +383,23 @@ func ListNamespace(ns string) ListOption {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// ListTimeout pass timeout to ListOptions
|
||||||
|
func ListTimeout(td time.Duration) ListOption {
|
||||||
|
return func(o *ListOptions) {
|
||||||
|
o.Timeout = td
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
// ExistsOptions holds options for Exists method
|
// ExistsOptions holds options for Exists method
|
||||||
type ExistsOptions struct {
|
type ExistsOptions struct {
|
||||||
// Context holds external options
|
// Context holds external options
|
||||||
Context context.Context
|
Context context.Context
|
||||||
// Namespace contains namespace
|
// Namespace contains namespace
|
||||||
Namespace string
|
Namespace string
|
||||||
|
// Name holds mnemonic name
|
||||||
|
Name string
|
||||||
|
// Timeout specifies max timeout for operation
|
||||||
|
Timeout time.Duration
|
||||||
}
|
}
|
||||||
|
|
||||||
// ExistsOption specifies Exists call options
|
// ExistsOption specifies Exists call options
|
||||||
|
@ -358,11 +430,23 @@ func ExistsNamespace(ns string) ExistsOption {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
/*
|
// ExistsName pass name to exist options
|
||||||
// WrapStore adds a store Wrapper to a list of options passed into the store
|
func ExistsName(name string) ExistsOption {
|
||||||
func WrapStore(w Wrapper) Option {
|
return func(o *ExistsOptions) {
|
||||||
return func(o *Options) {
|
o.Name = name
|
||||||
o.Wrappers = append(o.Wrappers, w)
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// ExistsTimeout timeout to ListOptions
|
||||||
|
func ExistsTimeout(td time.Duration) ExistsOption {
|
||||||
|
return func(o *ExistsOptions) {
|
||||||
|
o.Timeout = td
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Hooks sets hook runs before action
|
||||||
|
func Hooks(h ...options.Hook) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.Hooks = append(o.Hooks, h...)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
*/
|
|
||||||
|
|
|
@ -12,13 +12,14 @@ var (
|
||||||
// ErrInvalidKey is returned when a key has empty or have invalid format
|
// ErrInvalidKey is returned when a key has empty or have invalid format
|
||||||
ErrInvalidKey = errors.New("invalid key")
|
ErrInvalidKey = errors.New("invalid key")
|
||||||
// DefaultStore is the global default store
|
// DefaultStore is the global default store
|
||||||
DefaultStore = NewStore()
|
DefaultStore Store = NewStore()
|
||||||
// DefaultSeparator is the gloabal default key parts separator
|
// DefaultSeparator is the gloabal default key parts separator
|
||||||
DefaultSeparator = "/"
|
DefaultSeparator = "/"
|
||||||
)
|
)
|
||||||
|
|
||||||
// Store is a data storage interface
|
// Store is a data storage interface
|
||||||
type Store interface {
|
type Store interface {
|
||||||
|
// Name returns store name
|
||||||
Name() string
|
Name() string
|
||||||
// Init initialises the store
|
// Init initialises the store
|
||||||
Init(opts ...Option) error
|
Init(opts ...Option) error
|
||||||
|
@ -41,3 +42,16 @@ type Store interface {
|
||||||
// String returns the name of the implementation.
|
// String returns the name of the implementation.
|
||||||
String() string
|
String() string
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type (
|
||||||
|
FuncExists func(ctx context.Context, key string, opts ...ExistsOption) error
|
||||||
|
HookExists func(next FuncExists) FuncExists
|
||||||
|
FuncRead func(ctx context.Context, key string, val interface{}, opts ...ReadOption) error
|
||||||
|
HookRead func(next FuncRead) FuncRead
|
||||||
|
FuncWrite func(ctx context.Context, key string, val interface{}, opts ...WriteOption) error
|
||||||
|
HookWrite func(next FuncWrite) FuncWrite
|
||||||
|
FuncDelete func(ctx context.Context, key string, opts ...DeleteOption) error
|
||||||
|
HookDelete func(next FuncDelete) FuncDelete
|
||||||
|
FuncList func(ctx context.Context, opts ...ListOption) ([]string, error)
|
||||||
|
HookList func(next FuncList) FuncList
|
||||||
|
)
|
||||||
|
|
|
@ -0,0 +1,69 @@
|
||||||
|
package sync
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"sync"
|
||||||
|
)
|
||||||
|
|
||||||
|
type WaitGroup struct {
|
||||||
|
wg *sync.WaitGroup
|
||||||
|
c int
|
||||||
|
mu sync.Mutex
|
||||||
|
}
|
||||||
|
|
||||||
|
func WrapWaitGroup(wg *sync.WaitGroup) *WaitGroup {
|
||||||
|
g := &WaitGroup{
|
||||||
|
wg: wg,
|
||||||
|
}
|
||||||
|
return g
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewWaitGroup() *WaitGroup {
|
||||||
|
var wg sync.WaitGroup
|
||||||
|
return WrapWaitGroup(&wg)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (g *WaitGroup) Add(n int) {
|
||||||
|
g.mu.Lock()
|
||||||
|
g.c += n
|
||||||
|
g.wg.Add(n)
|
||||||
|
g.mu.Unlock()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (g *WaitGroup) Done() {
|
||||||
|
g.mu.Lock()
|
||||||
|
g.c += -1
|
||||||
|
g.wg.Add(-1)
|
||||||
|
g.mu.Unlock()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (g *WaitGroup) Wait() {
|
||||||
|
g.wg.Wait()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (g *WaitGroup) WaitContext(ctx context.Context) {
|
||||||
|
done := make(chan struct{})
|
||||||
|
go func() {
|
||||||
|
g.wg.Wait()
|
||||||
|
close(done)
|
||||||
|
}()
|
||||||
|
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
g.mu.Lock()
|
||||||
|
g.wg.Add(-g.c)
|
||||||
|
<-done
|
||||||
|
g.wg.Add(g.c)
|
||||||
|
g.mu.Unlock()
|
||||||
|
return
|
||||||
|
case <-done:
|
||||||
|
return
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (g *WaitGroup) Waiters() int {
|
||||||
|
g.mu.Lock()
|
||||||
|
c := g.c
|
||||||
|
g.mu.Unlock()
|
||||||
|
return c
|
||||||
|
}
|
|
@ -0,0 +1,37 @@
|
||||||
|
package sync
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"testing"
|
||||||
|
"time"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestWaitGroupContext(t *testing.T) {
|
||||||
|
wg := NewWaitGroup()
|
||||||
|
_ = t
|
||||||
|
wg.Add(1)
|
||||||
|
ctx, cancel := context.WithTimeout(context.TODO(), 1*time.Second)
|
||||||
|
defer cancel()
|
||||||
|
wg.WaitContext(ctx)
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestWaitGroupReuse(t *testing.T) {
|
||||||
|
wg := NewWaitGroup()
|
||||||
|
defer func() {
|
||||||
|
if wg.Waiters() != 0 {
|
||||||
|
t.Fatal("lost goroutines")
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
|
||||||
|
wg.Add(1)
|
||||||
|
defer wg.Done()
|
||||||
|
ctx, cancel := context.WithTimeout(context.TODO(), 1*time.Second)
|
||||||
|
defer cancel()
|
||||||
|
wg.WaitContext(ctx)
|
||||||
|
|
||||||
|
wg.Add(1)
|
||||||
|
defer wg.Done()
|
||||||
|
ctx, cancel = context.WithTimeout(context.TODO(), 1*time.Second)
|
||||||
|
defer cancel()
|
||||||
|
wg.WaitContext(ctx)
|
||||||
|
}
|
|
@ -0,0 +1,139 @@
|
||||||
|
package memory
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/tracer"
|
||||||
|
"go.unistack.org/micro/v3/util/id"
|
||||||
|
)
|
||||||
|
|
||||||
|
var _ tracer.Tracer = (*Tracer)(nil)
|
||||||
|
|
||||||
|
type Tracer struct {
|
||||||
|
opts tracer.Options
|
||||||
|
spans []tracer.Span
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *Tracer) Spans() []tracer.Span {
|
||||||
|
return t.spans
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *Tracer) Start(ctx context.Context, name string, opts ...tracer.SpanOption) (context.Context, tracer.Span) {
|
||||||
|
options := tracer.NewSpanOptions(opts...)
|
||||||
|
span := &Span{
|
||||||
|
name: name,
|
||||||
|
ctx: ctx,
|
||||||
|
tracer: t,
|
||||||
|
kind: options.Kind,
|
||||||
|
startTime: time.Now(),
|
||||||
|
}
|
||||||
|
span.spanID.s, _ = id.New()
|
||||||
|
span.traceID.s, _ = id.New()
|
||||||
|
if span.ctx == nil {
|
||||||
|
span.ctx = context.Background()
|
||||||
|
}
|
||||||
|
t.spans = append(t.spans, span)
|
||||||
|
return tracer.NewSpanContext(ctx, span), span
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *Tracer) Flush(_ context.Context) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *Tracer) Init(opts ...tracer.Option) error {
|
||||||
|
for _, o := range opts {
|
||||||
|
o(&t.opts)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *Tracer) Name() string {
|
||||||
|
return t.opts.Name
|
||||||
|
}
|
||||||
|
|
||||||
|
type noopStringer struct {
|
||||||
|
s string
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s noopStringer) String() string {
|
||||||
|
return s.s
|
||||||
|
}
|
||||||
|
|
||||||
|
type Span struct {
|
||||||
|
ctx context.Context
|
||||||
|
tracer tracer.Tracer
|
||||||
|
name string
|
||||||
|
statusMsg string
|
||||||
|
startTime time.Time
|
||||||
|
finishTime time.Time
|
||||||
|
traceID noopStringer
|
||||||
|
spanID noopStringer
|
||||||
|
events []*Event
|
||||||
|
labels []interface{}
|
||||||
|
logs []interface{}
|
||||||
|
kind tracer.SpanKind
|
||||||
|
status tracer.SpanStatus
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) Finish(_ ...tracer.SpanOption) {
|
||||||
|
s.finishTime = time.Now()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) Context() context.Context {
|
||||||
|
return s.ctx
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) Tracer() tracer.Tracer {
|
||||||
|
return s.tracer
|
||||||
|
}
|
||||||
|
|
||||||
|
type Event struct {
|
||||||
|
name string
|
||||||
|
labels []interface{}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) AddEvent(name string, opts ...tracer.EventOption) {
|
||||||
|
options := tracer.NewEventOptions(opts...)
|
||||||
|
s.events = append(s.events, &Event{name: name, labels: options.Labels})
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) SetName(name string) {
|
||||||
|
s.name = name
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) AddLogs(kv ...interface{}) {
|
||||||
|
s.logs = append(s.logs, kv...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) AddLabels(kv ...interface{}) {
|
||||||
|
s.labels = append(s.labels, kv...)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) Kind() tracer.SpanKind {
|
||||||
|
return s.kind
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) TraceID() string {
|
||||||
|
return s.traceID.String()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) SpanID() string {
|
||||||
|
return s.spanID.String()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) Status() (tracer.SpanStatus, string) {
|
||||||
|
return s.status, s.statusMsg
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *Span) SetStatus(st tracer.SpanStatus, msg string) {
|
||||||
|
s.status = st
|
||||||
|
s.statusMsg = msg
|
||||||
|
}
|
||||||
|
|
||||||
|
// NewTracer returns new memory tracer
|
||||||
|
func NewTracer(opts ...tracer.Option) *Tracer {
|
||||||
|
return &Tracer{
|
||||||
|
opts: tracer.NewOptions(opts...),
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,38 @@
|
||||||
|
package memory
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"context"
|
||||||
|
"fmt"
|
||||||
|
"strings"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/logger"
|
||||||
|
"go.unistack.org/micro/v3/logger/slog"
|
||||||
|
"go.unistack.org/micro/v3/tracer"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestLoggerWithTracer(t *testing.T) {
|
||||||
|
ctx := context.TODO()
|
||||||
|
buf := bytes.NewBuffer(nil)
|
||||||
|
logger.DefaultLogger = slog.NewLogger(logger.WithOutput(buf))
|
||||||
|
|
||||||
|
if err := logger.Init(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
var span tracer.Span
|
||||||
|
tr := NewTracer()
|
||||||
|
ctx, span = tr.Start(ctx, "test1")
|
||||||
|
|
||||||
|
logger.Error(ctx, "my test error", fmt.Errorf("error"))
|
||||||
|
|
||||||
|
if !strings.Contains(buf.String(), span.TraceID()) {
|
||||||
|
t.Fatalf("log does not contains trace id: %s", buf.Bytes())
|
||||||
|
}
|
||||||
|
|
||||||
|
_, _ = tr.Start(ctx, "test2")
|
||||||
|
|
||||||
|
for _, s := range tr.Spans() {
|
||||||
|
_ = s
|
||||||
|
}
|
||||||
|
}
|
|
@ -2,25 +2,51 @@ package tracer
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/util/id"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
var _ Tracer = (*noopTracer)(nil)
|
||||||
|
|
||||||
type noopTracer struct {
|
type noopTracer struct {
|
||||||
opts Options
|
opts Options
|
||||||
|
spans []Span
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *noopTracer) Spans() []Span {
|
||||||
|
return t.spans
|
||||||
}
|
}
|
||||||
|
|
||||||
func (t *noopTracer) Start(ctx context.Context, name string, opts ...SpanOption) (context.Context, Span) {
|
func (t *noopTracer) Start(ctx context.Context, name string, opts ...SpanOption) (context.Context, Span) {
|
||||||
|
options := NewSpanOptions(opts...)
|
||||||
span := &noopSpan{
|
span := &noopSpan{
|
||||||
name: name,
|
name: name,
|
||||||
ctx: ctx,
|
ctx: ctx,
|
||||||
tracer: t,
|
tracer: t,
|
||||||
opts: NewSpanOptions(opts...),
|
labels: options.Labels,
|
||||||
|
kind: options.Kind,
|
||||||
}
|
}
|
||||||
|
span.spanID.s, _ = id.New()
|
||||||
|
span.traceID.s, _ = id.New()
|
||||||
if span.ctx == nil {
|
if span.ctx == nil {
|
||||||
span.ctx = context.Background()
|
span.ctx = context.Background()
|
||||||
}
|
}
|
||||||
|
t.spans = append(t.spans, span)
|
||||||
return NewSpanContext(ctx, span), span
|
return NewSpanContext(ctx, span), span
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type noopStringer struct {
|
||||||
|
s string
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s noopStringer) String() string {
|
||||||
|
return s.s
|
||||||
|
}
|
||||||
|
|
||||||
|
func (t *noopTracer) Flush(ctx context.Context) error {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
func (t *noopTracer) Init(opts ...Option) error {
|
func (t *noopTracer) Init(opts ...Option) error {
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
o(&t.opts)
|
o(&t.opts)
|
||||||
|
@ -32,16 +58,34 @@ func (t *noopTracer) Name() string {
|
||||||
return t.opts.Name
|
return t.opts.Name
|
||||||
}
|
}
|
||||||
|
|
||||||
|
type noopEvent struct {
|
||||||
|
name string
|
||||||
|
labels []interface{}
|
||||||
|
}
|
||||||
|
|
||||||
type noopSpan struct {
|
type noopSpan struct {
|
||||||
ctx context.Context
|
ctx context.Context
|
||||||
tracer Tracer
|
tracer Tracer
|
||||||
name string
|
name string
|
||||||
opts SpanOptions
|
|
||||||
status SpanStatus
|
|
||||||
statusMsg string
|
statusMsg string
|
||||||
|
traceID noopStringer
|
||||||
|
spanID noopStringer
|
||||||
|
events []*noopEvent
|
||||||
|
labels []interface{}
|
||||||
|
logs []interface{}
|
||||||
|
kind SpanKind
|
||||||
|
status SpanStatus
|
||||||
}
|
}
|
||||||
|
|
||||||
func (s *noopSpan) Finish(opts ...SpanOption) {
|
func (s *noopSpan) TraceID() string {
|
||||||
|
return s.traceID.String()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *noopSpan) SpanID() string {
|
||||||
|
return s.spanID.String()
|
||||||
|
}
|
||||||
|
|
||||||
|
func (s *noopSpan) Finish(_ ...SpanOption) {
|
||||||
}
|
}
|
||||||
|
|
||||||
func (s *noopSpan) Context() context.Context {
|
func (s *noopSpan) Context() context.Context {
|
||||||
|
@ -53,22 +97,24 @@ func (s *noopSpan) Tracer() Tracer {
|
||||||
}
|
}
|
||||||
|
|
||||||
func (s *noopSpan) AddEvent(name string, opts ...EventOption) {
|
func (s *noopSpan) AddEvent(name string, opts ...EventOption) {
|
||||||
|
options := NewEventOptions(opts...)
|
||||||
|
s.events = append(s.events, &noopEvent{name: name, labels: options.Labels})
|
||||||
}
|
}
|
||||||
|
|
||||||
func (s *noopSpan) SetName(name string) {
|
func (s *noopSpan) SetName(name string) {
|
||||||
s.name = name
|
s.name = name
|
||||||
}
|
}
|
||||||
|
|
||||||
func (s *noopSpan) SetLabels(labels ...interface{}) {
|
func (s *noopSpan) AddLogs(kv ...interface{}) {
|
||||||
s.opts.Labels = labels
|
s.logs = append(s.logs, kv...)
|
||||||
}
|
}
|
||||||
|
|
||||||
func (s *noopSpan) AddLabels(labels ...interface{}) {
|
func (s *noopSpan) AddLabels(kv ...interface{}) {
|
||||||
s.opts.Labels = append(s.opts.Labels, labels...)
|
s.labels = append(s.labels, kv...)
|
||||||
}
|
}
|
||||||
|
|
||||||
func (s *noopSpan) Kind() SpanKind {
|
func (s *noopSpan) Kind() SpanKind {
|
||||||
return s.opts.Kind
|
return s.kind
|
||||||
}
|
}
|
||||||
|
|
||||||
func (s *noopSpan) Status() (SpanStatus, string) {
|
func (s *noopSpan) Status() (SpanStatus, string) {
|
||||||
|
|
|
@ -83,22 +83,40 @@ func (sk SpanKind) String() string {
|
||||||
|
|
||||||
// SpanOptions contains span option
|
// SpanOptions contains span option
|
||||||
type SpanOptions struct {
|
type SpanOptions struct {
|
||||||
Labels []interface{}
|
StatusMsg string
|
||||||
Kind SpanKind
|
Labels []interface{}
|
||||||
|
Status SpanStatus
|
||||||
|
Kind SpanKind
|
||||||
|
Record bool
|
||||||
}
|
}
|
||||||
|
|
||||||
// SpanOption func signature
|
// SpanOption func signature
|
||||||
type SpanOption func(o *SpanOptions)
|
type SpanOption func(o *SpanOptions)
|
||||||
|
|
||||||
// EventOptions contains event options
|
// EventOptions contains event options
|
||||||
type EventOptions struct{}
|
type EventOptions struct {
|
||||||
|
Labels []interface{}
|
||||||
|
}
|
||||||
|
|
||||||
// EventOption func signature
|
// EventOption func signature
|
||||||
type EventOption func(o *EventOptions)
|
type EventOption func(o *EventOptions)
|
||||||
|
|
||||||
func WithSpanLabels(labels ...interface{}) SpanOption {
|
func WithEventLabels(kv ...interface{}) EventOption {
|
||||||
|
return func(o *EventOptions) {
|
||||||
|
o.Labels = append(o.Labels, kv...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func WithSpanLabels(kv ...interface{}) SpanOption {
|
||||||
return func(o *SpanOptions) {
|
return func(o *SpanOptions) {
|
||||||
o.Labels = labels
|
o.Labels = append(o.Labels, kv...)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func WithSpanStatus(st SpanStatus, msg string) SpanOption {
|
||||||
|
return func(o *SpanOptions) {
|
||||||
|
o.Status = st
|
||||||
|
o.StatusMsg = msg
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@ -108,6 +126,12 @@ func WithSpanKind(k SpanKind) SpanOption {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func WithSpanRecord(b bool) SpanOption {
|
||||||
|
return func(o *SpanOptions) {
|
||||||
|
o.Record = b
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
// Options struct
|
// Options struct
|
||||||
type Options struct {
|
type Options struct {
|
||||||
// Context used to store custome tracer options
|
// Context used to store custome tracer options
|
||||||
|
@ -128,10 +152,20 @@ func Logger(l logger.Logger) Option {
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// NewEventOptions returns default EventOptions
|
||||||
|
func NewEventOptions(opts ...EventOption) EventOptions {
|
||||||
|
options := EventOptions{}
|
||||||
|
for _, o := range opts {
|
||||||
|
o(&options)
|
||||||
|
}
|
||||||
|
return options
|
||||||
|
}
|
||||||
|
|
||||||
// NewSpanOptions returns default SpanOptions
|
// NewSpanOptions returns default SpanOptions
|
||||||
func NewSpanOptions(opts ...SpanOption) SpanOptions {
|
func NewSpanOptions(opts ...SpanOption) SpanOptions {
|
||||||
options := SpanOptions{
|
options := SpanOptions{
|
||||||
Kind: SpanKindInternal,
|
Kind: SpanKindInternal,
|
||||||
|
Record: true,
|
||||||
}
|
}
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
o(&options)
|
o(&options)
|
||||||
|
@ -142,7 +176,8 @@ func NewSpanOptions(opts ...SpanOption) SpanOptions {
|
||||||
// NewOptions returns default options
|
// NewOptions returns default options
|
||||||
func NewOptions(opts ...Option) Options {
|
func NewOptions(opts ...Option) Options {
|
||||||
options := Options{
|
options := Options{
|
||||||
Logger: logger.DefaultLogger,
|
Logger: logger.DefaultLogger,
|
||||||
|
Context: context.Background(),
|
||||||
}
|
}
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
o(&options)
|
o(&options)
|
||||||
|
|
|
@ -3,10 +3,38 @@ package tracer // import "go.unistack.org/micro/v3/tracer"
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/logger"
|
||||||
)
|
)
|
||||||
|
|
||||||
// DefaultTracer is the global default tracer
|
var (
|
||||||
var DefaultTracer = NewTracer()
|
// DefaultTracer is the global default tracer
|
||||||
|
DefaultTracer Tracer = NewTracer() //nolint:revive
|
||||||
|
// TraceIDKey is the key used for the trace id in the log call
|
||||||
|
TraceIDKey = "trace-id"
|
||||||
|
// SpanIDKey is the key used for the span id in the log call
|
||||||
|
SpanIDKey = "span-id"
|
||||||
|
// DefaultSkipEndpoints is the slice of endpoint that must not be traced
|
||||||
|
DefaultSkipEndpoints = []string{
|
||||||
|
"MeterService.Metrics",
|
||||||
|
"HealthService.Live",
|
||||||
|
"HealthService.Ready",
|
||||||
|
"HealthService.Version",
|
||||||
|
}
|
||||||
|
)
|
||||||
|
|
||||||
|
func init() {
|
||||||
|
logger.DefaultContextAttrFuncs = append(logger.DefaultContextAttrFuncs,
|
||||||
|
func(ctx context.Context) []interface{} {
|
||||||
|
if span, ok := SpanFromContext(ctx); ok {
|
||||||
|
return []interface{}{
|
||||||
|
TraceIDKey, span.TraceID(),
|
||||||
|
SpanIDKey, span.SpanID(),
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
// Tracer is an interface for distributed tracing
|
// Tracer is an interface for distributed tracing
|
||||||
type Tracer interface {
|
type Tracer interface {
|
||||||
|
@ -16,6 +44,10 @@ type Tracer interface {
|
||||||
Init(...Option) error
|
Init(...Option) error
|
||||||
// Start a trace
|
// Start a trace
|
||||||
Start(ctx context.Context, name string, opts ...SpanOption) (context.Context, Span)
|
Start(ctx context.Context, name string, opts ...SpanOption) (context.Context, Span)
|
||||||
|
// Extract get span metadata from context
|
||||||
|
// Extract(ctx context.Context)
|
||||||
|
// Flush flushes spans
|
||||||
|
Flush(ctx context.Context) error
|
||||||
}
|
}
|
||||||
|
|
||||||
type Span interface {
|
type Span interface {
|
||||||
|
@ -23,8 +55,6 @@ type Span interface {
|
||||||
Tracer() Tracer
|
Tracer() Tracer
|
||||||
// Finish complete and send span
|
// Finish complete and send span
|
||||||
Finish(opts ...SpanOption)
|
Finish(opts ...SpanOption)
|
||||||
// AddEvent add event to span
|
|
||||||
AddEvent(name string, opts ...EventOption)
|
|
||||||
// Context return context with span
|
// Context return context with span
|
||||||
Context() context.Context
|
Context() context.Context
|
||||||
// SetName set the span name
|
// SetName set the span name
|
||||||
|
@ -33,10 +63,16 @@ type Span interface {
|
||||||
SetStatus(status SpanStatus, msg string)
|
SetStatus(status SpanStatus, msg string)
|
||||||
// Status returns span status and msg
|
// Status returns span status and msg
|
||||||
Status() (SpanStatus, string)
|
Status() (SpanStatus, string)
|
||||||
// SetLabels set the span labels
|
// AddLabels append labels to span
|
||||||
SetLabels(labels ...interface{})
|
AddLabels(kv ...interface{})
|
||||||
// AddLabels append the span labels
|
// AddEvent append event to span
|
||||||
AddLabels(labels ...interface{})
|
AddEvent(name string, opts ...EventOption)
|
||||||
|
// AddEvent append event to span
|
||||||
|
AddLogs(kv ...interface{})
|
||||||
// Kind returns span kind
|
// Kind returns span kind
|
||||||
Kind() SpanKind
|
Kind() SpanKind
|
||||||
|
// TraceID returns trace id
|
||||||
|
TraceID() string
|
||||||
|
// SpanID returns span id
|
||||||
|
SpanID() string
|
||||||
}
|
}
|
||||||
|
|
|
@ -4,6 +4,7 @@ package wrapper // import "go.unistack.org/micro/v3/tracer/wrapper"
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
"fmt"
|
"fmt"
|
||||||
|
"strings"
|
||||||
|
|
||||||
"go.unistack.org/micro/v3/client"
|
"go.unistack.org/micro/v3/client"
|
||||||
"go.unistack.org/micro/v3/metadata"
|
"go.unistack.org/micro/v3/metadata"
|
||||||
|
@ -11,107 +12,87 @@ import (
|
||||||
"go.unistack.org/micro/v3/tracer"
|
"go.unistack.org/micro/v3/tracer"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
var DefaultHeadersExctract = []string{metadata.HeaderXRequestID}
|
||||||
|
|
||||||
|
func ExtractDefaultLabels(md metadata.Metadata) []interface{} {
|
||||||
|
labels := make([]interface{}, 0, len(DefaultHeadersExctract))
|
||||||
|
for _, k := range DefaultHeadersExctract {
|
||||||
|
if v, ok := md.Get(k); ok {
|
||||||
|
labels = append(labels, strings.ToLower(k), v)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return labels
|
||||||
|
}
|
||||||
|
|
||||||
var (
|
var (
|
||||||
DefaultClientCallObserver = func(ctx context.Context, req client.Request, rsp interface{}, opts []client.CallOption, sp tracer.Span, err error) {
|
DefaultClientCallObserver = func(ctx context.Context, req client.Request, rsp interface{}, opts []client.CallOption, sp tracer.Span, err error) {
|
||||||
sp.SetName(fmt.Sprintf("Call %s.%s", req.Service(), req.Method()))
|
|
||||||
var labels []interface{}
|
var labels []interface{}
|
||||||
if md, ok := metadata.FromOutgoingContext(ctx); ok {
|
if md, ok := metadata.FromOutgoingContext(ctx); ok {
|
||||||
labels = make([]interface{}, 0, len(md)+1)
|
labels = append(labels, ExtractDefaultLabels(md)...)
|
||||||
for k, v := range md {
|
|
||||||
labels = append(labels, k, v)
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
if err != nil {
|
if err != nil {
|
||||||
labels = append(labels, "error", err.Error())
|
|
||||||
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
||||||
}
|
}
|
||||||
labels = append(labels, "kind", sp.Kind())
|
sp.AddLabels(labels...)
|
||||||
sp.SetLabels(labels...)
|
|
||||||
}
|
}
|
||||||
|
|
||||||
DefaultClientStreamObserver = func(ctx context.Context, req client.Request, opts []client.CallOption, stream client.Stream, sp tracer.Span, err error) {
|
DefaultClientStreamObserver = func(ctx context.Context, req client.Request, opts []client.CallOption, stream client.Stream, sp tracer.Span, err error) {
|
||||||
sp.SetName(fmt.Sprintf("Stream %s.%s", req.Service(), req.Method()))
|
|
||||||
var labels []interface{}
|
var labels []interface{}
|
||||||
if md, ok := metadata.FromOutgoingContext(ctx); ok {
|
if md, ok := metadata.FromOutgoingContext(ctx); ok {
|
||||||
labels = make([]interface{}, 0, len(md))
|
labels = append(labels, ExtractDefaultLabels(md)...)
|
||||||
for k, v := range md {
|
|
||||||
labels = append(labels, k, v)
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
if err != nil {
|
if err != nil {
|
||||||
labels = append(labels, "error", err.Error())
|
|
||||||
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
||||||
}
|
}
|
||||||
labels = append(labels, "kind", sp.Kind())
|
sp.AddLabels(labels...)
|
||||||
sp.SetLabels(labels...)
|
|
||||||
}
|
}
|
||||||
|
|
||||||
DefaultClientPublishObserver = func(ctx context.Context, msg client.Message, opts []client.PublishOption, sp tracer.Span, err error) {
|
DefaultClientPublishObserver = func(ctx context.Context, msg client.Message, opts []client.PublishOption, sp tracer.Span, err error) {
|
||||||
sp.SetName(fmt.Sprintf("Publish %s", msg.Topic()))
|
|
||||||
var labels []interface{}
|
var labels []interface{}
|
||||||
if md, ok := metadata.FromOutgoingContext(ctx); ok {
|
if md, ok := metadata.FromOutgoingContext(ctx); ok {
|
||||||
labels = make([]interface{}, 0, len(md))
|
labels = append(labels, ExtractDefaultLabels(md)...)
|
||||||
for k, v := range md {
|
|
||||||
labels = append(labels, k, v)
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
|
labels = append(labels, ExtractDefaultLabels(msg.Metadata())...)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
labels = append(labels, "error", err.Error())
|
|
||||||
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
||||||
}
|
}
|
||||||
labels = append(labels, "kind", sp.Kind())
|
sp.AddLabels(labels...)
|
||||||
sp.SetLabels(labels...)
|
|
||||||
}
|
}
|
||||||
|
|
||||||
DefaultServerHandlerObserver = func(ctx context.Context, req server.Request, rsp interface{}, sp tracer.Span, err error) {
|
DefaultServerHandlerObserver = func(ctx context.Context, req server.Request, rsp interface{}, sp tracer.Span, err error) {
|
||||||
sp.SetName(fmt.Sprintf("Handler %s.%s", req.Service(), req.Method()))
|
|
||||||
var labels []interface{}
|
var labels []interface{}
|
||||||
if md, ok := metadata.FromIncomingContext(ctx); ok {
|
if md, ok := metadata.FromIncomingContext(ctx); ok {
|
||||||
labels = make([]interface{}, 0, len(md))
|
labels = append(labels, ExtractDefaultLabels(md)...)
|
||||||
for k, v := range md {
|
|
||||||
labels = append(labels, k, v)
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
if err != nil {
|
if err != nil {
|
||||||
labels = append(labels, "error", err.Error())
|
|
||||||
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
||||||
}
|
}
|
||||||
labels = append(labels, "kind", sp.Kind())
|
sp.AddLabels(labels...)
|
||||||
sp.SetLabels(labels...)
|
|
||||||
}
|
}
|
||||||
|
|
||||||
DefaultServerSubscriberObserver = func(ctx context.Context, msg server.Message, sp tracer.Span, err error) {
|
DefaultServerSubscriberObserver = func(ctx context.Context, msg server.Message, sp tracer.Span, err error) {
|
||||||
sp.SetName(fmt.Sprintf("Subscriber %s", msg.Topic()))
|
|
||||||
var labels []interface{}
|
var labels []interface{}
|
||||||
if md, ok := metadata.FromIncomingContext(ctx); ok {
|
if md, ok := metadata.FromIncomingContext(ctx); ok {
|
||||||
labels = make([]interface{}, 0, len(md))
|
labels = append(labels, ExtractDefaultLabels(md)...)
|
||||||
for k, v := range md {
|
|
||||||
labels = append(labels, k, v)
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
|
labels = append(labels, ExtractDefaultLabels(msg.Header())...)
|
||||||
|
|
||||||
if err != nil {
|
if err != nil {
|
||||||
labels = append(labels, "error", err.Error())
|
|
||||||
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
||||||
}
|
}
|
||||||
labels = append(labels, "kind", sp.Kind())
|
sp.AddLabels(labels...)
|
||||||
sp.SetLabels(labels...)
|
|
||||||
}
|
}
|
||||||
|
|
||||||
DefaultClientCallFuncObserver = func(ctx context.Context, addr string, req client.Request, rsp interface{}, opts client.CallOptions, sp tracer.Span, err error) {
|
DefaultClientCallFuncObserver = func(ctx context.Context, addr string, req client.Request, rsp interface{}, opts client.CallOptions, sp tracer.Span, err error) {
|
||||||
sp.SetName(fmt.Sprintf("Call %s.%s", req.Service(), req.Method()))
|
sp.SetName(fmt.Sprintf("%s.%s call", req.Service(), req.Method()))
|
||||||
var labels []interface{}
|
var labels []interface{}
|
||||||
if md, ok := metadata.FromOutgoingContext(ctx); ok {
|
if md, ok := metadata.FromOutgoingContext(ctx); ok {
|
||||||
labels = make([]interface{}, 0, len(md))
|
labels = append(labels, ExtractDefaultLabels(md)...)
|
||||||
for k, v := range md {
|
|
||||||
labels = append(labels, k, v)
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
if err != nil {
|
if err != nil {
|
||||||
labels = append(labels, "error", err.Error())
|
|
||||||
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
sp.SetStatus(tracer.SpanStatusError, err.Error())
|
||||||
}
|
}
|
||||||
labels = append(labels, "kind", sp.Kind())
|
sp.AddLabels(labels...)
|
||||||
sp.SetLabels(labels...)
|
|
||||||
}
|
}
|
||||||
|
|
||||||
DefaultSkipEndpoints = []string{"Meter.Metrics", "Health.Live", "Health.Ready", "Health.Version"}
|
DefaultSkipEndpoints = []string{"Meter.Metrics", "Health.Live", "Health.Ready", "Health.Version"}
|
||||||
|
@ -241,16 +222,22 @@ func (ot *tWrapper) Call(ctx context.Context, req client.Request, rsp interface{
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
sp, ok := tracer.SpanFromContext(ctx)
|
nctx, sp := ot.opts.Tracer.Start(ctx, fmt.Sprintf("%s.%s rpc-client", req.Service(), req.Method()),
|
||||||
if !ok {
|
tracer.WithSpanKind(tracer.SpanKindClient),
|
||||||
ctx, sp = ot.opts.Tracer.Start(ctx, "", tracer.WithSpanKind(tracer.SpanKindClient))
|
tracer.WithSpanLabels(
|
||||||
}
|
"rpc.service", req.Service(),
|
||||||
|
"rpc.method", req.Method(),
|
||||||
|
"rpc.flavor", "rpc",
|
||||||
|
"rpc.call", "/"+req.Service()+"/"+req.Endpoint(),
|
||||||
|
"rpc.call_type", "unary",
|
||||||
|
),
|
||||||
|
)
|
||||||
defer sp.Finish()
|
defer sp.Finish()
|
||||||
|
|
||||||
err := ot.Client.Call(ctx, req, rsp, opts...)
|
err := ot.Client.Call(nctx, req, rsp, opts...)
|
||||||
|
|
||||||
for _, o := range ot.opts.ClientCallObservers {
|
for _, o := range ot.opts.ClientCallObservers {
|
||||||
o(ctx, req, rsp, opts, sp, err)
|
o(nctx, req, rsp, opts, sp, err)
|
||||||
}
|
}
|
||||||
|
|
||||||
return err
|
return err
|
||||||
|
@ -264,32 +251,36 @@ func (ot *tWrapper) Stream(ctx context.Context, req client.Request, opts ...clie
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
sp, ok := tracer.SpanFromContext(ctx)
|
nctx, sp := ot.opts.Tracer.Start(ctx, fmt.Sprintf("%s.%s rpc-client", req.Service(), req.Method()),
|
||||||
if !ok {
|
tracer.WithSpanKind(tracer.SpanKindClient),
|
||||||
ctx, sp = ot.opts.Tracer.Start(ctx, "", tracer.WithSpanKind(tracer.SpanKindClient))
|
tracer.WithSpanLabels(
|
||||||
}
|
"rpc.service", req.Service(),
|
||||||
|
"rpc.method", req.Method(),
|
||||||
|
"rpc.flavor", "rpc",
|
||||||
|
"rpc.call", "/"+req.Service()+"/"+req.Endpoint(),
|
||||||
|
"rpc.call_type", "stream",
|
||||||
|
),
|
||||||
|
)
|
||||||
defer sp.Finish()
|
defer sp.Finish()
|
||||||
|
|
||||||
stream, err := ot.Client.Stream(ctx, req, opts...)
|
stream, err := ot.Client.Stream(nctx, req, opts...)
|
||||||
|
|
||||||
for _, o := range ot.opts.ClientStreamObservers {
|
for _, o := range ot.opts.ClientStreamObservers {
|
||||||
o(ctx, req, opts, stream, sp, err)
|
o(nctx, req, opts, stream, sp, err)
|
||||||
}
|
}
|
||||||
|
|
||||||
return stream, err
|
return stream, err
|
||||||
}
|
}
|
||||||
|
|
||||||
func (ot *tWrapper) Publish(ctx context.Context, msg client.Message, opts ...client.PublishOption) error {
|
func (ot *tWrapper) Publish(ctx context.Context, msg client.Message, opts ...client.PublishOption) error {
|
||||||
sp, ok := tracer.SpanFromContext(ctx)
|
nctx, sp := ot.opts.Tracer.Start(ctx, msg.Topic()+" publish", tracer.WithSpanKind(tracer.SpanKindProducer))
|
||||||
if !ok {
|
|
||||||
ctx, sp = ot.opts.Tracer.Start(ctx, "", tracer.WithSpanKind(tracer.SpanKindProducer))
|
|
||||||
}
|
|
||||||
defer sp.Finish()
|
defer sp.Finish()
|
||||||
|
sp.AddLabels("messaging.destination.name", msg.Topic())
|
||||||
err := ot.Client.Publish(ctx, msg, opts...)
|
sp.AddLabels("messaging.operation", "publish")
|
||||||
|
err := ot.Client.Publish(nctx, msg, opts...)
|
||||||
|
|
||||||
for _, o := range ot.opts.ClientPublishObservers {
|
for _, o := range ot.opts.ClientPublishObservers {
|
||||||
o(ctx, msg, opts, sp, err)
|
o(nctx, msg, opts, sp, err)
|
||||||
}
|
}
|
||||||
|
|
||||||
return err
|
return err
|
||||||
|
@ -303,32 +294,41 @@ func (ot *tWrapper) ServerHandler(ctx context.Context, req server.Request, rsp i
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
sp, ok := tracer.SpanFromContext(ctx)
|
callType := "unary"
|
||||||
if !ok {
|
if req.Stream() {
|
||||||
ctx, sp = ot.opts.Tracer.Start(ctx, "", tracer.WithSpanKind(tracer.SpanKindServer))
|
callType = "stream"
|
||||||
}
|
}
|
||||||
|
|
||||||
|
nctx, sp := ot.opts.Tracer.Start(ctx, fmt.Sprintf("%s.%s rpc-server", req.Service(), req.Method()),
|
||||||
|
tracer.WithSpanKind(tracer.SpanKindServer),
|
||||||
|
tracer.WithSpanLabels(
|
||||||
|
"rpc.service", req.Service(),
|
||||||
|
"rpc.method", req.Method(),
|
||||||
|
"rpc.flavor", "rpc",
|
||||||
|
"rpc.call", "/"+req.Service()+"/"+req.Endpoint(),
|
||||||
|
"rpc.call_type", callType,
|
||||||
|
),
|
||||||
|
)
|
||||||
defer sp.Finish()
|
defer sp.Finish()
|
||||||
|
|
||||||
err := ot.serverHandler(ctx, req, rsp)
|
err := ot.serverHandler(nctx, req, rsp)
|
||||||
|
|
||||||
for _, o := range ot.opts.ServerHandlerObservers {
|
for _, o := range ot.opts.ServerHandlerObservers {
|
||||||
o(ctx, req, rsp, sp, err)
|
o(nctx, req, rsp, sp, err)
|
||||||
}
|
}
|
||||||
|
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
||||||
func (ot *tWrapper) ServerSubscriber(ctx context.Context, msg server.Message) error {
|
func (ot *tWrapper) ServerSubscriber(ctx context.Context, msg server.Message) error {
|
||||||
sp, ok := tracer.SpanFromContext(ctx)
|
nctx, sp := ot.opts.Tracer.Start(ctx, msg.Topic()+" process", tracer.WithSpanKind(tracer.SpanKindConsumer))
|
||||||
if !ok {
|
|
||||||
ctx, sp = ot.opts.Tracer.Start(ctx, "", tracer.WithSpanKind(tracer.SpanKindConsumer))
|
|
||||||
}
|
|
||||||
defer sp.Finish()
|
defer sp.Finish()
|
||||||
|
sp.AddLabels("messaging.operation", "process")
|
||||||
err := ot.serverSubscriber(ctx, msg)
|
sp.AddLabels("messaging.source.name", msg.Topic())
|
||||||
|
err := ot.serverSubscriber(nctx, msg)
|
||||||
|
|
||||||
for _, o := range ot.opts.ServerSubscriberObservers {
|
for _, o := range ot.opts.ServerSubscriberObservers {
|
||||||
o(ctx, msg, sp, err)
|
o(nctx, msg, sp, err)
|
||||||
}
|
}
|
||||||
|
|
||||||
return err
|
return err
|
||||||
|
@ -366,16 +366,23 @@ func (ot *tWrapper) ClientCallFunc(ctx context.Context, addr string, req client.
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
sp, ok := tracer.SpanFromContext(ctx)
|
nctx, sp := ot.opts.Tracer.Start(ctx, fmt.Sprintf("%s.%s rpc-client", req.Service(), req.Method()),
|
||||||
if !ok {
|
tracer.WithSpanKind(tracer.SpanKindClient),
|
||||||
ctx, sp = ot.opts.Tracer.Start(ctx, "", tracer.WithSpanKind(tracer.SpanKindClient))
|
tracer.WithSpanLabels(
|
||||||
}
|
"rpc.service", req.Service(),
|
||||||
|
"rpc.method", req.Method(),
|
||||||
|
"rpc.flavor", "rpc",
|
||||||
|
"rpc.call", "/"+req.Service()+"/"+req.Endpoint(),
|
||||||
|
"rpc.call_type", "unary",
|
||||||
|
),
|
||||||
|
)
|
||||||
|
|
||||||
defer sp.Finish()
|
defer sp.Finish()
|
||||||
|
|
||||||
err := ot.clientCallFunc(ctx, addr, req, rsp, opts)
|
err := ot.clientCallFunc(nctx, addr, req, rsp, opts)
|
||||||
|
|
||||||
for _, o := range ot.opts.ClientCallFuncObservers {
|
for _, o := range ot.opts.ClientCallFuncObservers {
|
||||||
o(ctx, addr, req, rsp, opts, sp, err)
|
o(nctx, addr, req, rsp, opts, sp, err)
|
||||||
}
|
}
|
||||||
|
|
||||||
return err
|
return err
|
||||||
|
|
|
@ -0,0 +1,271 @@
|
||||||
|
package grpc_util
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"net"
|
||||||
|
"strconv"
|
||||||
|
"strings"
|
||||||
|
"sync/atomic"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/tracer"
|
||||||
|
grpc_codes "google.golang.org/grpc/codes"
|
||||||
|
"google.golang.org/grpc/peer"
|
||||||
|
"google.golang.org/grpc/stats"
|
||||||
|
"google.golang.org/grpc/status"
|
||||||
|
)
|
||||||
|
|
||||||
|
type gRPCContextKey struct{}
|
||||||
|
|
||||||
|
type gRPCContext struct {
|
||||||
|
messagesReceived int64
|
||||||
|
messagesSent int64
|
||||||
|
}
|
||||||
|
|
||||||
|
type Options struct {
|
||||||
|
Tracer tracer.Tracer
|
||||||
|
}
|
||||||
|
|
||||||
|
type Option func(*Options)
|
||||||
|
|
||||||
|
func Tracer(tr tracer.Tracer) Option {
|
||||||
|
return func(o *Options) {
|
||||||
|
o.Tracer = tr
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// NewServerHandler creates a stats.Handler for gRPC server.
|
||||||
|
func NewServerHandler(opts ...Option) stats.Handler {
|
||||||
|
options := Options{Tracer: tracer.DefaultTracer}
|
||||||
|
for _, o := range opts {
|
||||||
|
o(&options)
|
||||||
|
}
|
||||||
|
h := &serverHandler{
|
||||||
|
opts: options,
|
||||||
|
}
|
||||||
|
return h
|
||||||
|
}
|
||||||
|
|
||||||
|
type serverHandler struct {
|
||||||
|
opts Options
|
||||||
|
}
|
||||||
|
|
||||||
|
// TagRPC can attach some information to the given context.
|
||||||
|
func (h *serverHandler) TagRPC(ctx context.Context, info *stats.RPCTagInfo) context.Context {
|
||||||
|
name, attrs := parseFullMethod(info.FullMethodName)
|
||||||
|
attrs = append(attrs, "rpc.system", "grpc")
|
||||||
|
ctx, _ = h.opts.Tracer.Start(
|
||||||
|
ctx,
|
||||||
|
name,
|
||||||
|
tracer.WithSpanKind(tracer.SpanKindServer),
|
||||||
|
tracer.WithSpanLabels(attrs...),
|
||||||
|
)
|
||||||
|
|
||||||
|
gctx := gRPCContext{}
|
||||||
|
return context.WithValue(ctx, gRPCContextKey{}, &gctx)
|
||||||
|
}
|
||||||
|
|
||||||
|
// HandleRPC processes the RPC stats.
|
||||||
|
func (h *serverHandler) HandleRPC(ctx context.Context, rs stats.RPCStats) {
|
||||||
|
handleRPC(ctx, rs)
|
||||||
|
}
|
||||||
|
|
||||||
|
// TagConn can attach some information to the given context.
|
||||||
|
func (h *serverHandler) TagConn(ctx context.Context, info *stats.ConnTagInfo) context.Context {
|
||||||
|
if span, ok := tracer.SpanFromContext(ctx); ok {
|
||||||
|
attrs := peerAttr(peerFromCtx(ctx))
|
||||||
|
span.AddLabels(attrs...)
|
||||||
|
}
|
||||||
|
return ctx
|
||||||
|
}
|
||||||
|
|
||||||
|
// HandleConn processes the Conn stats.
|
||||||
|
func (h *serverHandler) HandleConn(ctx context.Context, info stats.ConnStats) {
|
||||||
|
}
|
||||||
|
|
||||||
|
type clientHandler struct {
|
||||||
|
opts Options
|
||||||
|
}
|
||||||
|
|
||||||
|
// NewClientHandler creates a stats.Handler for gRPC client.
|
||||||
|
func NewClientHandler(opts ...Option) stats.Handler {
|
||||||
|
options := Options{Tracer: tracer.DefaultTracer}
|
||||||
|
for _, o := range opts {
|
||||||
|
o(&options)
|
||||||
|
}
|
||||||
|
h := &clientHandler{
|
||||||
|
opts: options,
|
||||||
|
}
|
||||||
|
return h
|
||||||
|
}
|
||||||
|
|
||||||
|
// TagRPC can attach some information to the given context.
|
||||||
|
func (h *clientHandler) TagRPC(ctx context.Context, info *stats.RPCTagInfo) context.Context {
|
||||||
|
name, attrs := parseFullMethod(info.FullMethodName)
|
||||||
|
attrs = append(attrs, "rpc.system", "grpc", "rpc.flavor", "grpc", "rpc.call", info.FullMethodName)
|
||||||
|
ctx, _ = h.opts.Tracer.Start(
|
||||||
|
ctx,
|
||||||
|
name,
|
||||||
|
tracer.WithSpanKind(tracer.SpanKindClient),
|
||||||
|
tracer.WithSpanLabels(attrs...),
|
||||||
|
)
|
||||||
|
|
||||||
|
gctx := gRPCContext{}
|
||||||
|
|
||||||
|
return context.WithValue(ctx, gRPCContextKey{}, &gctx)
|
||||||
|
}
|
||||||
|
|
||||||
|
// HandleRPC processes the RPC stats.
|
||||||
|
func (h *clientHandler) HandleRPC(ctx context.Context, rs stats.RPCStats) {
|
||||||
|
handleRPC(ctx, rs)
|
||||||
|
}
|
||||||
|
|
||||||
|
// TagConn can attach some information to the given context.
|
||||||
|
func (h *clientHandler) TagConn(ctx context.Context, cti *stats.ConnTagInfo) context.Context {
|
||||||
|
// TODO
|
||||||
|
if span, ok := tracer.SpanFromContext(ctx); ok {
|
||||||
|
attrs := peerAttr(cti.RemoteAddr.String())
|
||||||
|
span.AddLabels(attrs...)
|
||||||
|
}
|
||||||
|
return ctx
|
||||||
|
}
|
||||||
|
|
||||||
|
// HandleConn processes the Conn stats.
|
||||||
|
func (h *clientHandler) HandleConn(context.Context, stats.ConnStats) {
|
||||||
|
// no-op
|
||||||
|
}
|
||||||
|
|
||||||
|
func handleRPC(ctx context.Context, rs stats.RPCStats) {
|
||||||
|
span, ok := tracer.SpanFromContext(ctx)
|
||||||
|
gctx, _ := ctx.Value(gRPCContextKey{}).(*gRPCContext)
|
||||||
|
var messageID int64
|
||||||
|
if rs.IsClient() {
|
||||||
|
span.AddLabels("span.kind", "client")
|
||||||
|
} else {
|
||||||
|
span.AddLabels("span.kind", "server")
|
||||||
|
}
|
||||||
|
|
||||||
|
switch rs := rs.(type) {
|
||||||
|
case *stats.Begin:
|
||||||
|
if rs.IsClientStream || rs.IsServerStream {
|
||||||
|
span.AddLabels("rpc.call_type", "stream")
|
||||||
|
} else {
|
||||||
|
span.AddLabels("rpc.call_type", "unary")
|
||||||
|
}
|
||||||
|
span.AddEvent("message",
|
||||||
|
tracer.WithEventLabels(
|
||||||
|
"message.begin_time", rs.BeginTime.Format(time.RFC3339),
|
||||||
|
),
|
||||||
|
)
|
||||||
|
case *stats.InPayload:
|
||||||
|
if gctx != nil {
|
||||||
|
messageID = atomic.AddInt64(&gctx.messagesReceived, 1)
|
||||||
|
}
|
||||||
|
if ok {
|
||||||
|
span.AddEvent("message",
|
||||||
|
tracer.WithEventLabels(
|
||||||
|
"message.recv_time", rs.RecvTime.Format(time.RFC3339),
|
||||||
|
"message.type", "RECEIVED",
|
||||||
|
"message.id", messageID,
|
||||||
|
"message.compressed_size", rs.CompressedLength,
|
||||||
|
"message.uncompressed_size", rs.Length,
|
||||||
|
),
|
||||||
|
)
|
||||||
|
}
|
||||||
|
case *stats.OutPayload:
|
||||||
|
if gctx != nil {
|
||||||
|
messageID = atomic.AddInt64(&gctx.messagesSent, 1)
|
||||||
|
}
|
||||||
|
if ok {
|
||||||
|
span.AddEvent("message",
|
||||||
|
tracer.WithEventLabels(
|
||||||
|
"message.sent_time", rs.SentTime.Format(time.RFC3339),
|
||||||
|
"message.type", "SENT",
|
||||||
|
"message.id", messageID,
|
||||||
|
"message.compressed_size", rs.CompressedLength,
|
||||||
|
"message.uncompressed_size", rs.Length,
|
||||||
|
),
|
||||||
|
)
|
||||||
|
}
|
||||||
|
case *stats.End:
|
||||||
|
if ok {
|
||||||
|
span.AddEvent("message",
|
||||||
|
tracer.WithEventLabels(
|
||||||
|
"message.begin_time", rs.BeginTime.Format(time.RFC3339),
|
||||||
|
"message.end_time", rs.EndTime.Format(time.RFC3339),
|
||||||
|
),
|
||||||
|
)
|
||||||
|
if rs.Error != nil {
|
||||||
|
s, _ := status.FromError(rs.Error)
|
||||||
|
span.SetStatus(tracer.SpanStatusError, s.Message())
|
||||||
|
span.AddLabels("rpc.grpc.status_code", s.Code())
|
||||||
|
} else {
|
||||||
|
span.AddLabels("rpc.grpc.status_code", grpc_codes.OK)
|
||||||
|
}
|
||||||
|
span.Finish()
|
||||||
|
}
|
||||||
|
default:
|
||||||
|
return
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func parseFullMethod(fullMethod string) (string, []interface{}) {
|
||||||
|
if !strings.HasPrefix(fullMethod, "/") {
|
||||||
|
// Invalid format, does not follow `/package.service/method`.
|
||||||
|
return fullMethod, nil
|
||||||
|
}
|
||||||
|
name := fullMethod[1:]
|
||||||
|
pos := strings.LastIndex(name, "/")
|
||||||
|
if pos < 0 {
|
||||||
|
// Invalid format, does not follow `/package.service/method`.
|
||||||
|
return name, nil
|
||||||
|
}
|
||||||
|
service, method := name[:pos], name[pos+1:]
|
||||||
|
|
||||||
|
var attrs []interface{}
|
||||||
|
if service != "" {
|
||||||
|
attrs = append(attrs, "rpc.service", service)
|
||||||
|
}
|
||||||
|
if method != "" {
|
||||||
|
attrs = append(attrs, "rpc.method", method)
|
||||||
|
}
|
||||||
|
return name, attrs
|
||||||
|
}
|
||||||
|
|
||||||
|
func peerAttr(addr string) []interface{} {
|
||||||
|
host, p, err := net.SplitHostPort(addr)
|
||||||
|
if err != nil {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
if host == "" {
|
||||||
|
host = "127.0.0.1"
|
||||||
|
}
|
||||||
|
port, err := strconv.Atoi(p)
|
||||||
|
if err != nil {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
var attr []interface{}
|
||||||
|
if ip := net.ParseIP(host); ip != nil {
|
||||||
|
attr = []interface{}{
|
||||||
|
"net.sock.peer.addr", host,
|
||||||
|
"net.sock.peer.port", port,
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
attr = []interface{}{
|
||||||
|
"net.peer.name", host,
|
||||||
|
"net.peer.port", port,
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return attr
|
||||||
|
}
|
||||||
|
|
||||||
|
func peerFromCtx(ctx context.Context) string {
|
||||||
|
p, ok := peer.FromContext(ctx)
|
||||||
|
if !ok {
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
return p.Addr.String()
|
||||||
|
}
|
|
@ -0,0 +1,253 @@
|
||||||
|
//
|
||||||
|
// Copyright The OpenTelemetry Authors
|
||||||
|
//
|
||||||
|
// Licensed under the Apache License, Version 2.0 (the "License");
|
||||||
|
// you may not use this file except in compliance with the License.
|
||||||
|
// You may obtain a copy of the License at
|
||||||
|
//
|
||||||
|
// http://www.apache.org/licenses/LICENSE-2.0
|
||||||
|
//
|
||||||
|
// Unless required by applicable law or agreed to in writing, software
|
||||||
|
// distributed under the License is distributed on an "AS IS" BASIS,
|
||||||
|
// WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
|
||||||
|
// See the License for the specific language governing permissions and
|
||||||
|
// limitations under the License.
|
||||||
|
|
||||||
|
package http
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"crypto/tls"
|
||||||
|
"net/http/httptrace"
|
||||||
|
"net/textproto"
|
||||||
|
"strings"
|
||||||
|
"sync"
|
||||||
|
|
||||||
|
"go.unistack.org/micro/v3/tracer"
|
||||||
|
)
|
||||||
|
|
||||||
|
const (
|
||||||
|
httpStatus = "http.status"
|
||||||
|
httpHeaderMIME = "http.mime"
|
||||||
|
httpRemoteAddr = "http.remote"
|
||||||
|
httpLocalAddr = "http.local"
|
||||||
|
httpHost = "http.host"
|
||||||
|
)
|
||||||
|
|
||||||
|
var hookMap = map[string]string{
|
||||||
|
"http.dns": "http.getconn",
|
||||||
|
"http.connect": "http.getconn",
|
||||||
|
"http.tls": "http.getconn",
|
||||||
|
}
|
||||||
|
|
||||||
|
func parentHook(hook string) string {
|
||||||
|
if strings.HasPrefix(hook, "http.connect") {
|
||||||
|
return hookMap["http.connect"]
|
||||||
|
}
|
||||||
|
return hookMap[hook]
|
||||||
|
}
|
||||||
|
|
||||||
|
type clientTracer struct {
|
||||||
|
context.Context
|
||||||
|
tr tracer.Tracer
|
||||||
|
activeHooks map[string]context.Context
|
||||||
|
root tracer.Span
|
||||||
|
mtx sync.Mutex
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewClientTrace(ctx context.Context, tr tracer.Tracer) *httptrace.ClientTrace {
|
||||||
|
ct := &clientTracer{
|
||||||
|
Context: ctx,
|
||||||
|
activeHooks: make(map[string]context.Context),
|
||||||
|
tr: tr,
|
||||||
|
}
|
||||||
|
|
||||||
|
return &httptrace.ClientTrace{
|
||||||
|
GetConn: ct.getConn,
|
||||||
|
GotConn: ct.gotConn,
|
||||||
|
PutIdleConn: ct.putIdleConn,
|
||||||
|
GotFirstResponseByte: ct.gotFirstResponseByte,
|
||||||
|
Got100Continue: ct.got100Continue,
|
||||||
|
Got1xxResponse: ct.got1xxResponse,
|
||||||
|
DNSStart: ct.dnsStart,
|
||||||
|
DNSDone: ct.dnsDone,
|
||||||
|
ConnectStart: ct.connectStart,
|
||||||
|
ConnectDone: ct.connectDone,
|
||||||
|
TLSHandshakeStart: ct.tlsHandshakeStart,
|
||||||
|
TLSHandshakeDone: ct.tlsHandshakeDone,
|
||||||
|
WroteHeaderField: ct.wroteHeaderField,
|
||||||
|
WroteHeaders: ct.wroteHeaders,
|
||||||
|
Wait100Continue: ct.wait100Continue,
|
||||||
|
WroteRequest: ct.wroteRequest,
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) start(hook, spanName string, attrs ...interface{}) {
|
||||||
|
ct.mtx.Lock()
|
||||||
|
defer ct.mtx.Unlock()
|
||||||
|
|
||||||
|
if hookCtx, found := ct.activeHooks[hook]; !found {
|
||||||
|
var sp tracer.Span
|
||||||
|
ct.activeHooks[hook], sp = ct.tr.Start(ct.getParentContext(hook), spanName, tracer.WithSpanLabels(attrs...), tracer.WithSpanKind(tracer.SpanKindClient))
|
||||||
|
if ct.root == nil {
|
||||||
|
ct.root = sp
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
// end was called before start finished, add the start attributes and end the span here
|
||||||
|
if span, ok := tracer.SpanFromContext(hookCtx); ok {
|
||||||
|
span.AddLabels(attrs...)
|
||||||
|
span.Finish()
|
||||||
|
}
|
||||||
|
|
||||||
|
delete(ct.activeHooks, hook)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) end(hook string, err error, attrs ...interface{}) {
|
||||||
|
ct.mtx.Lock()
|
||||||
|
defer ct.mtx.Unlock()
|
||||||
|
if ctx, ok := ct.activeHooks[hook]; ok { // nolint:nestif
|
||||||
|
if span, ok := tracer.SpanFromContext(ctx); ok {
|
||||||
|
if err != nil {
|
||||||
|
span.SetStatus(tracer.SpanStatusError, err.Error())
|
||||||
|
}
|
||||||
|
span.AddLabels(attrs...)
|
||||||
|
span.Finish()
|
||||||
|
}
|
||||||
|
delete(ct.activeHooks, hook)
|
||||||
|
} else {
|
||||||
|
// start is not finished before end is called.
|
||||||
|
// Start a span here with the ending attributes that will be finished when start finishes.
|
||||||
|
// Yes, it's backwards. v0v
|
||||||
|
ctx, span := ct.tr.Start(ct.getParentContext(hook), hook, tracer.WithSpanLabels(attrs...), tracer.WithSpanKind(tracer.SpanKindClient))
|
||||||
|
if err != nil {
|
||||||
|
span.SetStatus(tracer.SpanStatusError, err.Error())
|
||||||
|
}
|
||||||
|
ct.activeHooks[hook] = ctx
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) getParentContext(hook string) context.Context {
|
||||||
|
ctx, ok := ct.activeHooks[parentHook(hook)]
|
||||||
|
if !ok {
|
||||||
|
return ct.Context
|
||||||
|
}
|
||||||
|
return ctx
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) span(hook string) (tracer.Span, bool) {
|
||||||
|
ct.mtx.Lock()
|
||||||
|
defer ct.mtx.Unlock()
|
||||||
|
if ctx, ok := ct.activeHooks[hook]; ok {
|
||||||
|
return tracer.SpanFromContext(ctx)
|
||||||
|
}
|
||||||
|
return nil, false
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) getConn(host string) {
|
||||||
|
ct.start("http.getconn", "http.getconn", httpHost, host)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) gotConn(info httptrace.GotConnInfo) {
|
||||||
|
ct.end("http.getconn",
|
||||||
|
nil,
|
||||||
|
httpRemoteAddr, info.Conn.RemoteAddr().String(),
|
||||||
|
httpLocalAddr, info.Conn.LocalAddr().String(),
|
||||||
|
)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) putIdleConn(err error) {
|
||||||
|
ct.end("http.receive", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) gotFirstResponseByte() {
|
||||||
|
ct.start("http.receive", "http.receive")
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) dnsStart(info httptrace.DNSStartInfo) {
|
||||||
|
ct.start("http.dns", "http.dns", httpHost, info.Host)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) dnsDone(info httptrace.DNSDoneInfo) {
|
||||||
|
ct.end("http.dns", info.Err)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) connectStart(network, addr string) {
|
||||||
|
_ = network
|
||||||
|
ct.start("http.connect."+addr, "http.connect", httpRemoteAddr, addr)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) connectDone(network, addr string, err error) {
|
||||||
|
_ = network
|
||||||
|
ct.end("http.connect."+addr, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) tlsHandshakeStart() {
|
||||||
|
ct.start("http.tls", "http.tls")
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) tlsHandshakeDone(_ tls.ConnectionState, err error) {
|
||||||
|
ct.end("http.tls", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) wroteHeaderField(k string, v []string) {
|
||||||
|
if sp, ok := ct.span("http.headers"); !ok || sp == nil {
|
||||||
|
ct.start("http.headers", "http.headers")
|
||||||
|
}
|
||||||
|
ct.root.AddLabels("http."+strings.ToLower(k), sliceToString(v))
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) wroteHeaders() {
|
||||||
|
ct.start("http.send", "http.send")
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) wroteRequest(info httptrace.WroteRequestInfo) {
|
||||||
|
if info.Err != nil {
|
||||||
|
ct.root.SetStatus(tracer.SpanStatusError, info.Err.Error())
|
||||||
|
}
|
||||||
|
ct.end("http.send", info.Err)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) got100Continue() {
|
||||||
|
if sp, ok := ct.span("http.receive"); ok && sp != nil {
|
||||||
|
sp.AddEvent("GOT 100 - Continue")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) wait100Continue() {
|
||||||
|
if sp, ok := ct.span("http.receive"); ok && sp != nil {
|
||||||
|
sp.AddEvent("GOT 100 - Wait")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (ct *clientTracer) got1xxResponse(code int, header textproto.MIMEHeader) error {
|
||||||
|
if sp, ok := ct.span("http.receive"); ok && sp != nil {
|
||||||
|
sp.AddEvent("GOT 1xx",
|
||||||
|
tracer.WithEventLabels(
|
||||||
|
httpStatus, code,
|
||||||
|
httpHeaderMIME, sm2s(header),
|
||||||
|
),
|
||||||
|
)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func sliceToString(value []string) string {
|
||||||
|
if len(value) == 0 {
|
||||||
|
return "undefined"
|
||||||
|
}
|
||||||
|
return strings.Join(value, ",")
|
||||||
|
}
|
||||||
|
|
||||||
|
func sm2s(value map[string][]string) string {
|
||||||
|
var buf strings.Builder
|
||||||
|
for k, v := range value {
|
||||||
|
if buf.Len() != 0 {
|
||||||
|
buf.WriteString(",")
|
||||||
|
}
|
||||||
|
buf.WriteString(k)
|
||||||
|
buf.WriteString("=")
|
||||||
|
buf.WriteString(sliceToString(v))
|
||||||
|
}
|
||||||
|
return buf.String()
|
||||||
|
}
|
|
@ -5,8 +5,32 @@ import (
|
||||||
"testing"
|
"testing"
|
||||||
)
|
)
|
||||||
|
|
||||||
func TestTrieBackwards(t *testing.T) {
|
func TestTrieRPC(t *testing.T) {
|
||||||
_ = &Trie{}
|
var err error
|
||||||
|
type handler struct {
|
||||||
|
name string
|
||||||
|
}
|
||||||
|
tr := NewTrie()
|
||||||
|
if err = tr.Insert([]string{"helloworld"}, "Call", &handler{name: "helloworld.Call"}); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
if err = tr.Insert([]string{"helloworld"}, "Stream", &handler{name: "helloworld.Stream"}); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
h, _, err := tr.Search("helloworld", "Call")
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error %v", err)
|
||||||
|
}
|
||||||
|
if h.(*handler).name != "helloworld.Call" {
|
||||||
|
t.Fatalf("invalid handler %v", h)
|
||||||
|
}
|
||||||
|
h, _, err = tr.Search("helloworld", "Stream")
|
||||||
|
if err != nil {
|
||||||
|
t.Fatalf("unexpected error %v", err)
|
||||||
|
}
|
||||||
|
if h.(*handler).name != "helloworld.Stream" {
|
||||||
|
t.Fatalf("invalid handler %v", h)
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
func TestTrieWildcardPathPrefix(t *testing.T) {
|
func TestTrieWildcardPathPrefix(t *testing.T) {
|
||||||
|
|
|
@ -1,6 +1,7 @@
|
||||||
package reflect // import "go.unistack.org/micro/v3/util/reflect"
|
package reflect
|
||||||
|
|
||||||
import (
|
import (
|
||||||
|
"encoding/json"
|
||||||
"errors"
|
"errors"
|
||||||
"fmt"
|
"fmt"
|
||||||
"reflect"
|
"reflect"
|
||||||
|
@ -45,15 +46,23 @@ func SliceAppend(b bool) Option {
|
||||||
|
|
||||||
// Merge merges map[string]interface{} to destination struct
|
// Merge merges map[string]interface{} to destination struct
|
||||||
func Merge(dst interface{}, mp map[string]interface{}, opts ...Option) error {
|
func Merge(dst interface{}, mp map[string]interface{}, opts ...Option) error {
|
||||||
var err error
|
|
||||||
var sval reflect.Value
|
|
||||||
var fname string
|
|
||||||
|
|
||||||
options := Options{}
|
options := Options{}
|
||||||
for _, o := range opts {
|
for _, o := range opts {
|
||||||
o(&options)
|
o(&options)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if unmarshaler, ok := dst.(json.Unmarshaler); ok {
|
||||||
|
buf, err := json.Marshal(mp)
|
||||||
|
if err == nil {
|
||||||
|
err = unmarshaler.UnmarshalJSON(buf)
|
||||||
|
}
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
var err error
|
||||||
|
var sval reflect.Value
|
||||||
|
var fname string
|
||||||
|
|
||||||
dviface := reflect.ValueOf(dst)
|
dviface := reflect.ValueOf(dst)
|
||||||
if dviface.Kind() == reflect.Ptr {
|
if dviface.Kind() == reflect.Ptr {
|
||||||
dviface = dviface.Elem()
|
dviface = dviface.Elem()
|
||||||
|
@ -508,3 +517,74 @@ func FieldName(name string) string {
|
||||||
|
|
||||||
return string(newstr)
|
return string(newstr)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func Equal(src interface{}, dst interface{}, excptFields ...string) bool {
|
||||||
|
srcVal := reflect.ValueOf(src)
|
||||||
|
dstVal := reflect.ValueOf(dst)
|
||||||
|
|
||||||
|
switch srcVal.Kind() {
|
||||||
|
case reflect.Array, reflect.Slice:
|
||||||
|
for i := 0; i < srcVal.Len(); i++ {
|
||||||
|
e := srcVal.Index(i).Interface()
|
||||||
|
a := dstVal.Index(i).Interface()
|
||||||
|
if !Equal(e, a, excptFields...) {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return true
|
||||||
|
case reflect.Map:
|
||||||
|
for i := 0; i < len(srcVal.MapKeys()); i++ {
|
||||||
|
key := srcVal.MapKeys()[i]
|
||||||
|
keyStr := fmt.Sprintf("%v", key.Interface())
|
||||||
|
if stringContains(keyStr, excptFields) {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
s := srcVal.MapIndex(key)
|
||||||
|
d := dstVal.MapIndex(key)
|
||||||
|
if !Equal(s.Interface(), d.Interface(), excptFields...) {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return true
|
||||||
|
case reflect.Struct, reflect.Interface:
|
||||||
|
for i := 0; i < srcVal.NumField(); i++ {
|
||||||
|
typeField := srcVal.Type().Field(i)
|
||||||
|
if stringContains(typeField.Name, excptFields) {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
s := srcVal.Field(i)
|
||||||
|
d := dstVal.FieldByName(typeField.Name)
|
||||||
|
if s.CanInterface() && d.CanInterface() {
|
||||||
|
if !Equal(s.Interface(), d.Interface(), excptFields...) {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return true
|
||||||
|
case reflect.Ptr:
|
||||||
|
if srcVal.IsNil() {
|
||||||
|
return dstVal.IsNil()
|
||||||
|
}
|
||||||
|
s := srcVal.Elem()
|
||||||
|
d := reflect.Indirect(dstVal)
|
||||||
|
if s.CanInterface() && d.CanInterface() {
|
||||||
|
return Equal(s.Interface(), d.Interface(), excptFields...)
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
case reflect.String, reflect.Int, reflect.Int64, reflect.Float32, reflect.Float64, reflect.Bool:
|
||||||
|
return src == dst
|
||||||
|
default:
|
||||||
|
return srcVal.Interface() == dstVal.Interface()
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func stringContains(a string, list []string) bool {
|
||||||
|
for _, b := range list {
|
||||||
|
if b == a {
|
||||||
|
return true
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return false
|
||||||
|
}
|
||||||
|
|
|
@ -133,3 +133,16 @@ func TestMergeNested(t *testing.T) {
|
||||||
t.Fatalf("merge error: %#+v", dst.Nested)
|
t.Fatalf("merge error: %#+v", dst.Nested)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
func TestEqual(t *testing.T) {
|
||||||
|
type tstr struct {
|
||||||
|
Key1 string
|
||||||
|
Key2 string
|
||||||
|
}
|
||||||
|
|
||||||
|
src := &tstr{Key1: "val1", Key2: "micro:generate"}
|
||||||
|
dst := &tstr{Key1: "val1", Key2: "val2"}
|
||||||
|
if !Equal(src, dst, "Key2") {
|
||||||
|
t.Fatal("invalid Equal test")
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
|
@ -25,6 +25,48 @@ type StructField struct {
|
||||||
Field reflect.StructField
|
Field reflect.StructField
|
||||||
}
|
}
|
||||||
|
|
||||||
|
// StructFieldNameByTag get struct field name by tag key and its value
|
||||||
|
func StructFieldNameByTag(src interface{}, tkey string, tval string) (string, interface{}, error) {
|
||||||
|
sv := reflect.ValueOf(src)
|
||||||
|
if sv.Kind() == reflect.Ptr {
|
||||||
|
sv = sv.Elem()
|
||||||
|
}
|
||||||
|
if sv.Kind() != reflect.Struct {
|
||||||
|
return "", nil, ErrInvalidStruct
|
||||||
|
}
|
||||||
|
|
||||||
|
typ := sv.Type()
|
||||||
|
for idx := 0; idx < typ.NumField(); idx++ {
|
||||||
|
fld := typ.Field(idx)
|
||||||
|
val := sv.Field(idx)
|
||||||
|
if len(fld.PkgPath) != 0 {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
if ts, ok := fld.Tag.Lookup(tkey); ok {
|
||||||
|
for _, p := range strings.Split(ts, ",") {
|
||||||
|
if p == tval {
|
||||||
|
return fld.Name, val.Interface(), nil
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
switch val.Kind() {
|
||||||
|
case reflect.Ptr:
|
||||||
|
if val = val.Elem(); val.Kind() == reflect.Struct {
|
||||||
|
if name, fld, err := StructFieldNameByTag(val.Interface(), tkey, tval); err == nil {
|
||||||
|
return name, fld, nil
|
||||||
|
}
|
||||||
|
}
|
||||||
|
case reflect.Struct:
|
||||||
|
if name, fld, err := StructFieldNameByTag(val.Interface(), tkey, tval); err == nil {
|
||||||
|
return name, fld, nil
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return "", nil, ErrNotFound
|
||||||
|
}
|
||||||
|
|
||||||
// StructFieldByTag get struct field by tag key and its value
|
// StructFieldByTag get struct field by tag key and its value
|
||||||
func StructFieldByTag(src interface{}, tkey string, tval string) (interface{}, error) {
|
func StructFieldByTag(src interface{}, tkey string, tval string) (interface{}, error) {
|
||||||
sv := reflect.ValueOf(src)
|
sv := reflect.ValueOf(src)
|
||||||
|
@ -46,9 +88,6 @@ func StructFieldByTag(src interface{}, tkey string, tval string) (interface{}, e
|
||||||
if ts, ok := fld.Tag.Lookup(tkey); ok {
|
if ts, ok := fld.Tag.Lookup(tkey); ok {
|
||||||
for _, p := range strings.Split(ts, ",") {
|
for _, p := range strings.Split(ts, ",") {
|
||||||
if p == tval {
|
if p == tval {
|
||||||
if val.Kind() != reflect.Ptr && val.CanAddr() {
|
|
||||||
val = val.Addr()
|
|
||||||
}
|
|
||||||
return val.Interface(), nil
|
return val.Interface(), nil
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
@ -72,10 +111,21 @@ func StructFieldByTag(src interface{}, tkey string, tval string) (interface{}, e
|
||||||
|
|
||||||
// ZeroFieldByPath clean struct field by its path
|
// ZeroFieldByPath clean struct field by its path
|
||||||
func ZeroFieldByPath(src interface{}, path string) error {
|
func ZeroFieldByPath(src interface{}, path string) error {
|
||||||
|
if src == nil {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
var err error
|
var err error
|
||||||
val := reflect.ValueOf(src)
|
val := reflect.ValueOf(src)
|
||||||
|
|
||||||
|
if IsEmpty(val) {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
for _, p := range strings.Split(path, ".") {
|
for _, p := range strings.Split(path, ".") {
|
||||||
|
if IsEmpty(val) {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
val, err = structValueByName(val, p)
|
val, err = structValueByName(val, p)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return err
|
return err
|
||||||
|
@ -493,13 +543,14 @@ func btSplitter(str string) []string {
|
||||||
}
|
}
|
||||||
|
|
||||||
// queryToMap turns something like a[b][c]=4 into
|
// queryToMap turns something like a[b][c]=4 into
|
||||||
// map[string]interface{}{
|
//
|
||||||
// "a": map[string]interface{}{
|
// map[string]interface{}{
|
||||||
// "b": map[string]interface{}{
|
// "a": map[string]interface{}{
|
||||||
// "c": 4,
|
// "b": map[string]interface{}{
|
||||||
// },
|
// "c": 4,
|
||||||
// },
|
// },
|
||||||
// }
|
// },
|
||||||
|
// }
|
||||||
func queryToMap(param string) (map[string]interface{}, error) {
|
func queryToMap(param string) (map[string]interface{}, error) {
|
||||||
rawKey, rawValue, err := splitKeyAndValue(param)
|
rawKey, rawValue, err := splitKeyAndValue(param)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
|
|
|
@ -190,9 +190,9 @@ func TestStructFieldByTag(t *testing.T) {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
}
|
}
|
||||||
|
|
||||||
if v, ok := iface.(*[]string); !ok {
|
if v, ok := iface.([]string); !ok {
|
||||||
t.Fatalf("not *[]string %v", iface)
|
t.Fatalf("not *[]string %v", iface)
|
||||||
} else if len(*v) != 2 {
|
} else if len(v) != 2 {
|
||||||
t.Fatalf("invalid number %v", iface)
|
t.Fatalf("invalid number %v", iface)
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
|
@ -0,0 +1,40 @@
|
||||||
|
package sort
|
||||||
|
|
||||||
|
import (
|
||||||
|
"fmt"
|
||||||
|
"sort"
|
||||||
|
)
|
||||||
|
|
||||||
|
// sort labels alphabeticaly by label name
|
||||||
|
type byKey []interface{}
|
||||||
|
|
||||||
|
func (k byKey) Len() int { return len(k) / 2 }
|
||||||
|
func (k byKey) Less(i, j int) bool { return fmt.Sprintf("%s", k[i*2]) < fmt.Sprintf("%s", k[j*2]) }
|
||||||
|
func (k byKey) Swap(i, j int) {
|
||||||
|
k[i*2], k[j*2] = k[j*2], k[i*2]
|
||||||
|
k[i*2+1], k[j*2+1] = k[j*2+1], k[i*2+1]
|
||||||
|
}
|
||||||
|
|
||||||
|
func Uniq(labels []interface{}) []interface{} {
|
||||||
|
if len(labels)%2 == 1 {
|
||||||
|
labels = labels[:len(labels)-1]
|
||||||
|
}
|
||||||
|
|
||||||
|
if len(labels) > 2 {
|
||||||
|
sort.Sort(byKey(labels))
|
||||||
|
|
||||||
|
idx := 0
|
||||||
|
for {
|
||||||
|
if labels[idx] == labels[idx+2] {
|
||||||
|
copy(labels[idx:], labels[idx+2:])
|
||||||
|
labels = labels[:len(labels)-2]
|
||||||
|
} else {
|
||||||
|
idx += 2
|
||||||
|
}
|
||||||
|
if idx+2 >= len(labels) {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return labels
|
||||||
|
}
|
|
@ -0,0 +1,505 @@
|
||||||
|
package test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bufio"
|
||||||
|
"bytes"
|
||||||
|
"context"
|
||||||
|
"database/sql/driver"
|
||||||
|
"encoding/csv"
|
||||||
|
"fmt"
|
||||||
|
"io"
|
||||||
|
"os"
|
||||||
|
"path"
|
||||||
|
"path/filepath"
|
||||||
|
"reflect"
|
||||||
|
"strings"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
sqlmock "github.com/DATA-DOG/go-sqlmock"
|
||||||
|
"go.unistack.org/micro/v3/client"
|
||||||
|
"go.unistack.org/micro/v3/codec"
|
||||||
|
"go.unistack.org/micro/v3/errors"
|
||||||
|
"go.unistack.org/micro/v3/metadata"
|
||||||
|
"golang.org/x/sync/errgroup"
|
||||||
|
"google.golang.org/grpc/status"
|
||||||
|
"google.golang.org/protobuf/proto"
|
||||||
|
)
|
||||||
|
|
||||||
|
var ErrUnknownContentType = fmt.Errorf("unknown content type")
|
||||||
|
|
||||||
|
type Extension struct {
|
||||||
|
Ext []string
|
||||||
|
}
|
||||||
|
|
||||||
|
var (
|
||||||
|
// ExtToTypes map file extension to content type
|
||||||
|
ExtToTypes = map[string][]string{
|
||||||
|
"json": {"application/json", "application/grpc+json"},
|
||||||
|
"yaml": {"application/yaml", "application/yml", "text/yaml", "text/yml"},
|
||||||
|
"yml": {"application/yaml", "application/yml", "text/yaml", "text/yml"},
|
||||||
|
"proto": {"application/grpc", "application/grpc+proto", "application/proto"},
|
||||||
|
}
|
||||||
|
// DefaultExts specifies default file extensions to load data
|
||||||
|
DefaultExts = []string{"csv", "json", "yaml", "yml", "proto"}
|
||||||
|
// Codecs map to detect codec for test file or request content type
|
||||||
|
Codecs map[string]codec.Codec
|
||||||
|
|
||||||
|
// ResponseCompareFunc used to compare actual response with test case data
|
||||||
|
ResponseCompareFunc = func(expectRsp []byte, testRsp interface{}, expectCodec codec.Codec, testCodec codec.Codec) error {
|
||||||
|
var err error
|
||||||
|
|
||||||
|
expectMap := make(map[string]interface{})
|
||||||
|
if err = expectCodec.Unmarshal(expectRsp, &expectMap); err != nil {
|
||||||
|
return fmt.Errorf("failed to unmarshal err: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
testMap := make(map[string]interface{})
|
||||||
|
switch v := testRsp.(type) {
|
||||||
|
case *codec.Frame:
|
||||||
|
if err = testCodec.Unmarshal(v.Data, &testMap); err != nil {
|
||||||
|
return fmt.Errorf("failed to unmarshal err: %w", err)
|
||||||
|
}
|
||||||
|
case *errors.Error:
|
||||||
|
if err = expectCodec.Unmarshal([]byte(v.Error()), &testMap); err != nil {
|
||||||
|
return fmt.Errorf("failed to unmarshal err: %w", err)
|
||||||
|
}
|
||||||
|
case error:
|
||||||
|
st, ok := status.FromError(v)
|
||||||
|
if !ok {
|
||||||
|
return v
|
||||||
|
}
|
||||||
|
me := errors.Parse(st.Message())
|
||||||
|
if me.Code != 0 {
|
||||||
|
if err = expectCodec.Unmarshal([]byte(me.Error()), &testMap); err != nil {
|
||||||
|
return fmt.Errorf("failed to unmarshal err: %w", err)
|
||||||
|
}
|
||||||
|
break
|
||||||
|
}
|
||||||
|
for _, se := range st.Details() {
|
||||||
|
switch ne := se.(type) {
|
||||||
|
case proto.Message:
|
||||||
|
buf, err := testCodec.Marshal(ne)
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("failed to marshal err: %w", err)
|
||||||
|
}
|
||||||
|
if err = testCodec.Unmarshal(buf, &testMap); err != nil {
|
||||||
|
return fmt.Errorf("failed to unmarshal err: %w", err)
|
||||||
|
}
|
||||||
|
default:
|
||||||
|
return st.Err()
|
||||||
|
}
|
||||||
|
}
|
||||||
|
case interface{ GRPCStatus() *status.Status }:
|
||||||
|
st := v.GRPCStatus()
|
||||||
|
me := errors.Parse(st.Message())
|
||||||
|
if me.Code != 0 {
|
||||||
|
if err = expectCodec.Unmarshal([]byte(me.Error()), &testMap); err != nil {
|
||||||
|
return fmt.Errorf("failed to unmarshal err: %w", err)
|
||||||
|
}
|
||||||
|
break
|
||||||
|
}
|
||||||
|
case *status.Status:
|
||||||
|
me := errors.Parse(v.Message())
|
||||||
|
if me.Code != 0 {
|
||||||
|
if err = expectCodec.Unmarshal([]byte(me.Error()), &testMap); err != nil {
|
||||||
|
return fmt.Errorf("failed to unmarshal err: %w", err)
|
||||||
|
}
|
||||||
|
break
|
||||||
|
}
|
||||||
|
for _, se := range v.Details() {
|
||||||
|
switch ne := se.(type) {
|
||||||
|
case proto.Message:
|
||||||
|
buf, err := testCodec.Marshal(ne)
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("failed to marshal err: %w", err)
|
||||||
|
}
|
||||||
|
if err = testCodec.Unmarshal(buf, &testMap); err != nil {
|
||||||
|
return fmt.Errorf("failed to unmarshal err: %w", err)
|
||||||
|
}
|
||||||
|
default:
|
||||||
|
return v.Err()
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if !reflect.DeepEqual(expectMap, testMap) {
|
||||||
|
return fmt.Errorf("test: %s != rsp: %s", expectMap, testMap)
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
)
|
||||||
|
|
||||||
|
func FromCSVString(columns []*sqlmock.Column, rows *sqlmock.Rows, s string) *sqlmock.Rows {
|
||||||
|
res := strings.NewReader(strings.TrimSpace(s))
|
||||||
|
csvReader := csv.NewReader(res)
|
||||||
|
|
||||||
|
for {
|
||||||
|
res, err := csvReader.Read()
|
||||||
|
if err != nil || res == nil {
|
||||||
|
break
|
||||||
|
}
|
||||||
|
|
||||||
|
var row []driver.Value
|
||||||
|
for i, v := range res {
|
||||||
|
item := CSVColumnParser(strings.TrimSpace(v))
|
||||||
|
if null, nullOk := columns[i].IsNullable(); null && nullOk && item == nil {
|
||||||
|
row = append(row, nil)
|
||||||
|
} else {
|
||||||
|
row = append(row, item)
|
||||||
|
}
|
||||||
|
|
||||||
|
}
|
||||||
|
rows = rows.AddRow(row...)
|
||||||
|
}
|
||||||
|
|
||||||
|
return rows
|
||||||
|
}
|
||||||
|
|
||||||
|
func CSVColumnParser(s string) []byte {
|
||||||
|
switch {
|
||||||
|
case strings.ToLower(s) == "null":
|
||||||
|
return nil
|
||||||
|
case s == "":
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
return []byte(s)
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewResponseFromFile(rspfile string) (*codec.Frame, error) {
|
||||||
|
rspbuf, err := os.ReadFile(rspfile)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
return &codec.Frame{Data: rspbuf}, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func getCodec(codecs map[string]codec.Codec, ext string) (codec.Codec, error) {
|
||||||
|
var c codec.Codec
|
||||||
|
if cts, ok := ExtToTypes[ext]; ok {
|
||||||
|
for _, t := range cts {
|
||||||
|
if c, ok = codecs[t]; ok {
|
||||||
|
return c, nil
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return nil, ErrUnknownContentType
|
||||||
|
}
|
||||||
|
|
||||||
|
func getContentType(codecs map[string]codec.Codec, ext string) (string, error) {
|
||||||
|
if cts, ok := ExtToTypes[ext]; ok {
|
||||||
|
for _, t := range cts {
|
||||||
|
if _, ok = codecs[t]; ok {
|
||||||
|
return t, nil
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return "", ErrUnknownContentType
|
||||||
|
}
|
||||||
|
|
||||||
|
func getExt(name string) string {
|
||||||
|
ext := filepath.Ext(name)
|
||||||
|
if len(ext) > 0 && ext[0] == '.' {
|
||||||
|
ext = ext[1:]
|
||||||
|
}
|
||||||
|
return ext
|
||||||
|
}
|
||||||
|
|
||||||
|
func getNameWithoutExt(name string) string {
|
||||||
|
return strings.TrimSuffix(name, filepath.Ext(name))
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewRequestFromFile(c client.Client, reqfile string) (client.Request, error) {
|
||||||
|
reqbuf, err := os.ReadFile(reqfile)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
endpoint := path.Base(path.Dir(reqfile))
|
||||||
|
if idx := strings.Index(endpoint, "_"); idx > 0 {
|
||||||
|
endpoint = endpoint[idx+1:]
|
||||||
|
}
|
||||||
|
ext := getExt(reqfile)
|
||||||
|
|
||||||
|
ct, err := getContentType(c.Options().Codecs, ext)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
req := c.NewRequest("test", endpoint, &codec.Frame{Data: reqbuf}, client.RequestContentType(ct))
|
||||||
|
|
||||||
|
return req, nil
|
||||||
|
}
|
||||||
|
|
||||||
|
func SQLFromFile(m sqlmock.Sqlmock, name string) error {
|
||||||
|
fp, err := os.Open(name)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
defer fp.Close()
|
||||||
|
return SQLFromReader(m, fp)
|
||||||
|
}
|
||||||
|
|
||||||
|
func SQLFromBytes(m sqlmock.Sqlmock, buf []byte) error {
|
||||||
|
return SQLFromReader(m, bytes.NewReader(buf))
|
||||||
|
}
|
||||||
|
|
||||||
|
func SQLFromString(m sqlmock.Sqlmock, buf string) error {
|
||||||
|
return SQLFromReader(m, strings.NewReader(buf))
|
||||||
|
}
|
||||||
|
|
||||||
|
func SQLFromReader(m sqlmock.Sqlmock, r io.Reader) error {
|
||||||
|
var rows *sqlmock.Rows
|
||||||
|
var exp *sqlmock.ExpectedQuery
|
||||||
|
var columns []*sqlmock.Column
|
||||||
|
|
||||||
|
br := bufio.NewReader(r)
|
||||||
|
|
||||||
|
for {
|
||||||
|
s, err := br.ReadString('\n')
|
||||||
|
if err != nil && err != io.EOF {
|
||||||
|
return err
|
||||||
|
} else if err == io.EOF && len(s) == 0 {
|
||||||
|
if rows != nil && exp != nil {
|
||||||
|
exp.WillReturnRows(rows)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
if s[0] != '#' {
|
||||||
|
r := csv.NewReader(strings.NewReader(s))
|
||||||
|
r.Comma = ','
|
||||||
|
var records [][]string
|
||||||
|
records, err = r.ReadAll()
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
if rows == nil && len(columns) > 0 {
|
||||||
|
rows = m.NewRowsWithColumnDefinition(columns...)
|
||||||
|
} else {
|
||||||
|
for idx := 0; idx < len(records); idx++ {
|
||||||
|
if len(columns) == 0 {
|
||||||
|
return fmt.Errorf("csv file not valid, does not have %q line", "# columns ")
|
||||||
|
}
|
||||||
|
rows = FromCSVString(columns, rows, strings.Join(records[idx], ","))
|
||||||
|
}
|
||||||
|
}
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
if rows != nil {
|
||||||
|
exp.WillReturnRows(rows)
|
||||||
|
rows = nil
|
||||||
|
}
|
||||||
|
|
||||||
|
switch {
|
||||||
|
case strings.HasPrefix(strings.ToLower(s[2:]), "columns"):
|
||||||
|
for _, field := range strings.Split(s[2+len("columns")+1:], ",") {
|
||||||
|
args := strings.Split(field, "|")
|
||||||
|
|
||||||
|
column := sqlmock.NewColumn(args[0]).Nullable(false)
|
||||||
|
|
||||||
|
if len(args) > 1 {
|
||||||
|
for _, arg := range args {
|
||||||
|
switch arg {
|
||||||
|
case "BOOLEAN", "BOOL":
|
||||||
|
column = column.OfType("BOOL", false)
|
||||||
|
case "NUMBER", "DECIMAL":
|
||||||
|
column = column.OfType("DECIMAL", float64(0.0)).WithPrecisionAndScale(10, 4)
|
||||||
|
case "VARCHAR":
|
||||||
|
column = column.OfType("VARCHAR", nil)
|
||||||
|
case "NULL":
|
||||||
|
column = column.Nullable(true)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
columns = append(columns, column)
|
||||||
|
}
|
||||||
|
case strings.HasPrefix(strings.ToLower(s[2:]), "begin"):
|
||||||
|
m.ExpectBegin()
|
||||||
|
case strings.HasPrefix(strings.ToLower(s[2:]), "commit"):
|
||||||
|
m.ExpectCommit()
|
||||||
|
case strings.HasPrefix(strings.ToLower(s[2:]), "rollback"):
|
||||||
|
m.ExpectRollback()
|
||||||
|
case strings.HasPrefix(strings.ToLower(s[2:]), "exec "):
|
||||||
|
m.ExpectExec(s[2+len("exec "):])
|
||||||
|
case strings.HasPrefix(strings.ToLower(s[2:]), "query "):
|
||||||
|
exp = m.ExpectQuery(s[2+len("query "):])
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func Run(ctx context.Context, c client.Client, m sqlmock.Sqlmock, dir string, exts []string) error {
|
||||||
|
tcases, err := GetCases(dir, exts)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
g, gctx := errgroup.WithContext(ctx)
|
||||||
|
if !strings.Contains(dir, "parallel") {
|
||||||
|
g.SetLimit(1)
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, tcase := range tcases {
|
||||||
|
|
||||||
|
for _, dbfile := range tcase.dbfiles {
|
||||||
|
if err = SQLFromFile(m, dbfile); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
tc := tcase
|
||||||
|
g.Go(func() error {
|
||||||
|
var xrid string
|
||||||
|
var gerr error
|
||||||
|
|
||||||
|
treq, err := NewRequestFromFile(c, tc.reqfile)
|
||||||
|
if err != nil {
|
||||||
|
gerr = fmt.Errorf("failed to read request from file %s err: %w", tc.reqfile, err)
|
||||||
|
return gerr
|
||||||
|
}
|
||||||
|
|
||||||
|
xrid = fmt.Sprintf("%s-%d", treq.Endpoint(), time.Now().Unix())
|
||||||
|
|
||||||
|
defer func() {
|
||||||
|
if gerr == nil {
|
||||||
|
fmt.Printf("test %s xrid: %s status: success\n", filepath.Dir(tc.reqfile), xrid)
|
||||||
|
} else {
|
||||||
|
fmt.Printf("test %s xrid: %s status: failure error: %v\n", filepath.Dir(tc.reqfile), xrid, err)
|
||||||
|
}
|
||||||
|
}()
|
||||||
|
|
||||||
|
data := &codec.Frame{}
|
||||||
|
md := metadata.New(1)
|
||||||
|
md.Set("X-Request-Id", xrid)
|
||||||
|
cerr := c.Call(metadata.NewOutgoingContext(gctx, md), treq, data, client.WithContentType(treq.ContentType()))
|
||||||
|
|
||||||
|
var rspfile string
|
||||||
|
|
||||||
|
if tc.errfile != "" {
|
||||||
|
rspfile = tc.errfile
|
||||||
|
} else if tc.rspfile != "" {
|
||||||
|
rspfile = tc.rspfile
|
||||||
|
} else {
|
||||||
|
gerr = fmt.Errorf("errfile and rspfile is empty")
|
||||||
|
return gerr
|
||||||
|
}
|
||||||
|
|
||||||
|
expectRsp, err := NewResponseFromFile(rspfile)
|
||||||
|
if err != nil {
|
||||||
|
gerr = fmt.Errorf("failed to read response from file %s err: %w", rspfile, err)
|
||||||
|
return gerr
|
||||||
|
}
|
||||||
|
|
||||||
|
testCodec, err := getCodec(Codecs, getExt(tc.reqfile))
|
||||||
|
if err != nil {
|
||||||
|
gerr = fmt.Errorf("failed to get response file codec err: %w", err)
|
||||||
|
return gerr
|
||||||
|
}
|
||||||
|
|
||||||
|
expectCodec, err := getCodec(Codecs, getExt(rspfile))
|
||||||
|
if err != nil {
|
||||||
|
gerr = fmt.Errorf("failed to get response file codec err: %w", err)
|
||||||
|
return gerr
|
||||||
|
}
|
||||||
|
|
||||||
|
if cerr == nil && tc.errfile != "" {
|
||||||
|
gerr = fmt.Errorf("expected err %s not happened", expectRsp.Data)
|
||||||
|
return gerr
|
||||||
|
} else if cerr != nil && tc.errfile != "" {
|
||||||
|
if err = ResponseCompareFunc(expectRsp.Data, cerr, expectCodec, testCodec); err != nil {
|
||||||
|
gerr = err
|
||||||
|
return gerr
|
||||||
|
}
|
||||||
|
} else if cerr != nil && tc.errfile == "" {
|
||||||
|
gerr = cerr
|
||||||
|
return gerr
|
||||||
|
} else if cerr == nil && tc.errfile == "" {
|
||||||
|
if err = ResponseCompareFunc(expectRsp.Data, data, expectCodec, testCodec); err != nil {
|
||||||
|
gerr = err
|
||||||
|
return gerr
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/*
|
||||||
|
cf, err := getCodec(c.Options().Codecs, getExt(tc.rspfile))
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
*/
|
||||||
|
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
|
||||||
|
}
|
||||||
|
|
||||||
|
return g.Wait()
|
||||||
|
}
|
||||||
|
|
||||||
|
type Case struct {
|
||||||
|
dbfiles []string
|
||||||
|
reqfile string
|
||||||
|
rspfile string
|
||||||
|
errfile string
|
||||||
|
}
|
||||||
|
|
||||||
|
func GetCases(dir string, exts []string) ([]Case, error) {
|
||||||
|
var tcases []Case
|
||||||
|
entries, err := os.ReadDir(dir)
|
||||||
|
if len(entries) == 0 && err != nil {
|
||||||
|
return tcases, err
|
||||||
|
}
|
||||||
|
|
||||||
|
if exts == nil {
|
||||||
|
exts = DefaultExts
|
||||||
|
}
|
||||||
|
|
||||||
|
var dirs []string
|
||||||
|
var dbfiles []string
|
||||||
|
var reqfile, rspfile, errfile string
|
||||||
|
|
||||||
|
for _, entry := range entries {
|
||||||
|
if entry.IsDir() {
|
||||||
|
dirs = append(dirs, filepath.Join(dir, entry.Name()))
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
if info, err := entry.Info(); err != nil {
|
||||||
|
return tcases, err
|
||||||
|
} else if !info.Mode().IsRegular() {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, ext := range exts {
|
||||||
|
if getExt(entry.Name()) == ext {
|
||||||
|
name := getNameWithoutExt(entry.Name())
|
||||||
|
switch {
|
||||||
|
case strings.HasSuffix(name, "_db"):
|
||||||
|
dbfiles = append(dbfiles, filepath.Join(dir, entry.Name()))
|
||||||
|
case strings.HasSuffix(name, "_req"):
|
||||||
|
reqfile = filepath.Join(dir, entry.Name())
|
||||||
|
case strings.HasSuffix(name, "_rsp"):
|
||||||
|
rspfile = filepath.Join(dir, entry.Name())
|
||||||
|
case strings.HasSuffix(name, "_err"):
|
||||||
|
errfile = filepath.Join(dir, entry.Name())
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if reqfile != "" && (rspfile != "" || errfile != "") {
|
||||||
|
tcases = append(tcases, Case{dbfiles: dbfiles, reqfile: reqfile, rspfile: rspfile, errfile: errfile})
|
||||||
|
}
|
||||||
|
|
||||||
|
for _, dir = range dirs {
|
||||||
|
ntcases, err := GetCases(dir, exts)
|
||||||
|
if len(ntcases) == 0 && err != nil {
|
||||||
|
return tcases, err
|
||||||
|
} else if len(ntcases) == 0 {
|
||||||
|
continue
|
||||||
|
}
|
||||||
|
tcases = append(tcases, ntcases...)
|
||||||
|
}
|
||||||
|
|
||||||
|
return tcases, nil
|
||||||
|
}
|
|
@ -0,0 +1,72 @@
|
||||||
|
package test
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"testing"
|
||||||
|
|
||||||
|
"github.com/DATA-DOG/go-sqlmock"
|
||||||
|
)
|
||||||
|
|
||||||
|
func Test_SQLFromFile(t *testing.T) {
|
||||||
|
ctx := context.TODO()
|
||||||
|
db, c, err := sqlmock.New()
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
defer db.Close()
|
||||||
|
|
||||||
|
if err = SQLFromFile(c, "testdata/result/01_firstcase/Call_db.csv"); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
tx, err := db.BeginTx(ctx, nil)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
rows, err := tx.QueryContext(ctx, "select * from test;")
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
for rows.Next() {
|
||||||
|
var id int64
|
||||||
|
var name string
|
||||||
|
err = rows.Scan(&id, &name)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
if id != 1 || name != "test" {
|
||||||
|
t.Fatalf("invalid rows %v %v", id, name)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if err = rows.Close(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err = rows.Err(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err = tx.Commit(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
if err = c.ExpectationsWereMet(); err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func Test_GetCases(t *testing.T) {
|
||||||
|
files, err := GetCases("testdata/", nil)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if len(files) == 0 {
|
||||||
|
t.Fatalf("no files matching")
|
||||||
|
}
|
||||||
|
|
||||||
|
if n := len(files); n != 1 {
|
||||||
|
t.Fatalf("invalid number of test cases %d", n)
|
||||||
|
}
|
||||||
|
}
|
|
@ -0,0 +1,6 @@
|
||||||
|
# begin
|
||||||
|
# query select \* from test;
|
||||||
|
# columns id|VARCHAR,name|VARCHAR
|
||||||
|
id,name
|
||||||
|
1,test
|
||||||
|
# commit
|
|
|
@ -0,0 +1 @@
|
||||||
|
{}
|
|
@ -0,0 +1 @@
|
||||||
|
{}
|
|
@ -2,7 +2,9 @@ package time
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"encoding/json"
|
"encoding/json"
|
||||||
|
"errors"
|
||||||
"fmt"
|
"fmt"
|
||||||
|
"strconv"
|
||||||
"time"
|
"time"
|
||||||
)
|
)
|
||||||
|
|
||||||
|
@ -13,39 +15,42 @@ func ParseDuration(s string) (time.Duration, error) {
|
||||||
return 0, fmt.Errorf(`time: invalid duration "` + s + `"`)
|
return 0, fmt.Errorf(`time: invalid duration "` + s + `"`)
|
||||||
}
|
}
|
||||||
|
|
||||||
//var sb strings.Builder
|
var p int
|
||||||
/*
|
var hours int
|
||||||
for i, r := range s {
|
loop:
|
||||||
switch r {
|
for i, r := range s {
|
||||||
case 'd':
|
switch r {
|
||||||
n, err := strconv.Atoi(s[idx:i])
|
case 's', 'm':
|
||||||
if err != nil {
|
break loop
|
||||||
return 0, errors.New("time: invalid duration " + s)
|
case 'h':
|
||||||
}
|
d, err := strconv.Atoi(s[p:i])
|
||||||
s[idx:i] = fmt.Sprintf("%d", n*24)
|
if err != nil {
|
||||||
default:
|
return 0, errors.New("time: invalid duration " + s)
|
||||||
sb.WriteRune(r)
|
|
||||||
}
|
}
|
||||||
}
|
hours += d
|
||||||
*/
|
p = i + 1
|
||||||
var td time.Duration
|
case 'd':
|
||||||
var err error
|
d, err := strconv.Atoi(s[p:i])
|
||||||
switch s[len(s)-1] {
|
if err != nil {
|
||||||
case 's', 'm', 'h':
|
return 0, errors.New("time: invalid duration " + s)
|
||||||
td, err = time.ParseDuration(s)
|
}
|
||||||
case 'd':
|
hours += d * 24
|
||||||
if td, err = time.ParseDuration(s[:len(s)-1] + "h"); err == nil {
|
p = i + 1
|
||||||
td *= 24
|
case 'y':
|
||||||
}
|
n, err := strconv.Atoi(s[p:i])
|
||||||
case 'y':
|
if err != nil {
|
||||||
if td, err = time.ParseDuration(s[:len(s)-1] + "h"); err == nil {
|
return 0, errors.New("time: invalid duration " + s)
|
||||||
year := time.Date(time.Now().Year(), time.December, 31, 0, 0, 0, 0, time.Local)
|
}
|
||||||
days := year.YearDay()
|
var d int
|
||||||
td *= 24 * time.Duration(days)
|
for j := n - 1; j >= 0; j-- {
|
||||||
|
d += time.Date(time.Now().Year()+j, time.December, 31, 0, 0, 0, 0, time.Local).YearDay()
|
||||||
|
}
|
||||||
|
hours += d * 24
|
||||||
|
p = i + 1
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
return td, err
|
return time.ParseDuration(fmt.Sprintf("%dh%s", hours, s[p:]))
|
||||||
}
|
}
|
||||||
|
|
||||||
func (d Duration) MarshalJSON() ([]byte, error) {
|
func (d Duration) MarshalJSON() ([]byte, error) {
|
||||||
|
@ -62,7 +67,7 @@ func (d *Duration) UnmarshalJSON(b []byte) error {
|
||||||
*d = Duration(time.Duration(value))
|
*d = Duration(time.Duration(value))
|
||||||
return nil
|
return nil
|
||||||
case string:
|
case string:
|
||||||
dv, err := time.ParseDuration(value)
|
dv, err := ParseDuration(value)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
return err
|
return err
|
||||||
}
|
}
|
||||||
|
|
|
@ -23,32 +23,39 @@ func TestUnmarshalJSON(t *testing.T) {
|
||||||
TTL Duration `json:"ttl"`
|
TTL Duration `json:"ttl"`
|
||||||
}
|
}
|
||||||
v := &str{}
|
v := &str{}
|
||||||
|
var err error
|
||||||
|
|
||||||
err := json.Unmarshal([]byte(`{"ttl":"10ms"}`), v)
|
err = json.Unmarshal([]byte(`{"ttl":"10ms"}`), v)
|
||||||
if err != nil {
|
if err != nil {
|
||||||
t.Fatal(err)
|
t.Fatal(err)
|
||||||
} else if v.TTL != 10000000 {
|
} else if v.TTL != 10000000 {
|
||||||
t.Fatalf("invalid duration %v != 10000000", v.TTL)
|
t.Fatalf("invalid duration %v != 10000000", v.TTL)
|
||||||
}
|
}
|
||||||
|
|
||||||
|
err = json.Unmarshal([]byte(`{"ttl":"1y"}`), v)
|
||||||
|
if err != nil {
|
||||||
|
t.Fatal(err)
|
||||||
|
} else if v.TTL != 31622400000000000 {
|
||||||
|
t.Fatalf("invalid duration %v != 31622400000000000", v.TTL)
|
||||||
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
func TestParseDuration(t *testing.T) {
|
func TestParseDuration(t *testing.T) {
|
||||||
var td time.Duration
|
var td time.Duration
|
||||||
var err error
|
var err error
|
||||||
t.Skip()
|
|
||||||
td, err = ParseDuration("14d4h")
|
td, err = ParseDuration("14d4h")
|
||||||
if err != nil {
|
if err != nil {
|
||||||
t.Fatalf("ParseDuration error: %v", err)
|
t.Fatalf("ParseDuration error: %v", err)
|
||||||
}
|
}
|
||||||
if td.String() != "336h0m0s" {
|
if td.String() != "340h0m0s" {
|
||||||
t.Fatalf("ParseDuration 14d != 336h0m0s : %s", td.String())
|
t.Fatalf("ParseDuration 14d != 340h0m0s : %s", td.String())
|
||||||
}
|
}
|
||||||
|
|
||||||
td, err = ParseDuration("1y")
|
td, err = ParseDuration("1y")
|
||||||
if err != nil {
|
if err != nil {
|
||||||
t.Fatalf("ParseDuration error: %v", err)
|
t.Fatalf("ParseDuration error: %v", err)
|
||||||
}
|
}
|
||||||
if td.String() != "8760h0m0s" {
|
if td.String() != "8784h0m0s" {
|
||||||
t.Fatalf("ParseDuration 1y != 8760h0m0s : %s", td.String())
|
t.Fatalf("ParseDuration 1y != 8784h0m0s : %s", td.String())
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
|
@ -0,0 +1,25 @@
|
||||||
|
package pool
|
||||||
|
|
||||||
|
import "sync"
|
||||||
|
|
||||||
|
type Pool[T any] struct {
|
||||||
|
p *sync.Pool
|
||||||
|
}
|
||||||
|
|
||||||
|
func NewPool[T any](fn func() T) Pool[T] {
|
||||||
|
return Pool[T]{
|
||||||
|
p: &sync.Pool{
|
||||||
|
New: func() interface{} {
|
||||||
|
return fn()
|
||||||
|
},
|
||||||
|
},
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p Pool[T]) Get() T {
|
||||||
|
return p.p.Get().(T)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (p Pool[T]) Put(t T) {
|
||||||
|
p.p.Put(t)
|
||||||
|
}
|
|
@ -0,0 +1,27 @@
|
||||||
|
package pool
|
||||||
|
|
||||||
|
import (
|
||||||
|
"bytes"
|
||||||
|
"strings"
|
||||||
|
"testing"
|
||||||
|
)
|
||||||
|
|
||||||
|
func TestBytes(t *testing.T) {
|
||||||
|
p := NewPool(func() *bytes.Buffer { return bytes.NewBuffer(nil) })
|
||||||
|
b := p.Get()
|
||||||
|
b.Write([]byte(`test`))
|
||||||
|
if b.String() != "test" {
|
||||||
|
t.Fatal("pool not works")
|
||||||
|
}
|
||||||
|
p.Put(b)
|
||||||
|
}
|
||||||
|
|
||||||
|
func TestStrings(t *testing.T) {
|
||||||
|
p := NewPool(func() *strings.Builder { return &strings.Builder{} })
|
||||||
|
b := p.Get()
|
||||||
|
b.Write([]byte(`test`))
|
||||||
|
if b.String() != "test" {
|
||||||
|
t.Fatal("pool not works")
|
||||||
|
}
|
||||||
|
p.Put(b)
|
||||||
|
}
|
Loading…
Reference in New Issue