1. 数据同步服务开通

1.1 开通须知

  1. 订单推送服务更适用订单处理类服务(如 ERP、订单管理等)
  2. 数据同步服务将订单等数据推送到云鼎RDS数据库, 目前支持包年包月的MySQL数据库; 用于接收数据的库和表, 系统将自动创建, 请勿手动创建

1.2 准备资源

1.2.1 获取商家ID并进行宙斯应用授权

数据同步服务需要指定需要同步数据的商家ID,所以在启用数据同步之前获取商家ID并让商家对该应用授权。 获取商家ID方法可以让商家登陆 shop.jd.com,在右上角位置下拉可以看到商家ID或者通过接口查询商家ID。

商家ID

若使用接口调用方式获取商家ID,需要商家先对宙斯/JOS应用授权才能使用,授权操作成功后,约需等待1-10分钟,授权信息才能生效。

获取商家ID接口请参看 获取商家ID接口参考文档 商家对宙斯/JOS授权请参看 宙斯/JOS 应用授权文档

如果商家不对宙斯应用授权是无法收到数据同步服务推送的数据的,所以在添加订阅商家前,请先让商家对宙斯应用授权

1.2.2 准备私有网络/VPC

数据同步服务前提条件是需要有绑定相关业务及应用的私有网络,所以第一步我们需要在我们使用的地域创建一个私有网络。

首先我们进入云鼎控制台右侧的私有网络 -> 私有网络 点击“新建”按钮。出现弹窗后,根据自己需求选择所需地域在此以“华北-北京” 举例,“业务类型”选择“宙斯 JOS”,“绑定应用”选择需要开通数据同步服务的应用。填写完其他信息后点击创建即可。

创建私有网络

小贴示:
a.如果您没有配置网络ACL请忽略该条。如果您在 网络ACL 配置了安全规则,请在 入站规则 中添加优先级: 1;类型: MYSQL;源IP: 100.0.0.0/8 网段; 策略:接受 的网络访问策略。
b.如果您没有修改私有网络中的路由策略请忽略该条。如果您对数据库私有网络配置了自定义路由,请确保100.0.0.0/8 网段下一跳为Internet,如果不是请配置,私有网络-> 路由表-> 路由策略 配置目的端:100.0.0.0/8;下一跳类型选择:Internet ;下一跳:选择 Internet。

1.2.3 准备云数据库/RDS

数据同步服务只能将数据推送到处于已绑定应用的私有网络中,所以需要创建的数据库/RDS也许要处于该网络中。

首先我们进入云鼎控制台右侧的云数据库RDS -> 实例列表 点击“创建”按钮。出现弹窗后,在“包年包月”TAB 页中,根据自己之前创建网络所选的地域选择地域,比如之前在创建网络时我们选择了 “华北-北京” 在此也选择 “华北-北京” ,在“ 私有网络 ”选项中我们需要选择刚创建的绑定了应用的私有网络,“数据库类型”选择 MySQL, 除此之外根据自身需求选择创建项。

创建云数据库

小贴示:如果您在 数据库详情-> 安全管理 -> 白名单设置 中配置了 非 0.0.0.0/0 的 IP白名单,请在白名单中添加 100.0.0.0/8 网段。

1.3 开通方式

进入京东云鼎控制台 (https://yd-console.jdcloud.com/) ,点击左侧 业务组件 -> 数据同步服务,进入同步配置界面,申请开通数据同步服务

开通方式

注: 审核周期为1~3个工作日

审核通过后, 系统会自动发送开通成功的提醒邮件到您账号绑定的邮箱中,邮件的文字内容如下:


尊敬的用户:

您好!

云鼎数据同步服务已为您开通完成。

访问地址: http://yd-datapush.jdcloud.com

在线文档: https://yd-doc.jdcloud.com/docs/8-datapush/8-2-getting-started/readme.html

开启推送后, 系统将自动在您选择的RDS实例下, 创建相应的DB及数据表

dbName: jcloud_yunding_db_push

username(只读): jcloudv_push_ro

password: **

表名: yd_pop_order

重要提醒

  1. 数据同步服务支持宙斯平台订单数据推送到云鼎RDS数据库中, RDS数据库只支持包年包月购买的Mysql数据库
  2. 新开通数据同步服务的应用会默认已经开启全店铺加密,推送到表里的敏感字段默认是密文;关于数据加解密服务的相关文档, 请点击查看
  3. 请及时关注数据库硬盘使用率,避免硬盘写满造成数据延时、漏单等情况。 a) 可通过设置数据库报警规则实现硬盘使用率多渠道告警,便于及时处理。 b) 可通过设置数据保留时长方式,自动清理数据,避免硬盘空间占用。

小贴示:如果留存邮箱非研发人员邮箱,无法获取数据库只读用户密码,可按步骤 2.6 添加推送数据库只读用户添加只读用户或者在RDS页面修改只读用户密码。

2. 数据同步服务使用

数据同步开通完成时, 您将接收到开通成功的提醒邮件, 您可在数据推送服务页面进行服务配置, 该页面可以设置推送的数据库实例、设置同步内容、管理商家, 开启、关闭推送, 详细描述如下

数据同步服务

2.1 设置同步内容

同步内容主要选择要同步的数据和数据保留时长

数据同步服务

2.2 绑定数据库实例

设置将数据推送到哪个数据库实例中

小贴示:如果在开通前已存在数据库,并未按照文档要求购置数据库, 发现在数据库选择页面无法选择已购数据库,请确认数据库网络关联的应用是否为数据同步相同应用,如果不是,需按文档要求购置; 如果数据库相关网络配置较早,相关网络无关联应用,请联系运营人员或者提交工单配置。 如果绑定的应用正确无误,请确定数据库购置方式为包年包月,如若不是,可在RDS页面转为包年包月。 除上述网络未绑定应用以及数据库为按需购买外,其他情况暂不支持。

数据同步服务

2.3 添加商家

填写已授权的商家ID, 将商家添加到已选择的数据库实例下

数据同步服务 数据同步服务

2.4 开启推送

点击【开启推送】按钮后, 该数据库实例上的同步服务即已启用

2.5 历史数据同步

由于商家授权有效期为一年,授权到期后商家没有及时维护,导致商家数据无权订阅,从而丢失数据,或开通数据同步服务后需要获取之前一段时间内的数据,在此可以使用“历史数据同步”功能获取某段时间或某个订单的数据。

历史数据同步入口为 数据同步服务 -> 历史数据同步 点击“创建历史同步任务”按钮,请根据需要填写表格信息。创建历史同步任务到数据入库有所延时,请稍做等待。

数据同步服务

2.6 添加推送数据库只读用户

在开通数据同步服务时,系统会自动为您创建一个默认只读用户,用于访问推送的数据库实例,另外,您还可以再添加一个数据库只读用户用于访问推送数据库实例。 具体操作流程如下。

进入数据同步服务->同步配置页面, 点击授权管理

数据同步服务

选择您要添加的只读用户,并点击添加

数据同步服务

数据同步服务

数据同步服务

此时新的只读用户已经添加成功,接下来您可使用新的只读用户登录访问推送数据库。

如您要更改之前设置的只读用户,则需要先删除之前设置的只读用户,再重新进行添加

数据同步服务

数据同步服务

数据同步服务

此时您之前设置的只读用户已删除成功,再按添加数据库只读用户步骤再次添加新用户即可。

小贴示:数据库只读用户需要您在相对应的RDS实例中创建用户后,此处才会显示。

3. 数据同步服务表结构

数据同步服务目标库为jcloud_yunding_db_push, 该库中包含交易yd_pop_order等表. 数据同步表结构设计为: 关键字段+Text大字段, 其中关键字段的命名和API返回字段是一致的. 业务字段增加, 只增加到Text大字段里. 而关键字段一旦确定, 就不会再改变。

3.1 交易(订单)表yd_pop_order

序号 字段名称 数据类型 长度 描述
1 orderId bigint 订单Id(PK)
2 state varchar 50 订单状态
3 orderType varchar 10 订单类型
4 created datetime 交易创建时间
5 modified datetime 交易修改时间
6 venderId bigint 商家Id
7 pin varchar 50 买家PIN(后期此字段将废弃, 建议使用openId)
8 hashcode varchar 128 用来做数据校验的字段
9 version varchar 128 交易版本号
10 pushCreated datetime 数据第一次推送的时间
11 pushModified datetime 数据最新一次推送的时间
12 responseJson mediumtext 订单详情(JSON), 参看jingdong.pop.order.get
13 openId varchar 50 买家openId

索引: ("venderId", "pushModified") ("pushModified") ("venderId", "modified") ("modified")

results matching ""

    No results matching ""

    results matching ""

      No results matching ""