1. 数据同步服务开通
1.1 开通须知
1)数据同步服务更适用订单处理类服务(如 ERP、订单管理等)。目前支持的订单类型包括POP和厂直订单。</br> 2)数据同步服务将订单等数据推送到云鼎RDS数据库, 目前支持包年包月的MySQL数据库; 用于接收数据的库和表, 系统将自动创建, 请勿手动创建。
1.2 准备资源
1.2.1 应用授权
在启用数据同步之前获取商家ID并让商家对该应用授权。授权操作成功后,约需等待1-10分钟,授权信息才能生效。商家对应用授权请参看宙斯/JOS 应用授权文档。获取商家ID可通过以下几种方式:</br> 1)POP商家后台获取商家ID:登陆 shop.jd.com,在右上角位置下拉可以看到商家ID。
2)厂直供应商后台获取商家ID:登陆 shop.jd.com,在右上角【账户信息设置】中简码即为厂直商家ID。
3)宙斯接口获取:获取商家ID接口请参看 获取商家ID接口参考文档。若使用接口调用方式获取商家ID,需要商家先对宙斯/JOS应用授权才能使用。
1.2.2 私有网络创建
数据同步服务前提条件是需要有绑定相关业务及应用的私有网络,所以第一步我们需要在我们使用的地域创建一个私有网络。 在云鼎控制台右侧的私有网络 -> 私有网络 点击“新建”按钮,根据自己需求选择所需地域。在此以“华北-北京” 举例,“业务类型”选择“宙斯 JOS”,“绑定应用”选择需要开通数据同步服务的应用。填写完其他信息后点击创建即可。
小贴示:
1)如果您没有配置网络ACL请忽略该条。如果您在 网络ACL 配置了安全规则,请在 入站规则 中添加优先级: 1;类型: MYSQL;源IP: 100.0.0.0/8 网段; 策略:接受 的网络访问策略。
2)如果您没有修改私有网络中的路由策略请忽略该条。如果您对数据库私有网络配置了自定义路由,请确保100.0.0.0/8 网段下一跳为Internet,如果不是请配置,私有网络-> 路由表-> 路由策略 配置目的端:100.0.0.0/8;下一跳类型选择:Internet ;下一跳:选择 Internet。
1.2.3 云数据库创建
数据库需在1.2.2创建的私有网络中。
在云鼎控制台右侧的云数据库RDS -> 实例列表 点击“创建”按钮。出现弹窗后,在“包年包月”TAB 页中,根据自己之前创建网络所选的地域选择地域,比如之前在创建网络时我们选择了 “华北-北京” 在此也选择 “华北-北京” ,在“ 私有网络 ”选项中我们需要选择刚创建的绑定了应用的私有网络,“数据库类型”选择 MySQL。
小贴示:如果您在 数据库详情-> 安全管理 -> 白名单设置 中配置了 非 0.0.0.0/0 的 IP白名单,请在白名单中添加 100.0.0.0/8 网段。
1.3 服务开通
进入京东云鼎控制台,点击顶部【云服务】-【业务组件】-【数据同步服务】,申请开通数据同步服务。审核周期为1~3个工作日。审核通过后, 系统会自动发送开通成功的提醒邮件到您账号绑定的邮箱中。
开通成功邮件内容如下:
尊敬的用户:
您好!
云鼎数据同步服务已为您开通完成。
访问地址: [http://yd-datapush.jdcloud.com](http://yd-datapush.jdcloud.com)
在线文档: [https://yd-doc.jdcloud.com/docs/8-datapush/8-2-getting-started/readme.html](https://yd-doc.jdcloud.com/docs/8-datapush/8-2-getting-started/readme.html)
开启推送后, 系统将自动在您选择的RDS实例下, 创建相应的DB及数据表
dbName: jcloud_yunding_db_push
username(只读): jcloudv_push_ro
password: ********
表名: POP订单:yd_pop_order,厂直订单:yd_vc_ds_order
重要提醒
1)数据同步服务支持宙斯平台订单数据推送到云鼎RDS数据库中, RDS数据库只支持<font color="#ff0000">包年包月</font>购买的<font color="#ff0000">Mysql</font>数据库
2)新开通数据同步服务的应用会默认已经开启全店铺加密,推送到表里的敏感字段默认是密文;关于数据加解密服务的相关文档, [请点击查看](https://open.jd.com/home/home#/doc/common?listId=1109)
3)请及时关注数据库硬盘使用率,避免硬盘写满造成数据延时、漏单等情况。 a) 可通过设置数据库报警规则实现硬盘使用率多渠道告警,便于及时处理。 b) 可通过设置数据保留时长方式,自动清理数据,避免硬盘空间占用。
小贴示:如果留存邮箱非研发人员邮箱,无法获取数据库只读用户密码,可按步骤 2.6 添加推送数据库只读用户添加只读用户或者在RDS页面修改只读用户密码。
2. 数据同步服务使用
数据同步开通完成后, 可在同步配置页面设置推送的数据库实例、同步内容、管理商家, 开启、关闭推送。
2.1 设置同步内容
选择要同步的数据类型和数据保留时长
2.2 绑定数据库实例
设置将数据推送到哪个数据库实例中
小贴示:如在数据库选择页面无法选择所需数据库,请检查以下:
1)请确认数据库网络关联的应用是否为数据同步相同应用。如果数据库相关网络配置较早,相关网络无关联应用,请联系运营人员或者提交工单配置;
2)请确认数据库是否为包年包月类型,如若不是,可在数据库页面转为包年包月。
2.3 添加商家
选择数据库实例,右侧【管理商家】-【添加商家】,可添加已授权的商家ID。
2.4 开启推送
点击【开启推送】按钮后, 该数据库实例上的同步服务即已启用
2.5 历史数据同步
可以使用“历史数据同步”功能获取某段时间或某个订单的数据。点击【创建历史同步任务】,请根据需要填写表格信息。创建历史同步任务到数据入库有所延时,请稍做等待。
2.6 添加推送数据库只读用户
在开通数据同步服务时,系统会自动为您创建一个默认只读用户,用于访问推送的数据库实例,另外,您还可以再添加一个数据库只读用户用于访问推送数据库实例。 具体操作流程如下。 数据库实例,右侧【授权管理】,选择您要添加的只读用户,并点击添加。
如您要更改之前设置的只读用户,则需要先删除之前设置的只读用户,再重新进行添加
小贴示:数据库只读用户需要您在相对应的RDS实例中创建用户后,此处才会显示。
3. 数据同步服务表结构
数据同步服务目标库为jcloud_yunding_db_push, 数据同步表结构设计为: 关键字段+Text大字段, 其中关键字段的命名和API返回字段是一致的. 业务字段增加, 只增加到Text大字段里. 而关键字段一旦确定, 就不会再改变。
3.1 POP订单表yd_pop_order
序号 | 字段名称 | 数据类型 | 长度 | 描述 |
---|---|---|---|---|
1 | orderId | bigint | 订单Id(PK) | |
2 | state | varchar | 50 | 订单状态 |
3 | orderType | varchar | 10 | 订单类型 |
4 | created | datetime | 交易创建时间 | |
5 | modified | datetime | 交易修改时间 | |
6 | venderId | bigint | 商家Id | |
7 | pin | varchar | 50 | 买家PIN(后期此字段将废弃, 建议使用openId) |
8 | hashcode | varchar | 128 | 用来做数据校验的字段 |
9 | version | varchar | 128 | 交易版本号 |
10 | pushCreated | datetime | 数据第一次推送的时间 | |
11 | pushModified | datetime | 数据最新一次推送的时间 | |
12 | responseJson | mediumtext | 订单详情(JSON), 参看jingdong.pop.order.get | |
13 | openId | varchar | 50 | 买家openId |
索引: ("venderId", "pushModified") ("pushModified") ("venderId", "modified") ("modified") ("venderId", "created") ("created")
3.2 厂直订单表yd_vc_ds_order
序号 | 字段名称 | 数据类型 | 长度 | 描述 |
---|---|---|---|---|
1 | orderId | bigint | 订单Id(PK) | |
2 | state | varchar | 50 | 订单状态 |
3 | orderType | varchar | 10 | 订单类型 |
4 | created | datetime | 交易创建时间 | |
5 | modified | datetime | 交易修改时间 | |
6 | vendorCode | varchar | 20 | 商家Id |
7 | pin | varchar | 50 | 买家PIN(后期此字段将废弃, 建议使用XID) |
8 | xid | varchar | 50 | 买家XID |
9 | hashcode | varchar | 128 | 用来做数据校验的字段 |
10 | version | varchar | 128 | 交易版本号 |
11 | pushCreated | datetime | 数据第一次推送的时间 | |
12 | pushModified | datetime | 数据最新一次推送的时间 | |
13 | responseJson | mediumtext | 订单详情(JSON), 参看jingdong.dropship.dps.searchsingleorder |
索引: ("venderId", "pushModified") ("pushModified") ("venderId", "modified") ("modified") ("vendorCode", "created") ("created")