[求教]监控数据表, 并将新增数据写入另一个数据库. - V2EX

Home Sign Up Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 1366 days ago, the information mentioned may be changed or developed.

情况如下:
需要监控一个 SQL SERVER 数据库的视图表, 当有新数据写入时, 需要把该条数据写入到我自己系统的数据表中.
SQL SERVER 是客户生产数据库, 我不能做任何改变, 只能进行查询.

目前只想到:
1. 定时全量写入我的数据库中. 客户数据库的数据增量不算大. 一年 2 万条左右吧. 全量写入一次的时间再 2S 左右.
我的数据库需要通过公网访问. 华为的 RDS.
2. 逐条对比, 使用 python 的内置运算符.
我自己系统的数据库是 MySQL 的数据库.

是否有更好的方法监控呢? 允许有 30 秒以内的延迟..

11 replies • 2022-09-06 10:47:46 +08:00

1

E520

Sep 5, 2022

设置 Mysql 从库

2

frank1256

Sep 5, 2022

客户的视图能提供 create_time 吧，每次别全量，通过日期找增量就够了

3

jeeyong

OP

Sep 5, 2022

@frank1256 他只记录了年月日, 后面的时间都是 00:00:00

@E520 MySQL 和 SQL SERVER 设置从库嘛?
我的权限够嘛?

4

Kinnice

Sep 5, 2022

CDC

5

update

Sep 5, 2022

触发器

6

PlG5sBkXD1ziLeGB

Sep 5, 2022 via iPhone

触发器

7

jeeyong

OP

Sep 5, 2022

@update
@yyf1234
在我不修改客户数据库的前提下, 可以使用触发器吗?
要修改可能性很低, 各种上报..

8

killva4624

Sep 5, 2022

binlog

9

jeeyong

OP

Sep 5, 2022

我决定按日期进行同步了....
insert no ignore

10

sunshengkai27

Sep 5, 2022

kafka Connector 应该可以.

11

yizmaoaa

Sep 6, 2022

典型 CDC....直接上 debezium

About · Help · Advertise · Blog · API · FAQ · Solana · 987 Online Highest 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 56ms · UTC 20:40 · PVG 04:40 · LAX 13:40 · JFK 16:40
♥ Do have faith in what you're doing.