SqlBulkSyncFunction 2024.1.4.2

SqlBulkSyncFunction

WCOMAB/SqlBulkSync 工具的 Azure Function 版本，这是一个轻量级、性能优良的非侵入式 SQL Server 数据同步服务。

它不使用任何触发器或事件，而是使用从 SQL Server 2008 开始可用的更改跟踪功能。该服务主要用于将本地 SQL Server 数据以有效方式同步到 Azure，仅传输更改。但它也可以在本地/云实例之间正常运行。

先决条件

• .NET 7 SDK - https://dotnet.microsoft.com/en-us/download
• Azure Functions Core Tools 版本 4.0.4785 或更高版本。 - https://docs.microsoft.com/en-us/azure/azure-functions/functions-run-local#v2
• Azure CLI 版本 2.20 或更高版本。 - https://docs.microsoft.com/en-us/cli/azure/install-azure-cli
• IDE
  • Visual Studio - 17.4.2 或更高版本
  • VS Code - 1.73.1 或更高版本

配置

该函数通过 Azure App 设置/环境变量进行配置，您可以配置多个同步源/目标，并在每个同步作业中配置多个表。

注意

将[key]替换为同步作业/表配置的唯一名称，例如将MySync替换为MyTable将生成SyncJobsConfig:Jobs:MySync:Tables:MyTable=dbo.MyTable

在非Windows操作系统中，您需要将:替换为__，例如SyncJobsConfig__Jobs__MySync__Tables__MyTable

KeyVault中的配置将:替换为--，例如SyncJobsConfig--Jobs--MySync--Tables--MyTable

调度

注意

自定义调度是默认的，如果同步作业配置中未指定调度。

开发资源

为了更快地开始在本地上测试功能，以下提供了示例配置和数据库模式

示例local.settings.json

{
  "IsEncrypted": false,
  "Values": {
    "AzureWebJobsStorage": "UseDevelopmentStorage=true",
    "FUNCTIONS_WORKER_RUNTIME": "dotnet-isolated",
    "ProcessGlobalChangeTrackingSchedule": "0 23 11 * * *",
    "SyncJobsConfig:Jobs:SyncTest:Area": "SyncTest",
    "SyncJobsConfig:Jobs:SyncTest:Source:ConnectionString": "Server=localhost;Initial Catalog=SyncTest;Integrated Security=True",
    "SyncJobsConfig:Jobs:SyncTest:Source:ManagedIdentity": false,
    "SyncJobsConfig:Jobs:SyncTest:Target:ConnectionString": "Server=localhost;Initial Catalog=SyncTest;Integrated Security=True",
    "SyncJobsConfig:Jobs:SyncTest:Target:ManagedIdentity": false,
    "SyncJobsConfig:Jobs:SyncTest:BatchSize": 1000,
    "SyncJobsConfig:Jobs:SyncTest:Manual": false,
    "SyncJobsConfig:Jobs:SyncTest:Tables:Test": "source.[Test]",
    "SyncJobsConfig:Jobs:SyncTest:TargetTables:Test": "target.[Test]",
    "SyncJobsConfig:Jobs:SyncTest:Schedules:Custom": true,
    "SyncJobsConfig:Jobs:SyncTest:Schedules:Noon": true,
    "SyncJobsConfig:Jobs:SyncTest:Schedules:Midnight": true,
    "SyncJobsConfig:Jobs:SyncTest:Schedules:EveryFiveMinutes": true,
    "SyncJobsConfig:Jobs:SyncTest:Schedules:EveryHour": true
  }
}

示例数据库初始化脚本

-- Create Database
CREATE DATABASE [SyncTest]
GO
USE [SyncTest]
GO
ALTER DATABASE [SyncTest]
SET CHANGE_TRACKING = ON (
    CHANGE_RETENTION = 7 DAYS,
    AUTO_CLEANUP = ON
  )
GO

-- Create schemas
CREATE SCHEMA [source]
GO
CREATE SCHEMA [target]
GO

-- Create tables
CREATE TABLE [source].[Test](
  [Id] [bigint] IDENTITY(1,1) NOT NULL PRIMARY KEY,
  [Description] [nvarchar](256) NULL,
  [Created] [datetime] NOT NULL
)
GO
ALTER TABLE [source].[Test] ENABLE CHANGE_TRACKING WITH(TRACK_COLUMNS_UPDATED = ON)
GO
SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO
CREATE TABLE [target].[Test](
  [Id] [bigint] IDENTITY(1,1) NOT NULL PRIMARY KEY,
  [Description] [nvarchar](256) NULL,
  [Created] [datetime] NOT NULL
)
GO

-- Seed data
INSERT INTO source.[Test]
  (
    Description,
    Created
  ) VALUES (
    'Row 1',
    GETDATE()
  )
GO
INSERT INTO source.[Test]
  (
    Description,
    Created
  ) VALUES (
    'Row 2',
    GETDATE()
  )