datax-web ExecutorJobHandler如何修改源码解决sqlserver时间格式不识别时间字符串中的%

发布时间：2021-12-06 16:32:32 作者：柒染
来源：亿速云阅读：413

# DataX-Web ExecutorJobHandler如何修改源码解决SQLServer时间格式不识别时间字符串中的%

## 问题背景

在使用DataX-Web进行数据同步时，当源数据库为SQLServer且字段包含时间类型时，可能会遇到时间格式解析异常的问题。特别是当时间字符串中包含`%`字符时（如`2023-01-01 12:00:00.000%`），SQLServer的JDBC驱动无法正确识别这种格式，导致任务执行失败。

## 问题现象

在DataX-Web的任务执行日志中，通常会看到类似以下错误：

java.sql.SQLException: Conversion failed when converting date and/or time from character string. at com.microsoft.sqlserver.jdbc.SQLServerException.makeFromDatabaseError(SQLServerException.java:262) at com.microsoft.sqlserver.jdbc.SQLServerStatement.getNextResult(SQLServerStatement.java:1632)


## 根本原因分析

1. **SQLServer时间格式严格性**：SQLServer对时间字符串的格式要求较为严格，不接受包含特殊字符（如`%`）的时间格式
2. **DataX默认处理逻辑**：DataX在生成查询SQL时，对时间类型字段的处理未考虑SQLServer的特殊要求
3. **ExecutorJobHandler的局限**：DataX-Web的`ExecutorJobHandler`未对SQLServer时间格式做特殊处理

## 解决方案

我们需要修改`ExecutorJobHandler`的源码，增加对SQLServer时间格式的特殊处理逻辑，主要步骤如下：

### 1. 定位关键代码

首先需要找到处理SQL生成的代码位置。在DataX-Web中，这部分逻辑通常在`ExecutorJobHandler`类的`buildQuerySql`方法中。

### 2. 修改源码

#### 原始代码片段

```java
private String buildQuerySql(Job job) {
    // 原始查询SQL构建逻辑
    String querySql = "SELECT * FROM " + job.getTableName();
    if (StringUtils.isNotBlank(job.getQueryCondition())) {
        querySql += " WHERE " + job.getQueryCondition();
    }
    return querySql;
}

修改后的代码

private String buildQuerySql(Job job) {
    String querySql = "SELECT * FROM " + job.getTableName();
    
    if (StringUtils.isNotBlank(job.getQueryCondition())) {
        String condition = job.getQueryCondition();
        
        // SQLServer特殊处理
        if ("sqlserver".equalsIgnoreCase(job.getDataSourceType())) {
            condition = processSqlServerTimeCondition(condition);
        }
        
        querySql += " WHERE " + condition;
    }
    return querySql;
}

/**
 * 处理SQLServer时间条件中的特殊字符
 */
private String processSqlServerTimeCondition(String condition) {
    // 使用正则表达式匹配时间格式并移除%字符
    Pattern pattern = Pattern.compile("('\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2}\\.\\d{3})%'");
    Matcher matcher = pattern.matcher(condition);
    
    StringBuffer sb = new StringBuffer();
    while (matcher.find()) {
        // 移除%字符
        String cleanTime = matcher.group(1);
        matcher.appendReplacement(sb, cleanTime + "'");
    }
    matcher.appendTail(sb);
    
    return sb.toString();
}

3. 增强版本处理

为了更全面地处理各种时间格式，我们可以扩展上述方法：

private String processSqlServerTimeCondition(String condition) {
    // 处理带%的时间格式
    condition = condition.replaceAll(
        "('\\d{4}-\\d{2}-\\d{2}[ T]\\d{2}:\\d{2}:\\d{2}(\\.\\d{1,3})?)%'", 
        "$1'");
    
    // 处理其他可能的问题格式
    condition = condition.replaceAll(
        "('\\d{4}-\\d{2}-\\d{2}[ T]\\d{2}:\\d{2}:\\d{2}(\\.\\d{1,3})?)[^0-9']", 
        "$1'");
    
    return condition;
}

测试验证

修改完成后，需要进行充分测试：

单元测试：编写针对processSqlServerTimeCondition方法的测试用例

@Test
public void testProcessSqlServerTimeCondition() {
   String input = "create_time > '2023-01-01 12:00:00.000%' AND update_time < '2023-01-02 00:00:00%'";
   String expected = "create_time > '2023-01-01 12:00:00.000' AND update_time < '2023-01-02 00:00:00'";
   assertEquals(expected, processSqlServerTimeCondition(input));
}

集成测试：
- 创建包含时间字段的SQLServer表
- 配置DataX-Web任务使用包含%的时间条件
- 验证任务能否正常执行

部署方案

源码编译：
```
mvn clean package -DskipTests
```
替换组件：
- 将编译后的executor-*.jar替换DataX-Web中的原有组件
- 重启DataX-Web服务
灰度发布：
- 先在测试环境验证
- 逐步在生产环境部署

注意事项

版本兼容性：此修改基于DataX-Web 2.x版本，其他版本可能需要调整
性能影响：正则表达式处理可能对性能有轻微影响，建议只在SQLServer数据源时启用

日志监控：修改后应增加相关日志，便于问题排查


logger.info("Processed SQLServer time condition from [{}] to [{}]", originalCondition, processedCondition);

替代方案

如果不方便修改源码，也可以考虑以下替代方案：

使用CAST/CONVERT函数：

WHERE create_time > CONVERT(datetime, '2023-01-01 12:00:00.000')

自定义插件：
- 开发自定义的SQLServer Reader插件
- 在插件中处理时间格式问题
数据预处理：
- 在SQLServer中创建视图，处理时间格式
- DataX同步视图而非原表

总结

通过对DataX-Web ExecutorJobHandler的源码修改，我们成功解决了SQLServer不识别时间字符串中%字符的问题。关键点在于：

识别SQLServer特有的时间格式问题
在SQL生成阶段进行预处理
使用正则表达式精准匹配和替换问题格式

这种解决方案不仅解决了当前问题，也为处理其他数据库的特殊情况提供了参考模式。在实际应用中，建议结合具体业务场景调整正则表达式，确保覆盖所有可能的时间格式变体。

附录

参考文档

”`