• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

用perl做数据库迁移,从MSSQL到MYSQL(三)自动导数据,基本思想,拼SQL语句 ...

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

哎!这周末过得比上班还累,代码周五基本写完,一直没时间整理,今天晚上整理了发上来。

哦,再次提醒一下哈,本代码是本人第一次写perl很多它的优良特性没用到,因此没能写出perl本应该有的优秀的,可爱的,外行看不大懂的代码。如有真心喜欢Perl的人,请不要见骂,请多多指教。

#!/usr/bin/perl
use DBI;
use Switch;

$dbh=DBI->connect('dbi:ODBC:##隐去的MSSQL访问ODBC连接##','##隐去的MSSQL访问用户名##','##隐去的MSSQL访问密码##');
#获取所有的用户表,当然不想导的表,表名放到not in里边
my $sth=$dbh->prepare("select name,object_id from sys.all_objects where type='U' and is_ms_shipped=0 and name not in
('sysdiagrams')");
$sth->execute();
my $false_Table;

#遍历所有表,呵呵,这里啊,其实用另外一个方法更快。详细请参考:http://www.easysoft.com/developer/languages/perl/dbd_odbc_tutorial_part_2.html
while (@data=$sth->fetchrow_array())
{
    ##测试时用
#    @data=$sth->fetchrow_array();
    ##这个是perl的异常处理,也是后边再加的,因为此次移植的时候,发现很多问题,开始在调试的时候,也没想过加异常处理,但后来发现这个调试的过程,
    ##实在太痛苦了,才查了资料加的,当然对异常处理,perl好像也有try catch~~但,粗粗翻了下资料,好像是python里边的(当然,这个好像是十分好像,)
    ##因为我觉得所有的计算机语言都是为了解决某一类问题的,先解决问题了,再去想解决~~因此没有深究。(哎!又啰嗦了)
    ##哦,资料地址如下:http://perldoc.perl.org/functions/eval.html  ,有志深入学习Perl的同学,可以把这个网站收藏了,基本(基本)相当于了MSDN。
    eval
    {
        #获取某个表的列,并构建 查询,插入,列总数,列类型
        ##输入参数如下:
        ###data[0]:表名,data[1]:对像ID
        ##返回参数描述如下:
        ###$select_columns:构建SELECT的时候,列字符串
        ###$insert_columns:构建insert的时候,列字符串。之所以要把这两分开,因为有些类型在select的时候,会用到列属性方法,例如geometry.STAsText()
        ###$column_count:列数,其实可以从@$column_types得到,但@$columns_types是后边加的,此参数也就没有去掉
        ###$sort_column:用来排序的字段,因为总结了一下,一般第一个字段都是标识字段,主键,因此,这里只取的第一个字段
        ###$columns_types:列的类型列表,一个数组。因为sql server里边的某些类型的值,在进mysql的时候,需要做处理,例如geometry
        #######另外再啰嗦一句,很少见有能同时返回多个值的东东(当然,可能是我把C#忘得差不多了)
        ($select_columns,$insert_columns,$column_count,$sort_column,$column_types)=get_columns($data[0],$data[1]);
        #查询结果。如果是导入失败,会返回False,否则为空
        ##传入参数?说明请参照上边的输出参数
        my $relt = export_data_in ($select_columns,$insert_columns,$column_count,$sort_column,$data[0],$column_types);
        if( $relt eq "False")
        {
            #记录所有未导入成功的表
            $false_Table = "$false_Table,$relt";
        }
    };
    ##如果捕获异常,记录下表名与错误。在本次数据迁移的过程中,有一种错误类型是捕获不到的“out of memory”,而这个异常又是本次数据库迁移中,遇到过最多的
    ##异常。因为表的列,很多都是nvarchar(max),其中有一张表最夸张有32列都是nvarchar(max)。最初遇到这个异常的时候,小弟历经磨难,找了很多方法,最后都不太
    ##凑效,于是,于是,我就有个邪恶的想法:找到现在内容最长的(max_length),然后把nvarchar(max)类型改为nvarchar(max_length+300),反正我们数据库用了差不多3年,
    ##我相信再过30年,这类型长度也就最多不过这样,永远不可能4096KB~~~(说这到里,想起DBA总在对字段长度锱铢必较,是很有道理的)
    if($@)
    {
         $false_Table = "\n$false_Table,$relt       ERROR:".$@;
    }
}
if($false_Table)
{
    print "有下列表,数据未导入:$false_Table";
}

#插入数据的实体
sub export_data_in
{
    #构建SQL
    ($select_columns,$insert_columns,$columns_count,$sort_column,$table_name,$column_types) = @_;
    $rows_count=0;
    $dbh2=DBI->connect('dbi:ODBC:##隐去的MSSQL访问ODBC连接##','##隐去的MSSQL访问用户名##','##隐去的MSSQL访问密码##');
    my $sth_sc=$dbh2->prepare("select count(1) from $table_name");
    $sth_sc->execute();
    @data_count=$sth_sc->fetchrow_array();
    #测试语句,先不让其大于2000
    if(@data_count[0]>0)
    {
        @data_count[0]=20;
    }
    
    my $relt;
    if(@data_count[0]>2000)
    {
        $begin_cnt = 0;
        $end_cnt = 2000;
        while($begin_cnt <= @data_count[0])
        {
            ##先测试所有的表,加的测试SQL
            $sql_select="select top 10 $insert_columns  from $table_name";
            
            ##正式运行时SQL
#            $sql_select="select $insert_columns 
#            FROM 
#            (
#                SELECT $select_columns,ROW_NUMBER() OVER (ORDER BY $sort_column) AS RowNum
#                FROM $table_name
#            ) as t
#            where t.RowNum  BETWEEN $begin_cnt and $end_cnt";
            
            ##提示信息
            print "exporting data $table_name;total:@data_count[0];now:$begin_cnt \n";
            ##导数据,输入参数?请按上边的
            $relt = export_data($table_name,$sql_select,$insert_columns,$columns_count,$column_types);
            
            $begin_cnt = $begin_cnt + 2001;
            $end_cnt = $end_cnt + 2001;
            if($relt eq "False")
            {
                return $relt;
            }
        }
    }
    elsif(@data_count[0]>0)
    {
        ##测试SQL
        $sql_select = "select top 10 $select_columns from $table_name";
        ##正式SQL
#        $sql_select = "select $select_columns from $table_name";
        print "exporting data $table_name;total:@data_count[0];now:$begin_cnt \n";
        ##导数据,输入参数?同上
        $relt = export_data($table_name,$sql_select,$insert_columns,$columns_count,$column_types);
    }
    $relt;
}
#其实,这个才是真正导数据的方法
sub export_data
{
#    ($table_name,$sql_select,$insert_columns,$columns_count,@column_types)=($_[0],$_[1],$_[2],$_[3]);
    ($table_name,$sql_select,$insert_columns,$columns_count,$column_types)=@_;
    $dbh_mssql=DBI->connect('dbi:ODBC:##隐去的MSSQL访问ODBC连接##','##隐去的MSSQL访问用户名##','##隐去的MSSQL访问密码##');
    
    ##mysql连接信息
    ##mysql数据库
    my $db_name="##隐去的mysql导入数据库##";
    ##mysql数据库地址
    my $location="##隐去的mysql地址##";
    ##mysql数据库端口
    my $port="##隐去的MySQL数据库端口##";
    my $data_base = "DBI:mysql:$db_name:$location:$port";
    my $sth_select=$dbh_mssql->prepare($sql_select);
    $sth_select->execute();
    my $data_string = "";
    ##再次提示,fetchrow_arrayref()要快点~~~而且,不只快一点~~
    while(@select_data=$sth_select->fetchrow_array())
    {
        if($data_string ne '')
        {
            $data_string="$data_string ,";
        }
        my $data_col="";
        my $i=0;
        while($i<$columns_count)
        {
            if ($data_col ne "")
            {
                $data_col="$data_col ,";
            }
            #对geometry值的特殊处理,如果有其它类型需要特殊处理,请在else后加eleif....
            if(@$column_types[$i] eq "geometry")
            {
                $data_col="$data_col GeomFromText('@select_data[$i]',4326)"
            }
            else 
            {
                $data_col="$data_col '@select_data[$i]'";
            }
            $i=$i+1;
            
        }
        #构建插入的时候的值字符串
        $data_string="$data_string($data_col)\n";
    }
    
    if($data_string ne "")
    {
        #mySQL用户名
        my $db_user="##隐去的MYSQL用户名##";
        #mysql密码
        my $db_pass="##隐去的MYSQL密码##";
        my $dbh_mysql=DBI -> connect($data_base,$db_user,$db_pass);
        #插入的SQL语句
        my $insert_sql = "INSERT INTO $table_name($insert_columns)values $data_string ;";
        my $sth_mysql=$dbh_mysql->prepare($insert_sql);
        
        $sth_mysql->execute() or die "插入到MYSQL报错:$dbh_mysql->errstr; SQL语句如下:\n $insert_sql \n";
        $dbh_mysql->disconnect;
    }
    else
    {
        return "False";
    }
    
    #底下的东西,全是释放变量
    undef $sth_select;
    undef $data_base ;
    undef $dbh_mssql;
    undef $sth_mysql;
    undef $dbh_mysql;
    undef $data_string;
    undef @select_data;
}

#获得表的列
sub get_columns
{
    print "loading columns of $_[0] \n";
    $dbh2=DBI->connect('dbi:ODBC:##隐去的MSSQL访问ODBC连接##','##隐去的MSSQL访问用户名##','##隐去的MSSQL访问密码##');
    my $sql="select col.name,tp.name from sys.all_columns col
                    inner join sys.types tp on col.system_type_id=tp.system_type_id  and col.user_type_id=tp.user_type_id
                    where object_id=$_[1]";
    my $cols=$dbh2 -> prepare($sql);
    $cols->execute();
    my $cols_insert = "";
    my $cols_select = "";
    my $cols_count = 0;
    my $sort_column="";
    my @cols_types;
    while(@col= $cols->fetchrow_array())
    {
        ($col_name,$type_name)=@col;
        @cols_types[$cols_count]=$type_name;
        if($cols_count>0)
        {
            $cols_insert="$cols_insert ,";
            $cols_select="$cols_select ,";
        }
        else
        {
            $sort_column="[$col_name]";
        }
        #对某些类型的特殊处理:hierarchyid
        if($type_name eq "hierarchyid")
        {
            $cols_select = "$cols_select [$col_name].ToString() as $col_name";
            $cols_insert = "$cols_insert `$col_name`";
        }
        elsif($type_name eq "geometry")
        {
            $cols_select = "$cols_select [$col_name].STAsText() as $col_name";
            $cols_insert = "$cols_insert `$col_name`";
        }
        else
        {
            $cols_select="$cols_select [$col_name]";
            $cols_insert = "$cols_insert `$col_name`";
        }
        $cols_count++;
    }
    #perl函数的返回很有意思。。。
    ($cols_select,$cols_insert,$cols_count,$sort_column,\@cols_types)
}

代码上完,稍后有一个总结,谢谢大家听小弟啰嗦。。。。

 

 


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
安装Net::SSH::Perl(更好用的模块Net::OpenSSH)发布时间:2022-07-22
下一篇:
JAVA调用perl并且捕获结果发布时间:2022-07-22
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap