首页 Qt 带有加密功能的 SQLite Qt 插件

带有加密功能的 SQLite Qt 插件

39 4K

版本更新

2016.05.20 v0.5
2013.01.10 v0.2

Qt 已经内置了一个 SQLite 数据库,方便我们开发桌面应用。但是这个 SQLite 是官方提供的开源版本,这意味着这个版本的 SQLite 实际是没有加密功能的。对于一般的桌面应用,数据库加密有时是比较重要的,特别是当你需要对所存储的数据必须保密的时候——比如密码,或者用户个人隐私信息等。

其实,SQLite 已经为我们预留了接口 sqlite3_key()函数。但是,这个函数其实是没有实现的。也就是说,如果我们能够提供该函数的实现,就可以实现 SQLite 数据库的加密。顺着这个思路,我们这里给出一种处理方案,为 Qt 提供一个有加密功能的 SQLite 插件。

为了兼容 Qt 的跨平台特性,我们实现sqlite3_key()函数的时候也不会考虑平台相关的 API。因此,我们不会使用 win32 API 进行此类操作。好在我们可以找到许多开源的跨平台加密算法库供我们使用。这里,我们选择的是 wxsqlite3 的相关实现。

首先,我们到这里下载 wxsqlite3 的源代码(当前最新版本是 3.0.0.1)。解压之后,我们可以在 sqlite3/secure/src 这里找到我们所需要的文件。请注意找到以下文件:

  • codec.c
  • codec.h
  • rijndael.c
  • rijndael.h
  • codecext.c
  • sqlite3secure.c

(这里说明一点,如果你按照我们这里提供的地址下载,需要修改 codeext.c 中的一行代码。具体是在 codecext.c 的第 305 行,将 sqlite3BtreeRollback(pbt);改写为sqlite3BtreeRollback(pbt, SQLITE_OK);。这应该是由于 wxsqlite3 使用的旧版本 SQLite,与我们下面要使用的最新版有所区别。如果直接从文末所列出的地址下载,则不会有这个问题。)

然后,到 SQLite 官方站点下载 SQLite 的源代码文件。注意,我们需要下载的是 sqlite-amalgamation-xxxx.zip 文件(当前最新版本是 3071300)。这是将 SQLite 源文件集中到一个 .c 文件中,方便我们后面编译。之所以不直接使用 wxsqlite3 中提供的 SQLite 源文件,是因为我们希望使用官方发布的最新版本,以便获得更好的性能以及更多的特性。

下面我们可以进行编译了。新建一个文件夹,把我们所需要的文件全部复制到该文件夹中。我们所需要的是:前面所说的 codec.c、codec.h、rijndael.c、rijndael.h、codecext.c 和 sqlite3secure.c;以及下载的 sqlite-amalgamation-xxxx.zip 解压之后获得的所有文件:shell.c、sqlite3.c、sqlite3.h 和 sqlite3ext.h。接下来建立一个 makefile:

all:libsqlite.a
	@echo All Done
libsqlite.a:sqlite3secure.o
	ar -r libsqlite.a sqlite3secure.o
sqlite3secure.o:sqlite3secure.c sqlite3.c sqlite3.h codec.c codec.h rijndael.h rijndael.c codecext.c
	gcc -c -D SQLITE_HAS_CODEC sqlite3secure.c -o sqlite3secure.o
clean:
	del *.o *.a *.obj *.gch

这里我们不再赘述这个 makefile 的具体内容以及格式。如果有不明白的地方,请自行解决 ;-P 需要注意的是,必须增加宏定义 SQLITE_HAS_CODEC。

如果使用 VS 系列 IDE,则需要新建一个库工程(可以设置为静态库),把这些文件全部添加到工程,同样必须添加预处理,最主要的是增加宏 SQLITE_HAS_CODEC=1

现在就可以编译了。不出意外的话,我们将可以获得 libsqlite.a(gcc)或者 sqlite.lib(VC)。

如果你是在自己的项目中使用带有加密功能的 SQLite,现在就可以使用了。不过,如果你使用的是 Qt(当然,你也可以直接在 Qt 程序中调用 SQLite API),那么我们还有一些额外的工作,以便以一种更方便的形式在 Qt 中使用 SQLite。

我们知道,Qt 提供了一个 SQLite 插件,用于 SQLite 操作。但这个插件是没有加密功能的。我们则直接在此基础之上重新创建一个 Qt 插件。为达这一目的,你必须下载 Qt 源代码(如果你使用 QtSDK 安装,默认是没有安装源代码的,需要自己从 git 获取)。

假设你已经获取 Qt 源代码,那么直接来到 src/plugins/sqldrivers 文件夹,可以看到有个 sqlite 目录。下面我们仿此新建一个文件夹 sqlitecipher。在此文件夹中新建一个文件 smain.cpp:

#include <qsqldriverplugin.h>
#include <qstringlist.h>
#include "qsql_sqlite.h"

QT_BEGIN_NAMESPACE

class SqliteCipherDriverPlugin : public QSqlDriverPlugin
{
public:
    SqliteCipherDriverPlugin();

    QSqlDriver* create(const QString &);
    QStringList keys() const;
};

SqliteCipherDriverPlugin::SqliteCipherDriverPlugin()
    : QSqlDriverPlugin()
{
}

QSqlDriver* SqliteCipherDriverPlugin::create(const QString &name)
{
    if (name == QLatin1String("SQLITECIPHER")) {
        QSQLiteDriver* driver = new QSQLiteDriver();
        return driver;
    }
    return 0;
}

QStringList SqliteCipherDriverPlugin::keys() const
{
    QStringList l;
    l  << QLatin1String("SQLITECIPHER");
    return l;
}

Q_EXPORT_STATIC_PLUGIN(SqliteCipherDriverPlugin)
Q_EXPORT_PLUGIN2(qsqlite, SqliteCipherDriverPlugin)

QT_END_NAMESPACE

这里需要注意的是 SQLITECIPHER这个字符串。这其实就是这个数据库驱动的名字。如果曾经使用过 Qt 的数据库驱动,则会有类似下面的语句:

QSqlDatabase db = QSqlDatabase::addDatabase("SQLITECIPHER");

这里的数据库驱动名字SQLITECIPHER就是我们在 plugin 中指定的那个字符串。

我们来看一下:当使用上面SQLITECIPHER作为名字创建数据库的时候,我们的插件返回的是QSQLiteDriver。这暗示了,我们必须要修改QSQLiteDriver的源代码,才能替换其原本的操作。好在我们并不需要修改很多代码。

从 Qt 源代码的 src/sql/drivers/sqlite 中可以找到我们需要的 qsql_sqlite.h 和 qsql_sqlite.cpp。将这两个文件复制到我们创建的 sqlitecipher 文件夹中。打开 qsql_sqlite.cpp,找到 open() 函数,修改如下:

bool QSQLiteDriver::open(const QString & db,
                         const QString &,
                         const QString &,
                         const QString &,
                         int,
                         const QString &conOpts)
{
    // ...
    if (sqlite3_open_v2(db.toUtf8().constData(),
                        &d->access, openMode, NULL) == SQLITE_OK) {
        sqlite3_busy_timeout(d->access, timeOut);
        setOpen(true);
        setOpenError(false);
        // 增加下面一行代码:
        sqlite3_key(d->access, "YOUR_KEY", 8);
        return true;
    } else {
        setLastError(qMakeError(d->access, tr("Error opening database"),
                     QSqlError::ConnectionError));
        setOpenError(true);
        return false;
    }
}

我们增加的是sqlite3_key();函数。该函数的签名是:

int sqlite3_key(sqlite3 *db, const void *pKey, int nKey);

其中,db 是指定的数据库,pKey 是密钥,nKey 是密钥长度。例如,sqlite3_key( db, "abc", 3);。我们需要将前面代码中的 YOUR_KEY 以及后面的长度 8 修改成你的真实密钥(应该将长度使用 strlen() 函数计算获得,并且最好能将密钥作为可配置项。不过,为简单起见,我们就不作这些设计了)。

至此,所需要的内容已经准备好,下面在 sqlitecipher 中增加 .pro 文件:

TARGET = sqlitecipher

HEADERS  = qsql_sqlite.h sqlite3.h
SOURCES  = smain.cpp qsql_sqlite.cpp

!system-sqlite:!contains( LIBS, .*sqlite.* ) {
    CONFIG(release, debug|release):DEFINES *= NDEBUG
    DEFINES     += SQLITE_OMIT_LOAD_EXTENSION SQLITE_OMIT_COMPLETE SQLITE_HAS_CODEC
    INCLUDEPATH += include
    LIBS        += ./lib/libsqlite.a
} else {
    LIBS *= $QT_LFLAGS_SQLITE
    QMAKE_CXXFLAGS *= $QT_CFLAGS_SQLITE
}

include(../qsqldriverbase.pri)

这里不准备对这个文件作过多讲解,只需要注意几个事项:

  1. HEADERS 必须有 sqlite3.h 一项,因此,我们必须将这个文件复制到我们的 sqlitecipher 文件夹中;
  2. DEFINES 必须有 SQLITE_HAS_CODEC 一项(还记得我们在前面编译 SQLite 说过的吗?);
  3. LIBS 中的内容看到了吗?这意味着,我们必须将前面生成的 libsqlite.a 复制到 sqlitecipher/lib 文件夹中(如果你不想,那么就自己修改这个路径吧!)。

接下来就是同一般 Qt 程序没什么区别的 qmake 以及 make。之后,我们就可以在 debug 或者 release 文件夹下找到 sqlitecipher.dll 或者 sqlitecipherd.dll 这两个文件。简单地说,将其复制到 QtSDK 的 Desktop/Qt/4.8.0/mingw/plugins/sqldrivers 中,我们就可以在我们的程序中使用这个插件了。还记得这个插件的名字吗?SQLITECIPHER!

如果懒得去找那一堆文件,这里有已经打包好的所有文件。解压之后将会有两个目录:SQLite_cipher 和 sqlitecipher。前者用于编译 libsqlite.a,后者用于编译 Qt 插件。当然,你必须将前面编译出的 .a 放到后者的 lib 文件夹下。

如果对此插件感兴趣,欢迎一起探讨。现在已经将项目源代码放置在 github 上面。

39 评论

Qter 2012年9月7日 - 21:10

博主,我用你的打包好的文件编译时,出现了下面这个错误提示
definition of static data member 'QSQLiteDriver::staticMetaObjectExtraData' of dllimport'd class
请问博主有没有遇到过,可否告知如何解决。谢谢

回复
DevBean 2012年9月8日 - 00:57

这个貌似没有遇到过,我一直使用这些文件,是可以使用的…

回复
vintx 2012年9月26日 - 15:26

请问博主,我用你打包好的编译出现如下错误:
release/qsql_sqlite.o:qsql_sqlite.cpp:(.text+0x2eb5): undefined reference to `sqlite3_key'

这是怎么回事

回复
DevBean 2012年9月27日 - 10:03

有没有按照顺序去编译呢?首先编译 sqlite 库文件,然后将提供的打包文件放在 Qt 源代码树中去编译?怀疑你没有编译 sqlite,导致没有这个函数的实现。

回复
vintx 2012年10月10日 - 07:52

谢谢,确实没有编译sqlite库;只编译你提供的源代码。

回复
qt小子 2012年10月18日 - 21:36

请问博主,我编译成功了,在QT项目使用方法如下:
1.pro文件中加入LIBS +=F:\qt\plugins\sqldrivers\sqlitecipherd.lib
2.cpp文件中写Q_IMPORT_PLUGIN(qSqlite)。可能是这出错,不知括号里应该填什么?
3.cpp文件中用QSqlDatabase db = QSqlDatabase::addDatabase("SQLITECIPHER"); //添加数据库驱动

运行出现如下错误:怎么办呢?
main.obj:-1: 错误:LNK2019: 无法解析的外部符号 "class QObject * __cdecl qt_plugin_instance_SQLITECIPHER(void)" (?qt_plugin_instance_SQLITECIPHER@@YAPAVQObject@@XZ),该符号在函数 "public: __thiscall StaticSQLITECIPHERPluginInstance::StaticSQLITECIPHERPluginInstance(void)" (??0StaticSQLITECIPHERPluginInstance@@QAE@XZ) 中被引用

回复
qt小子 2012年10月18日 - 21:38

上面的错误对应的是Q_IMPORT_PLUGIN(SQLITECIPHER)不是Q_IMPORT_PLUGIN(qSqlite)。

回复
DevBean 2012年10月19日 - 16:08

可以这样导入,不过更简单的方法是,直接把编译出的插件放到 Qt SDK 的 plugins/sqldrivers 目录下就可以了。

回复
qt小子 2012年10月19日 - 17:25

谢谢博主,可我怎么用,都会出现上面的错误。用下面的方法也不行。
QPluginLoader pluginLoader("F:\\qt\\plugins\\sqldrivers\\sqlitecipher.lib");
QObject *plugin = pluginLoader.instance();
qDebug() << QObject::tr("Load statue:%1").arg(pluginLoader.isLoaded()?QObject::tr("Load OK"):pluginLoader.errorString());

回复
qt小子 2012年10月19日 - 17:34

我编译出的插件一直放在 Qt SDK 的 plugins/sqldrivers 目录下。现已上传到pudn,请博主看看,能否使用。http://www.pudn.com/downloads484/sourcecode/windows/system/detail2020775.html

回复
qt小子 2012年10月20日 - 09:51

博主你好,我使用Q_IMPORT_PLUGIN(qSqlite)可以连接插件了,可是插件与qsqld.lib中的定义重复,出现170个类似错误,如:
SQLite_cipher.lib(sqlite3secure.obj):-1: 错误:LNK2005: _sqlite3_temp_directory 已经在 QtSqld.lib(sqlite3.obj) 中定义

怎么解决呢?

回复
DevBean 2012年10月21日 - 09:39

你使用的是静态插件。如果是静态插件的话,是不是还连接了原始的 sqlite3 的插件呢?看错误是因为重复定义,因为我的代码没有考虑静态插件的问题,所以可能会有这个原因吧。之前你说要添加 Q_IMPORT_PLUGIN 宏,同样是因为静态插件的原因。

回复
vintx 2013年1月9日 - 14:28

Qt 5.0出来了,由于5.0的插件系统改变了,没有办法编译成功,博主有没有办法解决呀

回复
豆子 2013年1月10日 - 14:45

已经更新过了~

回复
wangbq 2013年7月9日 - 18:51

博主你好,刚看了你的帖子也试了 不知道为什么在外边我打开数据库文件时输入密码还是打不开的,麻烦解释下 😀

回复
豆子 2013年7月10日 - 09:01

不清楚你说的“在外面”是什么意思?

回复
wangbq 2013年7月10日 - 09:41

😈 在外面就是我用其它的工具打开我创建的数据库查看里面的内容,一直提示输入密码,可是怎么输都不对

回复
wangbq 2013年7月10日 - 09:56

能有办法解决吗,还是现在这个插件的功能时能加密不能解密,我的Q是294215838,可以私聊

回复
豆子 2013年7月10日 - 21:55

sqlite 默认并没有提供加密函数的实现。正如文中介绍,sqlite 只是预留了一个加密函数回调的入口,没有具体实现。这个插件只是使用了一个具体的加密算法实现了这个函数,因此如果你的第三方程序不是使用了相同的算法,也就是加密解密算法不一致的话,当然就不能成功解密的了。

wangbq 2013年7月10日 - 21:58

那博主有没有可以解密的或是查看其内容的第三方工具呢

豆子 2013年7月12日 - 14:16

这个我也没有,而且关键在于你不能确定第三方工具的解密算法同你的加密算法是匹配的,所以最好是加密和解密全部使用一套工具。

Evans 2014年11月8日 - 05:34

LZ你好。 我从git下载了代码并编译,得到了dll。 然后当我运行test.cpp时, 如果我setPassword了,test.cpp本身不能读取数据库(使用了(.open()+ 密码))。 但是外部程序还是能读取。 我不知道是不是我本身的使用有问题。
QSqlDatabase dbconn = QSqlDatabase::addDatabase("SQLITECIPHER");
dbconn.setUserName(“aaa”)
dbconn.setPassword("123");
dbconn.setDatabaseName("test_c.db");
if (!dbconn.open()) {...//这里无论放不放入密码都不报错,但是下面的.exec()一定不行

感谢

回复
Evans 2014年11月8日 - 07:31

已经解决了,原来是我的理解有误。setPassword本身就是设置 “打开” 数据库用的密码,只有在全新(原本不存在)数据库的情况下才会是设置密码。 如果已经有数据库且没有密码的情况,好像是要先把密码从没有改为新的password,然后才用setpassword加新的密码打开。否则程序就会直接用新的密码去解密一个没有密码的数据库。

回复
FranklinFoong 2016年5月10日 - 18:19

请问一下怎么把密码从没有改成新的呢,我也遇到了这个问题。

回复
喻纹东 2016年5月26日 - 21:10

这里我们不再赘述这个 makefile 的具体内容以及格式。如果有不明白的地方,请自行解决 ;-P 需要注意的是,必须增加宏定义 SQLITE_HAS_CODEC。
如果使用 VS 系列 IDE,则需要新建一个库工程(可以设置为静态库),把这些文件全部添加到工程,同样必须添加预处理,最主要的是增加宏 SQLITE_HAS_CODEC=1。
现在就可以编译了。不出意外的话,我们将可以获得 libsqlite.a(gcc)或者 sqlite.lib(VC)。
—————————————————————————————————————-
请问你的这个libsqlite.a文件是怎样得到的, 为什么我把你上面给出的代码拿来编辑却得不到这个文件? 能详细写下过程吗?

回复
豆子 2016年5月26日 - 22:08

现在这个插件已经更新过了,你可以考虑使用最新版的插件:https://www.devbean.net/2016/05/qt-sqlite-plugin-with-encryption-v05/

qt小妹 2016年6月4日 - 18:16

楼主,我按你说的编译成功了,也把生成的2个.dll文件复制到了sqldrivers文件夹中,可当我创建一个数据库时出现错误:
QSqlDatabase: QSQLITECIPHER driver not loaded
QSqlDatabase: available drivers: QSQLITE QMYSQL3 QMYSQL QODBC3 QODBC SQLITECIPHER
db open fail
("QSQLITE", "QMYSQL3", "QMYSQL", "QODBC3", "QODBC", "SQLITECIPHER")
我不知道哪出了问题

回复
qt小妹 2016年6月4日 - 18:55

不好意思,已经解决了,是我自己把一个字母写错了

回复
qt小妹 2016年6月4日 - 19:05

博主,为什么我创建的加密数据库依旧没有加密效果呢? 别人不用密码也能打开
代码如下:
QSqlDatabase db=QSqlDatabase::addDatabase("SQLITECIPHER");
db.setDatabaseName("01.db");
db.setPassword("123456");
if(!db.open()){
qDebug()<<"db open fail";
}

QSqlQuery query;
if(!query.exec("CREATE TABLE student(id INT,name VARCHAR(20))")){
qDebug()<<"create table fail";
}
if(!query.exec("INSERT INTO student VALUES(1,'A')")){
qDebug()<<"insert fail";
}
这里设的密码没用,别人不用密码也能打开

回复
豆子 2016年6月5日 - 07:42

你是说别的应用不使用密码也可以读取到数据吗?是怎样测试的?

回复
qt小妹 2016年6月5日 - 09:35

上面的代码是我创建的加密数据库,然后我用下面的代码来测试:
QSqlDatabase db=QSqlDatabase::addDatabase("SQLITECIPHER");
db.setDatabaseName("01.db");
if(!db.open()){
qDebug()<<"db open fail";
}

QSqlQuery query;
query.exec("SELECT * FROM student");
while(query.next()){
qDebug()<<query.value(0).toInt()<<query.value(1).toString();
}

测试的结果输出了上面表中的数据; 怎么回事啊, 这里我打开数据库可没用密码啊,为什么也能得到数据呢?

回复
豆子 2016年6月6日 - 09:08

我这边测试没有问题,密码不对的话不能打开数据库

回复
qt小妹 2016年6月6日 - 13:37

你是用我上在的代码测试的吗?
设置密码是用db.setPassword(“123456”);吗?

qt小妹 2016年6月6日 - 14:00

博主,已经解决了,是我把代码的顺序写倒了
错误的写法:
QSqlDatabase db=QSqlDatabase::addDatabase(“SQLITECIPHER”);
db.setDatabaseName(“01.db”);
db.setPassword(“123456”);
if(!db.open()){
qDebug()<<"db open fail";
}
正确的写法:
QSqlDatabase db=QSqlDatabase::addDatabase(“SQLITECIPHER”);
db.setPassword(“123456”);
db.setDatabaseName(“01.db”);
if(!db.open()){
qDebug()<<"db open fail";
}

豆子 2016年6月6日 - 14:29

我试的与代码顺序没有关系,是不是没有重新编译的原因?

qt小妹 2016年6月6日 - 15:24

你说的是要重新编辑sqlite文件夹吗?

回复
qt小妹 2016年6月6日 - 15:53

不对不对,我按照你上面的还是没有成功,代码如下:
//输出所有的驱动
qDebug()<<QSqlDatabase::drivers();

//创建01.db数据库和student表
QSqlDatabase db=QSqlDatabase::addDatabase("SQLITECIPHER");
db.setDatabaseName("01.db");
db.setPassword("123456");
if(!db.open()){
qDebug()<<"db open fail";
}

QSqlQuery query;
if(!query.exec("CREATE TABLE student(id INT,name VARCHAR(20))")){
qDebug()<<"create table fail";
}
if(!query.exec("INSERT INTO student VALUES(1,'A')")){
qDebug()<<"insert fail";
}

//输出结果
query.exec("SELECT * FROM student");
while(query.next()){
qDebug()<<query.value(0).toInt()<<query.value(1).toString();
}

运行结果如下:
("QSQLITE", "QMYSQL3", "QMYSQL", "QODBC3", "QODBC", "SQLITECIPHER")
1 "A"

/***************************************************************/

然后我把上面的代码都删掉,重新写如下代码:
QSqlDatabase db=QSqlDatabase::addDatabase("SQLITECIPHER");
db.setDatabaseName("01.db");
if(!db.open()){
qDebug()<<"db open fail";
}

QSqlQuery query;
query.exec("SELECT * FROM student");
while(query.next()){
qDebug()<<query.value(0).toInt()<<query.value(1).toString();
}

运行结果如下:
1 "A"

从第一次运行的结果可以看出,我的SQLITECIPHER驱动是加载成功了, 这说明我确实是按照你上面的步骤进行安装的;
但是从第二次运行结果可以看出,我没有用密码就打开了01.db数据库,并输出了数据库中的内容,为何会出现这样的情况啊?
我怀疑是你的教程哪个地方写漏了,才出现了这种现象
另外我是用的Qt4.7.2,我想应该与你教程所用的Qt4.8没有多大区别

回复
豆子 2016年6月6日 - 20:05

我是用的最新版的插件测试的,不是这个比较老的版本,所以可能有问题吧。如果你解决了的话就好,最新版的插件没有用 Qt 4 测试,所以有可能不兼容。

回复
qt小妹 2016年6月6日 - 21:39

非常感谢!!!
这次我下载的是Qt5.6MinGW版,然后按照你最新的那个教程给SQLITE加密,都成功了,非常感谢!
另外Qt Creator这本书非常好,我手里就有一本,用了3年多了,一直在用,今天看你的博客,没想到是你和霍老师一起写的,非常钦佩!

回复

发表评论

关于我

devbean

devbean

豆子,生于山东,定居南京。毕业于山东大学软件工程专业。软件工程师,主要关注于 Qt、Angular 等界面技术。

主题 Salodad 由 PenciDesign 提供 | 静态文件存储由又拍云存储提供 | 苏ICP备13027999号-2