C语言Avro库入门指南（手把手教你用Apache Avro实现高效数据序列化）

什么是 Apache Avro？

Apache Avro 是一个数据序列化系统，由 Doug Cutting（Hadoop 之父）创建。它使用 JSON 来定义数据模式（Schema），并以二进制格式高效地编码数据。Avro 的主要优势包括：

• 模式与数据一起存储，便于后期解析；
• 支持动态语言绑定（如 Python、Java、C 等）；
• 压缩率高，读写速度快；
• 天然支持 Schema 演化（兼容性好）。

安装 C 语言 Avro 库

在开始编码前，你需要先安装 Apache Avro C API。以下是在 Ubuntu/Debian 系统中的安装步骤：

# 安装依赖sudo apt-get updatesudo apt-get install libjansson-dev libsnappy-dev# 克隆 Avro 源码git clone https://github.com/apache/avro.gitcd avro/lang/c# 编译并安装./build.sh distsudo make installsudo ldconfig

安装完成后，你就可以在 C 程序中包含 <avro.h> 头文件了。

编写第一个 Avro 程序：定义 Schema 并序列化数据

我们以一个简单的“用户信息”为例，定义一个包含姓名（string）和年龄（int）的记录。

首先，创建 JSON 格式的 Schema：

{  "type": "record",  "name": "User",  "fields": [    {"name": "name", "type": "string"},    {"name": "age",  "type": "int"}  ]}

接下来，用 C 语言代码加载该 Schema，创建数据对象，并将其序列化为二进制文件：

#include <stdio.h>#include <stdlib.h>#include <avro.h>int main() {    // 1. 定义 Schema 字符串    const char *schema_json = "{\n"        "  \"type\": \"record\",\n"        "  \"name\": \"User\",\n"        "  \"fields\": [\n"        "    {\"name\": \"name\", \"type\": \"string\"},\n"        "    {\"name\": \"age\",  \"type\": \"int\"}\n"        "  ]\n"        "}";    // 2. 解析 Schema    avro_schema_t user_schema;    if (avro_schema_from_json(schema_json, 0, &user_schema, NULL) != 0) {        fprintf(stderr, "无法解析 Schema\n");        return 1;    }    // 3. 创建数据写入器（Datum Writer）    avro_writer_t writer;    avro_file_writer_t file_writer;    if (avro_file_writer_create("user.avro", user_schema, &file_writer) != 0) {        fprintf(stderr, "无法创建 Avro 文件\n");        avro_schema_decref(user_schema);        return 1;    }    // 4. 构建数据    avro_value_iface_t *iface = avro_generic_class_from_schema(user_schema);    avro_value_t user_value;    avro_generic_value_new(iface, &user_value);    avro_value_t field;    avro_value_get_by_name(&user_value, "name", &field, NULL);    avro_value_set_string(&field, "张三");    avro_value_get_by_name(&user_value, "age", &field, NULL);    avro_value_set_int(&field, 28);    // 5. 写入文件    avro_file_writer_append_value(file_writer, &user_value);    // 6. 清理资源    avro_value_decref(&user_value);    avro_value_iface_decref(iface);    avro_file_writer_close(file_writer);    avro_schema_decref(user_schema);    printf("数据已成功写入 user.avro\n");    return 0;}

反序列化：从 Avro 文件读取数据

现在我们来读取刚才写入的 user.avro 文件：

#include <stdio.h>#include <avro.h>int main() {    avro_file_reader_t reader;    if (avro_file_reader("user.avro", &reader) != 0) {        fprintf(stderr, "无法打开 Avro 文件\n");        return 1;    }    avro_schema_t schema = avro_file_reader_get_writer_schema(reader);    avro_value_iface_t *iface = avro_generic_class_from_schema(schema);    avro_value_t value;    avro_generic_value_new(iface, &value);    while (avro_file_reader_read_value(reader, &value) == 0) {        avro_value_t name_field, age_field;        avro_value_get_by_name(&value, "name", &name_field, NULL);        avro_value_get_by_name(&value, "age", &age_field, NULL);        const char *name;        int32_t age;        avro_value_get_string(&name_field, &name, NULL);        avro_value_get_int(&age_field, &age);        printf("读取到用户: 姓名=%s, 年龄=%d\n", name, age);    }    avro_value_decref(&value);    avro_value_iface_decref(iface);    avro_file_reader_close(reader);    return 0;}

编译与运行

将上述代码分别保存为 write.c 和 read.c，然后使用以下命令编译：

gcc -o write write.c -lavrogcc -o read read.c -lavro./write./read

如果一切顺利，你将看到输出：

数据已成功写入 user.avro读取到用户: 姓名=张三, 年龄=28

总结

通过本教程，你已经掌握了如何使用 C语言Avro库 进行基本的数据序列化与反序列化操作。无论是构建高性能日志系统、跨语言数据交换，还是嵌入式设备通信，Apache Avro C API 都能提供强大支持。希望这篇 Avro序列化教程 能为你打开高效 C语言数据序列化 的大门！

提示：实际项目中建议将 Schema 存储在独立的 .avsc 文件中，并通过文件读取方式加载，以提高可维护性。