在C++中将cURL内容结果保存为字符串

9bfwbjaz  于 2023-08-09  发布在  其他
关注(0)|答案(8)|浏览(208)
  1. int main(void)
  2. {
  3.   CURL *curl;
  4.   CURLcode res;
  6.   curl = curl_easy_init();
  7.   if(curl) {
  8.     curl_easy_setopt(curl, CURLOPT_URL, "http://www.google.com");
  9.     curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 0L);
  10.     curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, 0L);
  11.     res = curl_easy_perform(curl);
  12.     curl_easy_cleanup(curl);
  13.   }
  14.   _getch();
  15.   return 0;
  16. }
  18. string contents = "";

字符串
我想将curl html内容的结果保存为字符串，该如何操作？这是一个愚蠢的问题，但不幸的是，我在C++的cURL示例中找不到任何地方，谢谢！

c++

8条答案

按热度按时间
7uhlpewt

7uhlpewt1#

您必须使用CURLOPT_WRITEFUNCTION来设置写入回调。我现在还不能测试编译这个函数，但是这个函数看起来应该很接近;

  1. static std::string readBuffer;
  3. static size_t WriteCallback(void *contents, size_t size, size_t nmemb, void *userp)
  4. { 
  5.     size_t realsize = size * nmemb;
  6.     readBuffer.append(contents, realsize);
  7.     return realsize;
  8. }

字符串
然后通过做来调用它;

  1. readBuffer.clear();
  2. curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
  3. // ...other curl options
  4. res = curl_easy_perform(curl);

型
调用后，readBuffer应该有您的内容。
编辑：您可以使用CURLOPT_WRITEDATA来传递缓冲区字符串，而不是使其成为静态的。在本例中，为了简单起见，我将其设置为静态。here是一个很好的页面（除了上面的链接示例），它解释了这些选项。
Edit 2：按照要求，这里有一个没有静态字符串缓冲区的完整工作示例;

  1. #include <iostream>
  2. #include <string>
  3. #include <curl/curl.h>
  5. static size_t WriteCallback(void *contents, size_t size, size_t nmemb, void *userp)
  6. {
  7.     ((std::string*)userp)->append((char*)contents, size * nmemb);
  8.     return size * nmemb;
  9. }
  11. int main(void)
  12. {
  13.   CURL *curl;
  14.   CURLcode res;
  15.   std::string readBuffer;
  17.   curl = curl_easy_init();
  18.   if(curl) {
  19.     curl_easy_setopt(curl, CURLOPT_URL, "http://www.google.com");
  20.     curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
  21.     curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);
  22.     res = curl_easy_perform(curl);
  23.     curl_easy_cleanup(curl);
  25.     std::cout << readBuffer << std::endl;
  26.   }
  27.   return 0;
  28. }

型

展开查看全部
赞(0）分享  回复(0）举报  2023-08-09
s8vozzvw

s8vozzvw2#

在我的博客上，我有一个简单的 Package 器类published来执行这个任务。
使用示例：

  1. #include "HTTPDownloader.hpp"
  3. int main(int argc, char** argv) {
  4.     HTTPDownloader downloader;
  5.     std::string content = downloader.download("https://stackoverflow.com");
  6.     std::cout << content << std::endl;
  7. }

字符串
下面是头文件：

  1. /**
  2.  * HTTPDownloader.hpp
  3.  *
  4.  * A simple C++ wrapper for the libcurl easy API.
  5.  *
  6.  * Written by Uli Köhler (techoverflow.net)
  7.  * Published under CC0 1.0 Universal (public domain)
  8.  */
  9. #ifndef HTTPDOWNLOADER_HPP
  10. #define HTTPDOWNLOADER_HPP
  12. #include <string>
  14. /**
  15.  * A non-threadsafe simple libcURL-easy based HTTP downloader
  16.  */
  17. class HTTPDownloader {
  18. public:
  19.     HTTPDownloader();
  20.     ~HTTPDownloader();
  21.     /**
  22.      * Download a file using HTTP GET and store in in a std::string
  23.      * @param url The URL to download
  24.      * @return The download result
  25.      */
  26.     std::string download(const std::string& url);
  27. private:
  28.     void* curl;
  29. };
  31. #endif  /* HTTPDOWNLOADER_HPP */

型
下面是源代码：

  1. /**
  2.  * HTTPDownloader.cpp
  3.  *
  4.  * A simple C++ wrapper for the libcurl easy API.
  5.  *
  6.  * Written by Uli Köhler (techoverflow.net)
  7.  * Published under CC0 1.0 Universal (public domain)
  8.  */
  9. #include "HTTPDownloader.hpp"
  10. #include <curl/curl.h>
  11. #include <curl/easy.h>
  12. #include <curl/curlbuild.h>
  13. #include <sstream>
  14. #include <iostream>
  15. using namespace std;
  17. size_t write_data(void *ptr, size_t size, size_t nmemb, void *stream) {
  18.     string data((const char*) ptr, (size_t) size * nmemb);
  19.     *((stringstream*) stream) << data;
  20.     return size * nmemb;
  21. }
  23. HTTPDownloader::HTTPDownloader() {
  24.     curl = curl_easy_init();
  25. }
  27. HTTPDownloader::~HTTPDownloader() {
  28.     curl_easy_cleanup(curl);
  29. }
  31. string HTTPDownloader::download(const std::string& url) {
  32.     curl_easy_setopt(curl, CURLOPT_URL, url.c_str());
  33.     /* example.com is redirected, so we tell libcurl to follow redirection */
  34.     curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1L);
  35.     curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1); //Prevent "longjmp causes uninitialized stack frame" bug
  36.     curl_easy_setopt(curl, CURLOPT_ACCEPT_ENCODING, "deflate");
  37.     std::stringstream out;
  38.     curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_data);
  39.     curl_easy_setopt(curl, CURLOPT_WRITEDATA, &out);
  40.     /* Perform the request, res will get the return code */
  41.     CURLcode res = curl_easy_perform(curl);
  42.     /* Check for errors */
  43.     if (res != CURLE_OK) {
  44.         fprintf(stderr, "curl_easy_perform() failed: %s\n",
  45.                 curl_easy_strerror(res));
  46.     }
  47.     return out.str();
  48. }

型

展开查看全部
赞(0）分享  回复(0）举报  2023-08-09
polkgigr

polkgigr3#

使用“新”的C++11 lambda功能，这可以在几行代码中完成。

  1. #ifndef WIN32 #define __stdcall "" #endif //For compatibility with both Linux and Windows
  2. std::string resultBody { };
  3. curl_easy_setopt(curl, CURLOPT_WRITEDATA, &resultBody);
  4. curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, static_cast<size_t (__stdcall *)(char*, size_t, size_t, void*)>(
  5.     [](char* ptr, size_t size, size_t nmemb, void* resultBody){
  6.         *(static_cast<std::string*>(resultBody)) += std::string {ptr, size * nmemb};
  7.         return size * nmemb;
  8.     }
  9. ));
  11. CURLcode curlResult = curl_easy_perform(curl);
  12. std::cout << "RESULT BODY:\n" << resultBody << std::endl;
  13. // Cleanup etc

字符串
注意，需要使用__stdcall强制转换来遵守C调用约定（cURL是一个C库）

展开查看全部
赞(0）分享  回复(0）举报  2023-08-09
lmyy7pcs

lmyy7pcs4#

这可能不会立即起作用，但应该给予你一个想法：

  1. #include <string>
  2. #include <curl.h>
  3. #include <stdio.h>
  4. size_t write_data(void *ptr, size_t size, size_t nmemb, FILE *stream) {
  5.     size_t written;
  6.     written = fwrite(ptr, size, nmemb, stream);
  7.     return written;
  8. }
  10. int main() {
  11.     std::string tempname = "temp";
  12.     CURL *curl;
  13.     CURLcode res;
  14.     curl = curl_easy_init();
  15.     if(curl) {
  16.       FILE *fp = fopen(tempname.c_str(),"wb");
  17.       curl_easy_setopt(curl, CURLOPT_URL, "http://www.google.com");
  18.       curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, write_data); 
  19.       curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp);
  20.       res = curl_easy_perform(curl);
  21.       curl_easy_cleanup(curl);
  22.       fclose(fp);
  23.       fp = fopen(tempname.c_str(),"rb");
  24.       fseek (fp , 0 , SEEK_END);
  25.       long lSize = ftell (fp);
  26.       rewind(fp);
  27.       char *buffer = new char[lSize+1];
  28.       fread (buffer, 1, lSize, fp);
  29.       buffer[lSize] = 0;
  30.       fclose(fp);
  31.       std::string content(buffer);
  32.       delete [] buffer;
  33.     }
  34. }

字符串

展开查看全部
赞(0）分享  回复(0）举报  2023-08-09
t0ybt7op

t0ybt7op5#

给出了一个有用但简单的解决方案，它重载了std：：ostream：：operator<<

  1. #include <ostream>
  3. #include <curl/curl.h>
  5. size_t curlCbToStream (
  6.     char * buffer,
  7.     size_t nitems,
  8.     size_t size,
  9.     std::ostream * sout
  10. )
  11. {
  12.     *sout << buffer;
  14.     return nitems * size;
  15. }
  17. std::ostream & operator<< (
  18.     std::ostream & sout,
  19.     CURL * request
  20. )
  21. {
  22.     ::curl_easy_setopt(request, CURLOPT_WRITEDATA, & sout);
  23.     ::curl_easy_setopt(request, CURLOPT_WRITEFUNCTION, curlCbToStream);
  24.     ::curl_easy_perform(request);
  26.     return sout;
  27. }

字符串
所采用方法的可能缺点可能是：

  1. typedef void CURL;

型
这意味着它涵盖了所有已知的指针类型。

展开查看全部
赞(0）分享  回复(0）举报  2023-08-09
nhaq1z21

nhaq1z216#

基于@JoachimIsaksson的回答，这里是一个更详细的输出，它处理内存不足，并对curl的最大输出有限制（因为CURLOPT_MAXFILESIZE仅基于头信息而不是传输的实际大小）。

  1. #DEFINE MAX_FILE_SIZE = 10485760 //10 MiB
  3. size_t curl_to_string(void *ptr, size_t size, size_t count, void *stream)
  4. {
  5.     if(((string*)stream)->size() + (size * count) > MAX_FILE_SIZE)
  6.     {
  7.         cerr<<endl<<"Could not allocate curl to string, output size (current_size:"<<((string*)stream)->size()<<"bytes + buffer:"<<(size * count) << "bytes) would exceed the MAX_FILE_SIZE ("<<MAX_FILE_SIZE<<"bytes)";
  8.         return 0;
  9.     }
  10.     int retry=0;
  11.     while(true)
  12.     {
  13.         try{
  14.             ((string*)stream)->append((char*)ptr, 0, size*count);
  15.             break;// successful
  16.         }catch (const std::bad_alloc&) {
  17.             retry++;
  18.             if(retry>100)
  19.             {
  20.                 cerr<<endl<<"Could not allocate curl to string, probably not enough memory, aborting after : "<<retry<<" tries at 10s apart";
  21.                 return 0;
  22.             }
  23.             cerr<<endl<<"Could not allocate curl to string, probably not enough memory, sleeping 10s, try:"<<retry;
  24.             sleep(10);
  25.         }
  26.     }
  27.   return size*count;
  28. }

字符串

展开查看全部
赞(0）分享  回复(0）举报  2023-08-09
hjzp0vay

hjzp0vay7#

我将Joachim Isaksson的答案与CURLOPT_WRITEFUNCTION的现代C++适配一起使用。
没有C风格强制转换的编译器的唠叨。

  1. static auto WriteCallback(char* ptr, size_t size, size_t nmemb, void* userdata) -> size_t {
  2.   static_cast<string*>(userdata)->append(ptr, size * nmemb);
  3.   return size * nmemb;
  4. }

字符串

赞(0）分享  回复(0）举报  2023-08-09
o2gm4chl

o2gm4chl8#

这里有一个完整的例子，如何使用curl将网站的内容放入C++中的std：：string。
编译时不要忘记标志-lcurl。

  1. /**
  2.  * 
  3. */
  5. ////////////////////////////////////////////////////////////////////////////////
  6. // Includes - default libraries - C++
  7. ////////////////////////////////////////////////////////////////////////////////
  8. #include <iostream>
  9. #include <string>
  10. #include <sstream> // for ostringstream
  11. #include <memory>
  13. ////////////////////////////////////////////////////////////////////////////////
  14. // Includes - others libraries - C++
  15. ////////////////////////////////////////////////////////////////////////////////
  16. #include <curl/curl.h>
  18. ////////////////////////////////////////////////////////////////////////////////
  19. // show function
  20. ////////////////////////////////////////////////////////////////////////////////
  21. std::string
  22. args_to_str(const std::ostringstream& os)
  23. {
  24.   return os.str();
  25. }
  27. template<typename T, typename ... Args>
  28. std::string
  29. args_to_str(std::ostringstream& os, const T val, const Args ... args) 
  30. {
  31.   os << val;
  32.   return args_to_str(os, args ...);
  33. }
  35. template<typename ... Args>
  36. void 
  37. show(const Args ... args) 
  38. {  
  39.     std::ostringstream os;  
  40.     std::cout << args_to_str(os, args ...);
  41. }
  44. ////////////////////////////////////////////////////////////////////////////////
  45. // headers
  46. ////////////////////////////////////////////////////////////////////////////////
  47. template<typename ... Args>
  48. void error(const Args ... args);
  50. size_t curl_to_string(void *ptr, size_t size, size_t nmemb, void *data);
  52. std::string get_content_from_website(CURL* curl, const std::string& url);
  54. void curl_free(CURL *curl);
  56. ////////////////////////////////////////////////////////////////////////////////
  57. // main
  58. ////////////////////////////////////////////////////////////////////////////////
  59. int
  60. main()
  61. {
  62.     ////////////////////////////////////////////////////////////////////////////////
  63.     // init libcurl
  64.     ////////////////////////////////////////////////////////////////////////////////
  65.     std::shared_ptr<CURL> curl (curl_easy_init(), curl_free);
  66.     if(!curl.get()) error("cannot initialize CURL.");
  67.     curl_easy_setopt(curl.get(), CURLOPT_VERBOSE, 1L);
  69.     ////////////////////////////////////////////////////////////////////////////////
  70.     // site that will be fetched
  71.     ////////////////////////////////////////////////////////////////////////////////
  72.     const std::string url = "https://www.fundsexplorer.com.br/funds/knsc11"; // put your website here
  74.     ////////////////////////////////////////////////////////////////////////////////
  75.     // fetch the content of the site
  76.     ////////////////////////////////////////////////////////////////////////////////
  77.     const std::string site = get_content_from_website(curl.get(), url);
  79.     ////////////////////////////////////////////////////////////////////////////////
  80.     // print the result
  81.     ////////////////////////////////////////////////////////////////////////////////
  82.     show(site);
  84.     return 0;
  85. }
  87. ////////////////////////////////////////////////////////////////////////////////
  88. // functions
  89. ////////////////////////////////////////////////////////////////////////////////
  90. template<typename ... Args>
  91. void 
  92. error(const Args ... args)
  93. {  
  94.     show(args ...);  
  95.     abort();
  96. }
  98. std::string 
  99. get_content_from_website(CURL* curl, const std::string& url)
  100. { 
  101.     CURLcode res;
  102.     res = curl_easy_setopt(curl, CURLOPT_URL, url.c_str());
  103.     if(res != CURLE_OK) error("Cannot set curl url.\n");
  105.     res = curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, curl_to_string);
  106.     if(res != CURLE_OK) error("Cannot copy the C_STR to C++ string.\n");
  108.     std::string result;
  109.     res = curl_easy_setopt(curl, CURLOPT_WRITEDATA, &result);
  110.     if(res != CURLE_OK) error("Cannot set the curl write data.\n");
  112.     res = curl_easy_perform(curl);
  113.     if(res != CURLE_OK) error("Cannot perform curl.\n");
  115.     return result;
  116. }
  118. size_t curl_to_string(void *ptr, size_t size, size_t nmemb, void *data)
  119. {
  120.     std::string* str = static_cast<std::string*>(data);
  121.     char* sptr = static_cast<char*>(ptr);
  122.     size_t total = size * nmemb;
  123.     const auto str_old_size = (*str).size();
  124.     (*str).resize(str_old_size + total);
  126.     
  127.     for(size_t x = 0; x < total; ++x)
  128.     {
  129.         (*str)[str_old_size + x] = sptr[x];
  130.     }
  132.     return total;
  133. }
  135. void 
  136. curl_free(CURL *curl)
  137. {
  138.   curl_easy_cleanup(curl);
  139.   curl = NULL;
  140.   curl_global_cleanup();
  141. }

字符串

展开查看全部
赞(0）分享  回复(0）举报  2023-08-09
我来回答

相关问题

    查看更多

    热门标签

    更多
    JavaquerypythonNode开发语言requestUtil数据库Table后端算法LoggerMessageElementParser

    最新问答

    更多
    • 蜀ICP备13028337号-1 大数据知识库 https://www.saoniuhuo.com © All rights reserved
    • 本站内容来源互联网,如果侵犯您的权益请联系我们删除, 联系方式：448109455@qq.com